#web-scraping Dépôts
382 dépôts au total
Uscrapper Vanta : Plongez plus profondément dans le web avec cet outil open-source puissant. Extrayez des informations précieuses avec facilité et efficacité, à partir de sources du web de surface et du deep web. Renforcez votre exploration et votre analyse de données grâce aux capacités avancées de Vanta. Rapide, fiable et convivial, Uscrapper Vanta est le choix ultime pour les chercheurs et les analystes.
Amazon Scraper. Récupérez des produits des résultats de recherche Amazon ou des avis d'un produit spécifique
Éditeur de web scraping optimisé par l'IA avec constructeur de flux de travail visuel. Créez, testez et déployez des scrapers Web en utilisant le langage naturel. Propulsé par ScrapeGraphAI et LangGraph.
Moyu Island 🎣 Backend Basé sur le Web Scraping ➕ Netty ➕ SpringBoot ➕Redis➕ MySQL Open Source 🌟 Site Web Moyu Tout-en-Un
100 % gratuit et alternative open-source complète à Firecrawl edge avec une extraction de liens meilleure pour les agents - que vous pouvez déployer vous-même sur Cloudflare ou Vercel.
Transformez n’importe quel site web en une CLI compacte conçue pour les agents d’IA. Parcourez le web avec des centaines de tokens, et non des dizaines de milliers.
CLI et compétences d’agent Firecrawl : recherchez, extrayez du contenu et interagissez avec le Web depuis votre terminal ou n’importe quel agent de programmation. Vous pouvez également analyser, explorer et cartographier des sites, ainsi qu’utiliser Agent et Monitor. Firecrawl est l’API de contexte pour les agents IA.
Analyse rétrospective, à l'aide de LLM, des discussions sur Hacker News datant d'il y a dix ans
Ce programme utilise le protocole Chrome DevTools pour piloter une session Chrome qui télécharge vos photos stockées dans Google Photos.
Serveur MCP et extension pour agents EveryInfra : API de scraping pour TikTok, Instagram, Amazon, YouTube, Xiaohongshu et Douyin. 612 API de données sur 106 plateformes, à partir de 0,56 $ pour 1 000 appels. Pour Claude Code, Cursor et Codex.
🔥 Assistant de recherche visuel IA qui affiche la pensée en temps réel, fournit une analyse à vue fractionnée et des citations automatiques grâce à Claude et Firecrawl
Obtenez vos données Advent of Code avec une seule instruction d'importation
Exécutez des scripts d'automatisation complexes via des sessions cloud distantes, intégrant des proxys résidentiels, la résolution automatique de CAPTCHA et le rendu JavaScript natif pour les sites web dynamiques les plus exigeants.
KNKPAnime : Un logiciel pour regarder des anime prenant en charge plusieurs sources d'épisodes et les commentaires.
sitecopy est un outil qui facilite la sauvegarde de sites web personnels et la collecte de données réseau
Automatisez le scraping des données d'hôtels, notamment les prix, les disponibilités, les notes et les fournisseurs de réservation, grâce à une intégration de l'API Google Hotels.
Récupérer les actualités de Toutiao, NetEase, Tencent, etc., et créer un moteur de recherche simple
Détection en temps réel des systèmes anti-bots, des captchas et des techniques de fingerprinting. Identifie Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security et bien d’autres, avec un score de confiance et des outils de capture avancés.
Cycle de vie complet d'un projet de science des données
Importer des shaders et des environnements dans Blender depuis une seule URL
Un programme qui collecte le contenu des URL dans les résultats de recherche des moteurs de recherche en fonction des mots-clés. Il peut collecter automatiquement les adresses réelles et les titres des sites web connexes à partir de plusieurs moteurs de recherche, les sauvegarder dans des fichiers et supprimer automatiquement les URL en double. De plus, il permet d'ignorer personnalisément plusieurs domaines.
Convertir les articles de colonne Zhihu en fichiers Markdown et les enregistrer localement
Guide des avantages pour la programmation par IA : un répertoire de services relais et de sites communautaires pour Claude Code, Codex et Cursor. Il recense les quotas gratuits, les bonus d’inscription, les activités de connexion quotidienne et les avis, et propose un tableau de bord visuel ainsi que des outils de collecte de données en Python.
Permettez à n’importe quel agent d’IA de contrôler votre propre Chrome, avec toutes vos sessions connectées. MCP + extension Chrome, compatible avec Claude Code / Codex / Cursor / Gemini CLI.
Machine à gacha de sac porte-bonheur Douyin, outil de capture de sac porte-bonheur Douyin, écrit par moi-même en VC++ pendant mon temps libre, avec d'autres petites fonctions, téléchargeur de vidéos Douyin sans filigrane, téléchargeur d'enregistrements de flux en direct Douyin, outil de désabonnement en masse Douyin
Orge, Cat's Eye, Île de Fenwan, Ticket Planet, Surveillance des billets de concert de retour
Piratage de Facebook avec Termux. Cet outil est codé par TecnicalDipesh. Vous pouvez extraire n'importe quel ID et mot de passe Facebook.
Un outil Node.js basé sur Playwright qui contourne les mécanismes anti-scraping des moteurs de recherche pour effectuer des recherches Google. Alternative locale aux API SERP avec intégration de serveur MCP.
Récupérer les données de l'utilisateur sur les réseaux sociaux