#web-scraping Dépôts
Découvrez 381 dépôts GitHub open source actifs associés à #web-scraping, cumulant 2,147,590 étoiles au total (soit une moyenne de 5,636 étoiles par projet). Le projet en tête de ce thème est firecrawl/firecrawl, avec 205,758 étoiles.
382 dépôts au total
Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.
Programme en ligne de commande pour télécharger des vidéos depuis YouTube.com et d'autres sites vidéo
Bibliothèque Python open source pour les agents de navigation IA, ainsi que Browser Use Cloud : des navigateurs furtifs et une API d’agent hébergée.
🕷️ Le MEILLEUR framework de scraping web, capable de tout gérer, d’une simple requête à une exploration à grande échelle ! N’hésitez pas, rejoignez-nous ici : https://discord.gg/EMgGbDceNQ et suivez-nous ici pour découvrir chaque jour des conseils et astuces : https://x.com/Scrapling_dev
Crawl4AI Cloud officiel : une API hébergée de scraping web, d’extraction et de recherche pour les agents d’IA. Clé API gratuite, 1 000 crédits par mois, sans carte bancaire. Entièrement open source : ce dépôt contient le robot d’exploration sous licence Apache-2.0 qui l’alimente, et vous pouvez l’héberger vous-même.
Note Xiaohongshu | Crawler de commentaires, Vidéo Douyin | Crawler de commentaires, Vidéo Kuaishou | Crawler de commentaires, Vidéo Bilibili | Crawler de commentaires, Publication Weibo | Crawler de commentaires, Publication Baidu Tieba | Crawler de réponses de commentaires Baidu Tieba | Article Question/Réponse Zhihu | Crawler de commentaires
Scrapy, un framework rapide de haut niveau pour le crawling et le scraping web en Python.
Lecteur de livres Legado 3.0 avec contrôles puissants et fonctions complètes ❤️ Lecture 3.0, Lecture est un outil qui permet des sources personnalisées pour lire du contenu en ligne, offrant aux amateurs de littérature en réseau une expérience de lecture d'essai pratique, rapide et confortable.
Clonez n'importe quel site web avec une seule commande en utilisant des agents de codage IA
Le meilleur outil, aussi simple qu’efficace, pour détecter les changements sur les sites web, surveiller les pages web et recevoir des alertes. Idéal pour suivre les modifications de contenu, les baisses de prix, les alertes de réapprovisionnement et les défigurations de sites web — MCP inclus ! Tout est gratuit, ou profitez de notre offre SaaS !
Chromium furtif qui réussit tous les tests de détection des bots. Remplacement direct de Playwright avec des correctifs d’empreinte numérique au niveau du code source. Plus de 50 tests réussis.
Crawlee—Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extraction de données pour l'IA, LLMs, RAG ou GPTs. Téléchargement de HTML, PDF, JPG, PNG et autres fichiers depuis les sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes headful et headless. Avec rotation de proxies.
Le SDK pour extraire des données et interagir avec n’importe quel site web. Commencez avec Claude Code, Codex, Eve, Mastra et bien plus encore.
Le meilleur navigateur headless pour les agents d’IA. Léger, rapide et hautement compatible. Développé en Rust
🚀 API auto-hébergée de collecte de données et de téléchargement de vidéos sans filigrane pour Douyin, TikTok et Bilibili. Prise en charge des appels par des agents IA via MCP et de la transcription vocale hors ligne. Déploiement Docker en un clic. | Extracteur auto-hébergé pour TikTok, Douyin et Bilibili et téléchargeur de vidéos sans filigrane — API REST asynchrone, serveur MCP pour les agents IA, CLI et console Web, ainsi que transcription vocale hors ligne des vidéos téléchargées. Pool d’identités autoréparateur, archivage PostgreSQL et lancement en une commande avec `docker compose up`.
Transformez n’importe quel site web en une API structurée. Extrayez, automatisez, recherchez et surveillez le web.
Alternative open source à NotebookLM, isolée des réseaux et axée sur la confidentialité. Un agent d’IA qui recherche, transforme et modifie vos documents. Rejoignez notre Discord : https://discord.gg/ejRNvftDp9
Convertissez les sites web de documentation, les référentiels GitHub et les PDF en compétences d'IA Claude avec détection automatique des conflits
🚂 Assistant d'achat de billets 12306, prend en charge les clusters, plusieurs comptes, achat de billets multitâche et gestion de pages Web
Agent d’IA open source pour l’automatisation du Web. Utilisez votre navigateur réel, déjà connecté, pour automatiser vos tâches quotidiennes.
Automatisation de navigateur rapide et fiable pour les tests de bout en bout, le scraping et la navigation furtive. Contourne la détection des bots grâce au mode CDP. S’intègre à pytest, Playwright et MCP.
Un outil pratique de téléchargement Douyin prenant en charge les téléchargements d’éléments individuels et de profils par lots, avec affichage de la progression, nouvelles tentatives, déduplication SQLite et prise en charge d’un mode de secours via le navigateur. Outil de téléchargement par lots Douyin prenant en charge les vidéos, les albums d’images, les collections et la musique (audio original).
Navigateur headless furtif pour agents IA — contourne Cloudflare, détection de bots et anti-scraping. Remplacement drop-in de Puppeteer/Playwright.
jsoup : l'analyseur HTML Java, conçu pour l'édition, le nettoyage, le scraping et la sécurité XSS de HTML.
Résolveur CAPTCHA automatisé pour votre navigateur. Fonctionne avec Selenium, Puppeteer, Playwright, et plus encore.
Pont d'automatisation de navigateur haute performance et orchestrateur multi-instance avec injection furtive avancée et tableau de bord en temps réel.
Crawlee — une bibliothèque Python de scraping web et d’automatisation de navigateur pour créer des robots d’exploration fiables. Extrayez des données structurées avec des LLM via Pydantic AI, ou pilotez le navigateur en langage naturel avec Stagehand. Compatible avec BeautifulSoup, Parsel, Playwright et HTTP brut. Téléchargez des fichiers HTML, PDF, des images et d’autres fichiers. La rotation des proxies est incluse.
FreeAskInternet est un agrégateur de recherche et un générateur de réponses entièrement gratuit, PRIVÉ et fonctionnant LOCALEMENT, utilisant DES LLM MULTIPLES, sans nécessiter de GPU. L'utilisateur peut poser une question et le système effectuera une recherche multi-moteurs et combinera le résultat de la recherche avec un LLM pour générer la réponse basée sur les résultats de la recherche. Tout est GRATUIT à utiliser.
Collecte de données par crawler Xiaohongshu (RED), rétro-ingénierie de Xiaohongshu, messages privés, diffusion en direct et solutions d'exploitation globale sur Xiaohongshu
Ce dépôt GitHub est une collection impressionnante d'API que vous pouvez commencer à utiliser immédiatement pour construire tout, des simples automatisations aux applications à grande échelle. L'une des listes d'API les plus précieuses sur GitHub, point final. 💪
extraire des données de Google Maps. Extrait des données telles que le nom, l'adresse, le numéro de téléphone, l'URL du site web, la note, le nombre d'avis, la latitude et la longitude, les avis, l'email et plus pour chaque lieu
Liste des bibliothèques, outils et API pour le web scraping et le traitement des données.
Un récupérateur Web intelligent, automatique, rapide et léger pour Python
Serveur MCP officiel de Firecrawl, l’API de contexte pour les agents d’IA : recherchez, extrayez et interagissez avec le Web, et analysez, explorez, cartographiez et utilisez Agent et Monitor depuis n’importe quel client MCP.
Billets automatiques d'orge, prend en charge la sélection des personnes, des villes, des dates et des prix
Outil Python et en ligne de commande pour collecter du texte et des métadonnées sur le Web : Crawling, scraping, extraction, sortie au format CSV, JSON, HTML, MD, TXT, XML
Pydoll est une bibliothèque pour automatiser les navigateurs basés sur Chromium sans WebDriver, offrant des interactions réalistes.
Liaison Python pour la dérivation de curl-impersonate via cffi. Un client http qui peut usurper les empreintes digitales TLS/JA3/HTTP2 du navigateur.
CLI d'automatisation de navigateur conçue pour les agents IA. Brisez les murs anti-bot, passez aux humains sur plusieurs plateformes en cas de blocage. Exécution parallèle de plusieurs tâches, fonctionnement indépendant de plusieurs sessions, navigation isolée de plusieurs comptes.
Un clone de recherche approfondie open source. Agent IA qui raisonne sur de grandes quantités de données Web extraites avec Firecrawl.
Langage d'automatisation de données déclaratif et runtime Go pour les workflows d'extraction structurée.
EyeWitness est conçu pour capturer des captures d'écran de sites Web, fournir des informations sur les en-têtes de serveur et identifier les identifiants par défaut si possible.
Foire aux questions
Quel est le dépôt #web-scraping le plus populaire sur GitHub ?
Le projet #web-scraping open source le mieux classé sur GitHub est firecrawl/firecrawl, avec 205,758 étoiles. Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.
Quels langages de programmation sont les plus utilisés dans les dépôts #web-scraping ?
Parmi les projets #web-scraping les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, JavaScript, Go.
Comment le classement des dépôts #web-scraping est-il calculé ?
Nous suivons 381 dépôts open source actifs associés à #web-scraping (500+ étoiles), totalisant 2,147,590 étoiles, avec une moyenne de 5,636 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.