#web-crawler Dépôts
Découvrez 39 dépôts GitHub open source actifs associés à #web-crawler, cumulant 470,326 étoiles au total (soit une moyenne de 12,059 étoiles par projet). Le projet en tête de ce thème est firecrawl/firecrawl, avec 205,758 étoiles.
39 dépôts au total
Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.
Crawl4AI Cloud officiel : une API hébergée de scraping web, d’extraction et de recherche pour les agents d’IA. Clé API gratuite, 1 000 crédits par mois, sans carte bancaire. Entièrement open source : ce dépôt contient le robot d’exploration sous licence Apache-2.0 qui l’alimente, et vous pouvez l’héberger vous-même.
Crawlee—Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extraction de données pour l'IA, LLMs, RAG ou GPTs. Téléchargement de HTML, PDF, JPG, PNG et autres fichiers depuis les sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes headful et headless. Avec rotation de proxies.
Le meilleur navigateur headless pour les agents d’IA. Léger, rapide et hautement compatible. Développé en Rust
Plateforme d'administration distribuée pour les crawlers web afin de gérer les spiders indépendamment des langages et frameworks. 分布式爬虫管理平台,支持任何语言和框架
Crawlee — une bibliothèque Python de scraping web et d’automatisation de navigateur pour créer des robots d’exploration fiables. Extrayez des données structurées avec des LLM via Pydantic AI, ou pilotez le navigateur en langage naturel avec Stagehand. Compatible avec BeautifulSoup, Parsel, Playwright et HTTP brut. Téléchargez des fichiers HTML, PDF, des images et d’autres fichiers. La rotation des proxies est incluse.
Ingérez, analysez et optimisez n'importe quel format de données ➡️ des documents au multimédia ➡️ pour une compatibilité améliorée avec les frameworks GenAI
Serveur MCP officiel de Firecrawl, l’API de contexte pour les agents d’IA : recherchez, extrayez et interagissez avec le Web, et analysez, explorez, cartographiez et utilisez Agent et Monitor depuis n’importe quel client MCP.
Une collection de superbes web crawlers et spiders en différentes langues
Le web de référence pour votre agent de codage IA — recherche locale, récupération, exploration et recherche via MCP. Pas de clés API, pas de cloud, 0 $/requête. Bêta publique.
API de web scraping open-source. Transformez n'importe quel site web en Markdown propre ou en JSON structuré. Navigateur anti-détection, sélection automatique de proxy, auto-hébergé. Une seule commande : make up
Parcourez un site web à partir d'une URL, trouvez les pages pertinentes et extrayez les données – le tout guidé par votre invite en langage naturel.
Extraction rapide de contenu web local-first pour les LLMs. Grattage, crawling, extraction de données structurées — tout depuis Rust. CLI, REST API et serveur MCP.
Framework de crawler web C# multiplateforme conçu pour la vitesse et la flexibilité. Veuillez mettre une étoile à ce projet ! +1.
Moteur de recherche Internet pour sites Web axés sur le texte. Indexation du web petit, ancien et étrange.
Outil CLI pour enregistrer une copie fidèle d'une page Web complète dans un seul fichier HTML (basé sur SingleFile)
20 nov. 2017 -- Un moteur de recherche distribué open source et un spider/crawler écrit en C/C++ pour Linux sur Intel/AMD. De gigablast dot com, qui propose des binaires à télécharger. Consultez le fichier README.md tout en bas de cette page pour les instructions.
S’appuyez sur les épaules des géants — Créez des compétences IA basées sur des méthodologies éprouvées par des experts du domaine.
Vérificateur de liens brisés qui explore les sites Web et valide les liens. Trouvez les liens cassés, les liens morts et les URL non valides dans les sites Web, la documentation et les fichiers locaux. Parfait pour les audits SEO et le CI/CD.
Alternative rapide et légère à Firecrawl/Tavily en Rust. API de web scraping, crawler et recherche avec serveur MCP pour agents IA. API compatible avec Firecrawl (/scrape, /crawl, /search). 2,3x plus rapide que Tavily, 1,5x plus rapide que Firecrawl sur des benchmarks de 1K URL. 6 Mo de RAM, binaire unique. Auto-hébergement ou cloud géré.
Exécutez un programme d'exploration d'archivage Web basé sur un navigateur haute fidélité dans un seul conteneur Docker
Crawler SEO pour bureau gratuit - alternative open source à Screaming Frog et outils similaires. Explorez les sites web, analysez les liens, extrayez les données SEO et exportez les résultats sans frais d'abonnement. Entièrement personnalisable et extensible !
Scripts Python évolutifs de scraping web pour plus de 80 domaines populaires
🔥 Ce dépôt contient des exemples d'applications complets, y compris des sites Web et d'autres projets, développés à l'aide de Firecrawl.
Une bibliothèque Ruby polyvalente pour le web scraping qui peut crawler un site, plusieurs domaines, certains liens ou indéfiniment. Spidr est conçu pour être rapide et facile à utiliser.
🔍 Moteur de recherche Internet open-source développé en Go, avec le tutoriel "Créez votre propre moteur de recherche Internet"
Une extension de navigateur conçue pour les scénarios de collecte d'informations de page dans la découverte de vulnérabilités SRC, qui collecte automatiquement les informations sensibles et les pistes suspectes des pages et des ressources associées, prenant en charge le balayage de base, le balayage récursif profond, les tests d'API en masse, l'exportation des résultats et la configuration d'expressions régulières personnalisées.
Script Python permettant aux personnes sans connaissances en programmation de générer des prospects de qualité à grande échelle. Ce dépôt regroupera diverses techniques polyvalentes utilisées pour la génération de prospects.
Infrastructure web open source pour l'IA. Scrapez, explorez et automatisez le web, nettoyez le markdown, les sessions de navigateur, prêt pour vos agents.
Le seul kit d'outils open-source capable de télécharger les rapports financiers SEC EDGAR et d'extraire les données textuelles des sections d'éléments spécifiques dans des fichiers JSON structurés nets et propres. Présenté à WWW 2025 @ Sydney, Australie (https://dl.acm.org/doi/10.1145/3701716.3715289)
Foire aux questions
Quel est le dépôt #web-crawler le plus populaire sur GitHub ?
Le projet #web-crawler open source le mieux classé sur GitHub est firecrawl/firecrawl, avec 205,758 étoiles. Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.
Quels langages de programmation sont les plus utilisés dans les dépôts #web-crawler ?
Parmi les projets #web-crawler les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, Rust, Go.
Comment le classement des dépôts #web-crawler est-il calculé ?
Nous suivons 39 dépôts open source actifs associés à #web-crawler (500+ étoiles), totalisant 470,326 étoiles, avec une moyenne de 12,059 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.