#web-crawling Dépôts
Découvrez 38 dépôts GitHub open source actifs associés à #web-crawling, cumulant 211,837 étoiles au total (soit une moyenne de 5,574 étoiles par projet). Le projet en tête de ce thème est unclecode/crawl4ai, avec 87,627 étoiles.
38 dépôts au total
Crawl4AI Cloud officiel : une API hébergée de scraping web, d’extraction et de recherche pour les agents d’IA. Clé API gratuite, 1 000 crédits par mois, sans carte bancaire. Entièrement open source : ce dépôt contient le robot d’exploration sous licence Apache-2.0 qui l’alimente, et vous pouvez l’héberger vous-même.
Crawlee—Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extraction de données pour l'IA, LLMs, RAG ou GPTs. Téléchargement de HTML, PDF, JPG, PNG et autres fichiers depuis les sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes headful et headless. Avec rotation de proxies.
Le meilleur navigateur headless pour les agents d’IA. Léger, rapide et hautement compatible. Développé en Rust
Crawlee — une bibliothèque Python de scraping web et d’automatisation de navigateur pour créer des robots d’exploration fiables. Extrayez des données structurées avec des LLM via Pydantic AI, ou pilotez le navigateur en langage naturel avec Stagehand. Compatible avec BeautifulSoup, Parsel, Playwright et HTTP brut. Téléchargez des fichiers HTML, PDF, des images et d’autres fichiers. La rotation des proxies est incluse.
Serveur Node qui utilise Headless Chrome pour rendre une page rendue par JavaScript en HTML. À utiliser en conjonction avec le middleware prerender.
Langage d'automatisation de données déclaratif et runtime Go pour les workflows d'extraction structurée.
Le dépôt contient l'analyseur et le correspondancier robots.txt de Google sous forme de bibliothèque C++ (conforme à C++11).
WebCollector est un framework de crawler web open source basé sur Java. Il fournit des interfaces simples pour explorer le Web, vous pouvez configurer un crawler web multi-thread en moins de 5 minutes.
Un serveur puissant Model Context Protocol (MCP) qui fournit une solution tout-en-un pour l'accès au Web public.
Serveur MCP prêt pour la production avec recherche en temps réel, extraction, cartographie et crawl.
Obtenir des informations sur les résultats de recherche Weibo, la recherche pouvant être une recherche par mot-clé Weibo ou une recherche par sujet Weibo
Capacités de Web Crawling et RAG pour les Agents IA et les Assistants de Codage IA
Un framework de crawler Java simple, agile et distribué prenant en charge Spring Boot ; Un framework de crawler agile et distribué.
🔥 Moteur de recherche IA open source similaire à Perplexity avec citations en temps réel, réponses en streaming et données en direct alimenté par Firecrawl
Un outil Python utilisé pour découvrir des points de terminaison, des paramètres potentiels, une liste de mots spécifique à une cible et des secrets.
données Xiaohongshu, collecte de données XHS, rétro-ingénierie de Xiaohongshu, rétro-ingénierie XS de Xiaohongshu, scraper Xiaohongshu, données Xiaohongshu
Serveur d'interface API open-source pour le scraping de plateformes telles que Douyin (a_bogus dernière version), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo, etc. Déploiement rapide en un clic avec Docker.
📖 Serveur MCP pour récupérer deepwiki.com et obtenir les dernières connaissances dans Cursor et d'autres éditeurs de code
Un framework d'automatisation IA piloté par la communauté qui s'appuie sur le travail incroyable de la communauté open source. Notre objectif est de combiner les modèles linguistiques avec des outils spécialisés pour des tâches telles que la recherche sur le Web, le parcours et l'exécution de code Python, tout en redonnant à la communauté qui a rendu cela possible.
☁️ Le convertisseur HTML vers markdown le plus rapide sur GitHub. Optimisé pour les LLMs et prend en charge le streaming.
Moteur Chromium furtif qui empêche les scrapers et les agents de navigateur d’être bloqués grâce à une seule modification de ligne de code.
Un système d'IA automatisé (framework Python) conçu pour analyser tout type de contenu de site Web et générer des rapports structurés à l'aide de l'API Claude 3.5 Sonnet et de Firecrawl. Bien qu'actuellement configurée pour des études de cas d'IA d'entreprise, l'architecture peut être adaptée à divers besoins d'analyse de contenu.
Récupérer des pages Web à l'aide de Chrome sans tête, en stockant toutes les ressources récupérées, y compris les fichiers JavaScript. Exécuter du code JavaScript arbitraire sur de nombreuses pages Web et voir les valeurs renvoyées
🔥 Générez les fichiers llms.txt et llms-full.txt pour n'importe quel site web !
🎉🎈 Le ≪ 📧 Service d'abonnement par e-mail Dev Event ≫ que vous recevez chaque semaine par e-mail
Foire aux questions
Quel est le dépôt #web-crawling le plus populaire sur GitHub ?
Le projet #web-crawling open source le mieux classé sur GitHub est unclecode/crawl4ai, avec 87,627 étoiles. Crawl4AI Cloud officiel : une API hébergée de scraping web, d’extraction et de recherche pour les agents d’IA. Clé API gratuite, 1 000 crédits par mois, sans carte bancaire. Entièrement open source : ce dépôt contient le robot d’exploration sous licence Apache-2.0 qui l’alimente, et vous pouvez l’héberger vous-même.
Quels langages de programmation sont les plus utilisés dans les dépôts #web-crawling ?
Parmi les projets #web-crawling les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, JavaScript, Go.
Comment le classement des dépôts #web-crawling est-il calculé ?
Nous suivons 38 dépôts open source actifs associés à #web-crawling (500+ étoiles), totalisant 211,837 étoiles, avec une moyenne de 5,574 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.