Git Stars Git Stars

#web-crawling Dépôts

Découvrez 38 dépôts GitHub open source actifs associés à #web-crawling, cumulant 211,837 étoiles au total (soit une moyenne de 5,574 étoiles par projet). Le projet en tête de ce thème est unclecode/crawl4ai, avec 87,627 étoiles.

38
Total des Dépôts
211,837
Nombre total d'étoiles
5,574
Moyenne d'Étoiles/Dépôt
1
unclecode/crawl4ai

Crawl4AI Cloud officiel : une API hébergée de scraping web, d’extraction et de recherche pour les agents d’IA. Clé API gratuite, 1 000 crédits par mois, sans carte bancaire. Entièrement open source : ce dépôt contient le robot d’exploration sous licence Apache-2.0 qui l’alimente, et vous pouvez l’héberger vous-même.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Mis à jour 2026-11-20 📅 Créé 2024-05-09
2
apify/crawlee

Crawlee—Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extraction de données pour l'IA, LLMs, RAG ou GPTs. Téléchargement de HTML, PDF, JPG, PNG et autres fichiers depuis les sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes headful et headless. Avec rotation de proxies.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2016-08-26
3
lexmount/moli

Le meilleur navigateur headless pour les agents d’IA. Léger, rapide et hautement compatible. Développé en Rust

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-08-10
4
apify/crawlee-python

Crawlee — une bibliothèque Python de scraping web et d’automatisation de navigateur pour créer des robots d’exploration fiables. Extrayez des données structurées avec des LLM via Pydantic AI, ou pilotez le navigateur en langage naturel avec Stagehand. Compatible avec BeautifulSoup, Parsel, Playwright et HTTP brut. Téléchargez des fichiers HTML, PDF, des images et d’autres fichiers. La rotation des proxies est incluse.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-01-10
5
prerender/prerender

Serveur Node qui utilise Headless Chrome pour rendre une page rendue par JavaScript en HTML. À utiliser en conjonction avec le middleware prerender.

prerender
⭐ 6,577 JavaScript 👤 prerender Organization 🕐 Mis à jour 2026-05-05 📅 Créé 2013-09-26
6
MontFerret/ferret

Langage d'automatisation de données déclaratif et runtime Go pour les workflows d'extraction structurée.

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2018-08-23
7
omkarcloud/botasaurus

Le framework tout-en-un pour construire des scrapers invincibles

omkarcloud
⭐ 5,857 TypeScript 👤 omkarcloud Organization 🕐 Mis à jour 2026-11-13 📅 Créé 2023-05-09
8
google/robotstxt

Le dépôt contient l'analyseur et le correspondancier robots.txt de Google sous forme de bibliothèque C++ (conforme à C++11).

google
⭐ 3,478 C++ 👤 google Organization 🕐 Mis à jour 2026-04-01 📅 Créé 2019-06-11
9
CrawlScript/WebCollector

WebCollector est un framework de crawler web open source basé sur Java. Il fournit des interfaces simples pour explorer le Web, vous pouvez configurer un crawler web multi-thread en moins de 5 minutes.

CrawlScript
⭐ 3,073 Java 👤 CrawlScript Organization 🕐 Mis à jour 2026-02-10 📅 Créé 2014-07-12
10
digininja/CeWL

CeWL est un générateur de liste de mots personnalisée

digininja
⭐ 2,896 Ruby 👤 digininja User 🕐 Mis à jour 2026-06-24 📅 Créé 2016-04-22
11
brightdata/brightdata-mcp

Un serveur puissant Model Context Protocol (MCP) qui fournit une solution tout-en-un pour l'accès au Web public.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2025-04-15
12
tavily-ai/tavily-mcp

Serveur MCP prêt pour la production avec recherche en temps réel, extraction, cartographie et crawl.

tavily-ai
⭐ 2,499 TypeScript 👤 tavily-ai Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2025-01-27
13
dataabc/weibo-search

Obtenir des informations sur les résultats de recherche Weibo, la recherche pouvant être une recherche par mot-clé Weibo ou une recherche par sujet Weibo

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 Mis à jour 2026-06-05 📅 Créé 2020-03-25
14
coleam00/mcp-crawl4ai-rag

Capacités de Web Crawling et RAG pour les Agents IA et les Assistants de Codage IA

coleam00
⭐ 2,224 Python 👤 coleam00 User 🕐 Mis à jour 2025-07-25 📅 Créé 2025-05-03
15
zhegexiaohuozi/SeimiCrawler

Un framework de crawler Java simple, agile et distribué prenant en charge Spring Boot ; Un framework de crawler agile et distribué.

zhegexiaohuozi
⭐ 1,984 Java 👤 zhegexiaohuozi User 🕐 Mis à jour 2026-11-17 📅 Créé 2015-11-06
16
firecrawl/fireplexity

🔥 Moteur de recherche IA open source similaire à Perplexity avec citations en temps réel, réponses en streaming et données en direct alimenté par Firecrawl

firecrawl
⭐ 1,956 TypeScript 👤 firecrawl Organization 🕐 Mis à jour 2025-08-22 📅 Créé 2025-06-19
17
DanMcInerney/xsscrapy

Araignée XSS - 66/66 wavsep XSS détecté

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 Mis à jour 2024-06-13 📅 Créé 2014-06-23
18
xnl-h4ck3r/xnLinkFinder

Un outil Python utilisé pour découvrir des points de terminaison, des paramètres potentiels, une liste de mots spécifique à une cible et des secrets.

xnl-h4ck3r
⭐ 1,599 Python 👤 xnl-h4ck3r User 🕐 Mis à jour 2026-03-08 📅 Créé 2022-04-14
19
submato/xhscrawl

données Xiaohongshu, collecte de données XHS, rétro-ingénierie de Xiaohongshu, rétro-ingénierie XS de Xiaohongshu, scraper Xiaohongshu, données Xiaohongshu

submato
⭐ 1,533 👤 submato User 🕐 Mis à jour 2026-11-02 📅 Créé 2023-07-05
20
ShilongLee/Crawler

Serveur d'interface API open-source pour le scraping de plateformes telles que Douyin (a_bogus dernière version), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo, etc. Déploiement rapide en un clic avec Docker.

ShilongLee
⭐ 1,490 JavaScript 👤 ShilongLee User 🕐 Mis à jour 2026-10-19 📅 Créé 2024-05-24
21
wummel/linkchecker

vérifier les liens dans les documents web ou les sites web complets

wummel
⭐ 1,433 Python 👤 wummel User 🕐 Mis à jour 2024-11-07 📅 Créé 2012-12-19
22
regenrek/deepwiki-mcp

📖 Serveur MCP pour récupérer deepwiki.com et obtenir les dernières connaissances dans Cursor et d'autres éditeurs de code

regenrek
⭐ 1,393 TypeScript 👤 regenrek User 🕐 Mis à jour 2026-03-20 📅 Créé 2025-04-28
23
mvdbos/php-spider

Un spider web PHP configurable et extensible

mvdbos
⭐ 1,338 PHP 👤 mvdbos User 🕐 Mis à jour 2026-11-02 📅 Créé 2013-02-25
24
scrapinghub/frontera

Une frontière évolutive pour les robots d'exploration web

scrapinghub
⭐ 1,329 Python 👤 scrapinghub Organization 🕐 Mis à jour 2025-06-06 📅 Créé 2014-11-22
25
Darwin-lfl/langmanus

Un framework d'automatisation IA piloté par la communauté qui s'appuie sur le travail incroyable de la communauté open source. Notre objectif est de combiner les modèles linguistiques avec des outils spécialisés pour des tâches telles que la recherche sur le Web, le parcours et l'exécution de code Python, tout en redonnant à la communauté qui a rendu cela possible.

Darwin-lfl
⭐ 1,317 👤 Darwin-lfl User 🕐 Mis à jour 2025-03-17 📅 Créé 2025-03-18
26
harlan-zw/mdream

☁️ Le convertisseur HTML vers markdown le plus rapide sur GitHub. Optimisé pour les LLMs et prend en charge le streaming.

harlan-zw
⭐ 1,032 TypeScript 👤 harlan-zw User 🕐 Mis à jour 2026-11-21 📅 Créé 2025-04-16
27
changfengoss/pub

Outils d'accès scientifique à Internet

changfengoss
⭐ 1,007 👤 changfengoss User 🕐 Mis à jour 2026-10-22 📅 Créé 2021-08-30
28
tiliondev/fortress

Moteur Chromium furtif qui empêche les scrapers et les agents de navigateur d’être bloqués grâce à une seule modification de ligne de code.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 Mis à jour 2026-11-03 📅 Créé 2026-07-02
29
hyperbrowserai/mcp

Une implémentation de serveur MCP pour hyperbrowser

hyperbrowserai
⭐ 795 TypeScript 👤 hyperbrowserai Organization 🕐 Mis à jour 2025-11-20 📅 Créé 2025-02-25
30
rubycdp/vessel

Framework Ruby rapide de haut niveau pour le web crawling

rubycdp
⭐ 725 Ruby 👤 rubycdp Organization 🕐 Mis à jour 2026-11-03 📅 Créé 2019-09-17
31
spatie/laravel-export

Créer un bundle de site statique à partir d'une application Laravel

spatie
⭐ 701 PHP 👤 spatie Organization 🕐 Mis à jour 2026-11-06 📅 Créé 2019-03-18
32
muratcankoylan/AI-Investigator

Un système d'IA automatisé (framework Python) conçu pour analyser tout type de contenu de site Web et générer des rapports structurés à l'aide de l'API Claude 3.5 Sonnet et de Firecrawl. Bien qu'actuellement configurée pour des études de cas d'IA d'entreprise, l'architecture peut être adaptée à divers besoins d'analyse de contenu.

muratcankoylan
⭐ 679 Python 👤 muratcankoylan User 🕐 Mis à jour 2024-11-05 📅 Créé 2024-11-04
33
cxcscmu/Craw4LLM

Dépôt officiel pour "Craw4LLM : Crawl Web efficace pour la pré-formation LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Mis à jour 2025-02-24 📅 Créé 2025-02-17
34
ArchiveTeam/wpull

Téléchargeur et robot d'exploration web compatibles avec Wget.

ArchiveTeam
⭐ 595 HTML 👤 ArchiveTeam Organization 🕐 Mis à jour 2024-04-29 📅 Créé 2013-12-07
35
unconv/gpt4v-browsing

Web Scraping avec l'API GPT-4 Vision et Puppeteer

unconv
⭐ 563 JavaScript 👤 unconv User 🕐 Mis à jour 2024-01-31 📅 Créé 2023-11-24
36
detectify/page-fetch

Récupérer des pages Web à l'aide de Chrome sans tête, en stockant toutes les ressources récupérées, y compris les fichiers JavaScript. Exécuter du code JavaScript arbitraire sur de nombreuses pages Web et voir les valeurs renvoyées

detectify
⭐ 530 Go 👤 detectify Organization 🕐 Mis à jour 2026-07-03 📅 Créé 2021-06-03
37
firecrawl/llmstxt-generator

🔥 Générez les fichiers llms.txt et llms-full.txt pour n'importe quel site web !

firecrawl
⭐ 528 TypeScript 👤 firecrawl Organization 🕐 Mis à jour 2025-06-17 📅 Créé 2024-11-19
38
brave-people/Dev-Event-Subscribe

🎉🎈 Le ≪ 📧 Service d'abonnement par e-mail Dev Event ≫ que vous recevez chaque semaine par e-mail

brave-people
⭐ 512 👤 brave-people Organization 🕐 Mis à jour 2024-06-07 📅 Créé 2021-02-08

Foire aux questions

1

Quel est le dépôt #web-crawling le plus populaire sur GitHub ?

Le projet #web-crawling open source le mieux classé sur GitHub est unclecode/crawl4ai, avec 87,627 étoiles. Crawl4AI Cloud officiel : une API hébergée de scraping web, d’extraction et de recherche pour les agents d’IA. Clé API gratuite, 1 000 crédits par mois, sans carte bancaire. Entièrement open source : ce dépôt contient le robot d’exploration sous licence Apache-2.0 qui l’alimente, et vous pouvez l’héberger vous-même.

2

Quels langages de programmation sont les plus utilisés dans les dépôts #web-crawling ?

Parmi les projets #web-crawling les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, JavaScript, Go.

3

Comment le classement des dépôts #web-crawling est-il calculé ?

Nous suivons 38 dépôts open source actifs associés à #web-crawling (500+ étoiles), totalisant 211,837 étoiles, avec une moyenne de 5,574 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.