Git Stars Git Stars

#web-crawler Dépôts

Découvrez 39 dépôts GitHub open source actifs associés à #web-crawler, cumulant 470,326 étoiles au total (soit une moyenne de 12,059 étoiles par projet). Le projet en tête de ce thème est firecrawl/firecrawl, avec 205,758 étoiles.

39
Total des Dépôts
470,326
Nombre total d'étoiles
12,059
Moyenne d'Étoiles/Dépôt
1
firecrawl/firecrawl

Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-04-15
2
unclecode/crawl4ai

Crawl4AI Cloud officiel : une API hébergée de scraping web, d’extraction et de recherche pour les agents d’IA. Clé API gratuite, 1 000 crédits par mois, sans carte bancaire. Entièrement open source : ce dépôt contient le robot d’exploration sous licence Apache-2.0 qui l’alimente, et vous pouvez l’héberger vous-même.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Mis à jour 2026-11-20 📅 Créé 2024-05-09
3
ScrapeGraphAI/Scrapegraph-ai

Scraper Python basé sur l'IA

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Mis à jour 2026-10-06 📅 Créé 2024-01-27
4
apify/crawlee

Crawlee—Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extraction de données pour l'IA, LLMs, RAG ou GPTs. Téléchargement de HTML, PDF, JPG, PNG et autres fichiers depuis les sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes headful et headless. Avec rotation de proxies.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2016-08-26
5
lexmount/moli

Le meilleur navigateur headless pour les agents d’IA. Léger, rapide et hautement compatible. Développé en Rust

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-08-10
6
crawlab-team/crawlab

Plateforme d'administration distribuée pour les crawlers web afin de gérer les spiders indépendamment des langages et frameworks. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Mis à jour 2026-02-10 📅 Créé 2019-02-10
7
apify/crawlee-python

Crawlee — une bibliothèque Python de scraping web et d’automatisation de navigateur pour créer des robots d’exploration fiables. Extrayez des données structurées avec des LLM via Pydantic AI, ou pilotez le navigateur en langage naturel avec Stagehand. Compatible avec BeautifulSoup, Parsel, Playwright et HTTP brut. Téléchargez des fichiers HTML, PDF, des images et d’autres fichiers. La rotation des proxies est incluse.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-01-10
8
adithya-s-k/omniparse

Ingérez, analysez et optimisez n'importe quel format de données ➡️ des documents au multimédia ➡️ pour une compatibilité améliorée avec les frameworks GenAI

adithya-s-k
⭐ 7,935 Python 👤 adithya-s-k User 🕐 Mis à jour 2025-12-12 📅 Créé 2024-06-04
9
firecrawl/firecrawl-mcp-server

Serveur MCP officiel de Firecrawl, l’API de contexte pour les agents d’IA : recherchez, extrayez et interagissez avec le Web, et analysez, explorez, cartographiez et utilisez Agent et Monitor depuis n’importe quel client MCP.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-12-06
10
BruceDone/awesome-crawler

Une collection de superbes web crawlers et spiders en différentes langues

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Mis à jour 2024-06-16 📅 Créé 2016-10-10
11
KnockOutEZ/wigolo

Le web de référence pour votre agent de codage IA — recherche locale, récupération, exploration et recherche via MCP. Pas de clés API, pas de cloud, 0 $/requête. Bêta publique.

KnockOutEZ
⭐ 5,560 TypeScript 👤 KnockOutEZ User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-04-12
12
divinelabio/Argus

La boîte à outils ultime pour la collecte d'informations

divinelabio
⭐ 4,348 Python 👤 divinelabio User 🕐 Mis à jour 2025-12-10 📅 Créé 2024-10-01
13
Anakin-Inc/anakin

API de web scraping open-source. Transformez n'importe quel site web en Markdown propre ou en JSON structuré. Navigateur anti-détection, sélection automatique de proxy, auto-hébergé. Une seule commande : make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 Mis à jour 2026-08-18 📅 Créé 2026-03-17
14
apache/nutch

Apache Nutch est un crawler web extensible et scalable

apache
⭐ 3,311 Java 👤 apache Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2009-05-21
15
oxylabs/ai-crawler-py

Parcourez un site web à partir d'une URL, trouvez les pages pertinentes et extrayez les données – le tout guidé par votre invite en langage naturel.

oxylabs
⭐ 3,264 👤 oxylabs Organization 🕐 Mis à jour 2026-08-21 📅 Créé 2025-09-17
16
spider-rs/spider

Collecte fondamentale de données web à faible latence en Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2018-01-07
17
0xMassi/webclaw

Extraction rapide de contenu web local-first pour les LLMs. Grattage, crawling, extraction de données structurées — tout depuis Rust. CLI, REST API et serveur MCP.

0xMassi
⭐ 2,440 Rust 👤 0xMassi User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-03-10
18
sjdirect/abot

Framework de crawler web C# multiplateforme conçu pour la vitesse et la flexibilité. Veuillez mettre une étoile à ce projet ! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 Mis à jour 2026-07-17 📅 Créé 2013-08-08
19
MarginaliaSearch/MarginaliaSearch

Moteur de recherche Internet pour sites Web axés sur le texte. Indexation du web petit, ancien et étrange.

MarginaliaSearch
⭐ 2,241 Java 👤 MarginaliaSearch Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2023-03-20
20
gildas-lormeau/single-file-cli

Outil CLI pour enregistrer une copie fidèle d'une page Web complète dans un seul fichier HTML (basé sur SingleFile)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 Mis à jour 2026-11-18 📅 Créé 2022-05-31
21
gigablast/open-source-search-engine

20 nov. 2017 -- Un moteur de recherche distribué open source et un spider/crawler écrit en C/C++ pour Linux sur Intel/AMD. De gigablast dot com, qui propose des binaires à télécharger. Consultez le fichier README.md tout en bas de cette page pour les instructions.

gigablast
⭐ 1,599 C++ 👤 gigablast User 🕐 Mis à jour 2024-01-10 📅 Créé 2013-08-02
22
GBSOSS/skill-from-masters

S’appuyez sur les épaules des géants — Créez des compétences IA basées sur des méthodologies éprouvées par des experts du domaine.

GBSOSS
⭐ 1,592 👤 GBSOSS Organization 🕐 Mis à jour 2026-02-16 📅 Créé 2026-01-08
23
JustinBeckwith/linkinator

Vérificateur de liens brisés qui explore les sites Web et valide les liens. Trouvez les liens cassés, les liens morts et les URL non valides dans les sites Web, la documentation et les fichiers locaux. Parfait pour les audits SEO et le CI/CD.

JustinBeckwith
⭐ 1,290 TypeScript 👤 JustinBeckwith User 🕐 Mis à jour 2026-11-20 📅 Créé 2019-02-12
24
fastcrw/crw

Alternative rapide et légère à Firecrawl/Tavily en Rust. API de web scraping, crawler et recherche avec serveur MCP pour agents IA. API compatible avec Firecrawl (/scrape, /crawl, /search). 2,3x plus rapide que Tavily, 1,5x plus rapide que Firecrawl sur des benchmarks de 1K URL. 6 Mo de RAM, binaire unique. Auto-hébergement ou cloud géré.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-03-02
25
webrecorder/browsertrix-crawler

Exécutez un programme d'exploration d'archivage Web basé sur un navigateur haute fidélité dans un seul conteneur Docker

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2020-11-02
26
PhialsBasement/LibreCrawl

Crawler SEO pour bureau gratuit - alternative open source à Screaming Frog et outils similaires. Explorez les sites web, analysez les liens, extrayez les données SEO et exportez les résultats sans frais d'abonnement. Entièrement personnalisable et extensible !

PhialsBasement
⭐ 1,133 Python 👤 PhialsBasement User 🕐 Mis à jour 2026-11-10 📅 Créé 2025-09-27
27
scrapfly/scrapfly-scrapers

Scripts Python évolutifs de scraping web pour plus de 80 domaines populaires

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-05-22
28
apache/stormcrawler

Un crawler web évolutif, mature et polyvalent basé sur Apache Storm

apache
⭐ 1,014 Java 👤 apache Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2013-04-12
29
RimoChan/sese-engine

【sese-engine】Le moteur de recherche d'une nouvelle ère !

RimoChan
⭐ 952 Python 👤 RimoChan User 🕐 Mis à jour 2025-05-10 📅 Créé 2022-01-09
30
firecrawl/firecrawl-app-examples

🔥 Ce dépôt contient des exemples d'applications complets, y compris des sites Web et d'autres projets, développés à l'aide de Firecrawl.

firecrawl
⭐ 847 Jupyter Notebook 👤 firecrawl Organization 🕐 Mis à jour 2026-01-13 📅 Créé 2024-06-22
31
postmodern/spidr

Une bibliothèque Ruby polyvalente pour le web scraping qui peut crawler un site, plusieurs domaines, certains liens ou indéfiniment. Spidr est conçu pour être rapide et facile à utiliser.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Mis à jour 2026-01-12 📅 Créé 2009-03-08
32
johnlui/DIYSearchEngine

🔍 Moteur de recherche Internet open-source développé en Go, avec le tutoriel "Créez votre propre moteur de recherche Internet"

johnlui
⭐ 706 Go 👤 johnlui User 🕐 Mis à jour 2026-08-27 📅 Créé 2023-07-01
33
Team-intN18-SoybeanSeclab/Phantom

Une extension de navigateur conçue pour les scénarios de collecte d'informations de page dans la découverte de vulnérabilités SRC, qui collecte automatiquement les informations sensibles et les pistes suspectes des pages et des ressources associées, prenant en charge le balayage de base, le balayage récursif profond, les tests d'API en masse, l'exportation des résultats et la configuration d'expressions régulières personnalisées.

Team-intN18-SoybeanSeclab
⭐ 696 JavaScript 👤 Team-intN18-SoybeanSeclab Organization 🕐 Mis à jour 2026-09-16 📅 Créé 2025-08-21
34
Madi-S/Lead-Generation

Script Python permettant aux personnes sans connaissances en programmation de générer des prospects de qualité à grande échelle. Ce dépôt regroupera diverses techniques polyvalentes utilisées pour la génération de prospects.

Madi-S
⭐ 693 Python 👤 Madi-S User 🕐 Mis à jour 2026-09-23 📅 Créé 2020-12-14
35
cxcscmu/Craw4LLM

Dépôt officiel pour "Craw4LLM : Crawl Web efficace pour la pré-formation LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Mis à jour 2025-02-24 📅 Créé 2025-02-17
36
vakra-dev/reader

Infrastructure web open source pour l'IA. Scrapez, explorez et automatisez le web, nettoyez le markdown, les sessions de navigateur, prêt pour vos agents.

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 Mis à jour 2026-10-06 📅 Créé 2026-01-07
37
jpjacobpadilla/Stealth-Requests

Web-scraping indétectable et analyse HTML fluide en Python !

jpjacobpadilla
⭐ 570 Python 👤 jpjacobpadilla User 🕐 Mis à jour 2026-09-19 📅 Créé 2024-08-04
38
lefterisloukas/edgar-crawler

Le seul kit d'outils open-source capable de télécharger les rapports financiers SEC EDGAR et d'extraire les données textuelles des sections d'éléments spécifiques dans des fichiers JSON structurés nets et propres. Présenté à WWW 2025 @ Sydney, Australie (https://dl.acm.org/doi/10.1145/3701716.3715289)

lefterisloukas
⭐ 535 Python 👤 lefterisloukas User 🕐 Mis à jour 2025-07-18 📅 Créé 2021-09-24
39
erevus-cn/pocscan

Volonté d'être un framework de scan niubility

erevus-cn
⭐ 520 Python 👤 erevus-cn User 🕐 Mis à jour 2025-07-01 📅 Créé 2016-02-02

Foire aux questions

1

Quel est le dépôt #web-crawler le plus populaire sur GitHub ?

Le projet #web-crawler open source le mieux classé sur GitHub est firecrawl/firecrawl, avec 205,758 étoiles. Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.

2

Quels langages de programmation sont les plus utilisés dans les dépôts #web-crawler ?

Parmi les projets #web-crawler les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, Rust, Go.

3

Comment le classement des dépôts #web-crawler est-il calculé ?

Nous suivons 39 dépôts open source actifs associés à #web-crawler (500+ étoiles), totalisant 470,326 étoiles, avec une moyenne de 12,059 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.