Git Stars Git Stars

#crawler Dépôts

Découvrez 162 dépôts GitHub open source actifs associés à #crawler, cumulant 1,111,814 étoiles au total (soit une moyenne de 6,863 étoiles par projet). Le projet en tête de ce thème est firecrawl/firecrawl, avec 205,758 étoiles.

162
Total des Dépôts
1.1M
Nombre total d'étoiles
6,863
Moyenne d'Étoiles/Dépôt
1
firecrawl/firecrawl

Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-04-15
2
D4Vinci/Scrapling

🕷️ Le MEILLEUR framework de scraping web, capable de tout gérer, d’une simple requête à une exploration à grande échelle ! N’hésitez pas, rejoignez-nous ici : https://discord.gg/EMgGbDceNQ et suivez-nous ici pour découvrir chaque jour des conseils et astuces : https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Mis à jour 2026-11-17 📅 Créé 2024-10-13
3
unclecode/crawl4ai

Crawl4AI Cloud officiel : une API hébergée de scraping web, d’extraction et de recherche pour les agents d’IA. Clé API gratuite, 1 000 crédits par mois, sans carte bancaire. Entièrement open source : ce dépôt contient le robot d’exploration sous licence Apache-2.0 qui l’alimente, et vous pouvez l’héberger vous-même.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Mis à jour 2026-11-20 📅 Créé 2024-05-09
4
scrapy/scrapy

Scrapy, un framework rapide de haut niveau pour le crawling et le scraping web en Python.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2010-02-22
5
NaiboWang/EasySpider

Un crawler/spider web visuel sans code : un logiciel d'automatisation de navigateur, de collecte de données et de web scraping visuel qui permet de concevoir et d'exécuter des tâches de crawling sans écrire de code. Alias : ServiceWrapper, un système intelligent d'encapsulation de services pour applications Web.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Mis à jour 2026-11-16 📅 Créé 2020-07-18
6
ScrapeGraphAI/Scrapegraph-ai

Scraper Python basé sur l'IA

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Mis à jour 2026-10-06 📅 Créé 2024-01-27
7
iawia002/lux

👾 Bibliothèque et outil CLI de téléchargement vidéo rapide et simple, écrit en Go

iawia002
⭐ 31,854 Go 👤 iawia002 User 🕐 Mis à jour 2026-03-29 📅 Créé 2018-02-24
8
apify/crawlee

Crawlee—Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extraction de données pour l'IA, LLMs, RAG ou GPTs. Téléchargement de HTML, PDF, JPG, PNG et autres fichiers depuis les sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes headful et headless. Avec rotation de proxies.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2016-08-26
9
gocolly/colly

Cadre élégant de scraping et de crawling pour Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Mis à jour 2026-10-16 📅 Créé 2017-09-29
10
jhao104/proxy_pool

Python ProxyPool pour web spider

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 Mis à jour 2026-06-15 📅 Créé 2016-11-25
11
Evil0ctal/Douyin_TikTok_Download_API

🚀 API auto-hébergée de collecte de données et de téléchargement de vidéos sans filigrane pour Douyin, TikTok et Bilibili. Prise en charge des appels par des agents IA via MCP et de la transcription vocale hors ligne. Déploiement Docker en un clic. | Extracteur auto-hébergé pour TikTok, Douyin et Bilibili et téléchargeur de vidéos sans filigrane — API REST asynchrone, serveur MCP pour les agents IA, CLI et console Web, ainsi que transcription vocale hors ligne des vidéos téléchargées. Pool d’identités autoréparateur, archivage PostgreSQL et lancement en une commande avec `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Mis à jour 2026-11-20 📅 Créé 2021-11-07
12
getmaxun/maxun

Transformez n’importe quel site web en une API structurée. Extrayez, automatisez, recherchez et surveillez le web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2023-10-23
13
projectdiscovery/katana

Un framework de nouvelle génération pour le crawling et le spidering.

projectdiscovery
⭐ 17,878 Go 👤 projectdiscovery Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2021-01-02
14
codelucas/newspaper

newspaper3k est une extraction de nouvelles, de texte intégral et de métadonnées d'articles en Python 3. Documentation avancée :

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 Mis à jour 2026-10-26 📅 Créé 2013-11-25
15
shengqiangzhang/examples-of-web-crawlers

Quelques exemples très intéressants de crawlers Python, conviviaux pour les débutants, principalement pour crawler des sites comme Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, etc. (Some interesting examples of python crawlers that are friendly to beginners.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 Mis à jour 2025-06-28 📅 Créé 2019-03-13
16
s0md3v/Photon

Crawler incroyablement rapide conçu pour l'OSINT.

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 Mis à jour 2026-10-17 📅 Créé 2018-03-30
17
crawlab-team/crawlab

Plateforme d'administration distribuée pour les crawlers web afin de gérer les spiders indépendamment des langages et frameworks. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Mis à jour 2026-02-10 📅 Créé 2019-02-10
18
code4craft/webmagic

Un framework scalable pour les crawlers web en Java.

code4craft
⭐ 11,660 Java 👤 code4craft User 🕐 Mis à jour 2025-12-20 📅 Créé 2013-04-23
19
injetlee/Python

Script Python. Simuler la connexion à Zhihu, crawler, manipuler Excel, compte public WeChat, démarrage à distance.

injetlee
⭐ 10,920 Python 👤 injetlee User 🕐 Mis à jour 2026-05-09 📅 Créé 2016-06-23
20
guyueyingmu/avbook

Système de gestion de films AV, avmoo, javbus, javlibrary Crawler, Bibliothèque de films AV en ligne, Base de données de liens magnétiques AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 Mis à jour 2024-06-01 📅 Créé 2017-02-19
21
apify/crawlee-python

Crawlee — une bibliothèque Python de scraping web et d’automatisation de navigateur pour créer des robots d’exploration fiables. Extrayez des données structurées avec des LLM via Pydantic AI, ou pilotez le navigateur en langage naturel avec Stagehand. Compatible avec BeautifulSoup, Parsel, Playwright et HTTP brut. Téléchargez des fichiers HTML, PDF, des images et d’autres fichiers. La rotation des proxies est incluse.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-01-10
22
TeamWiseFlow/xiaobei

Agent d'acquisition de clients sur les réseaux sociaux conçu sur mesure pour les OPC et les PME

TeamWiseFlow
⭐ 8,743 Python 👤 TeamWiseFlow Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-04-24
23
lorien/awesome-web-scraping

Liste des bibliothèques, outils et API pour le web scraping et le traitement des données.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Mis à jour 2026-11-21 📅 Créé 2015-08-12
24
hect0x7/JMComic-Crawler-Python

API Python pour JMComic | Fournit un accès via API Python à JinManTiantang, prend en charge les versions Web et mobiles | Téléchargeur GitHub Actions de JinManTiantang🚀

hect0x7
⭐ 8,148 Python 👤 hect0x7 User 🕐 Mis à jour 2026-11-13 📅 Créé 2023-04-02
25
alirezamika/autoscraper

Un récupérateur Web intelligent, automatique, rapide et léger pour Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Mis à jour 2026-07-29 📅 Créé 2020-08-31
26
mvdctop/Movie_Data_Capture

Le robot d’exploration des métadonnées des médias locaux par IA

mvdctop
⭐ 7,449 Python 👤 mvdctop User 🕐 Mis à jour 2026-11-17 📅 Créé 2019-05-26
27
adbar/trafilatura

Outil Python et en ligne de commande pour collecter du texte et des métadonnées sur le Web : Crawling, scraping, extraction, sortie au format CSV, JSON, HTML, MD, TXT, XML

adbar
⭐ 7,157 Python 👤 adbar User 🕐 Mis à jour 2026-11-20 📅 Créé 2019-04-08
28
BruceDone/awesome-crawler

Une collection de superbes web crawlers et spiders en différentes langues

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Mis à jour 2024-06-16 📅 Créé 2016-10-10
29
bda-research/node-crawler

Web Crawler/Spider pour NodeJS + jQuery côté serveur ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 Mis à jour 2026-06-18 📅 Créé 2010-11-25
30
chyroc/WechatSogou

Interface de crawler des comptes publics WeChat basée sur la recherche WeChat de Sogou

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 Mis à jour 2026-10-23 📅 Créé 2016-05-09
31
rmax/scrapy-redis

Composants basés sur Redis pour Scrapy.

rmax
⭐ 5,648 Python 👤 rmax User 🕐 Mis à jour 2026-11-21 📅 Créé 2011-08-29
32
DropsDevopsOrg/ECommerceCrawlers

Pratique 🐍 de multiples sites web, crawlers de données e-commerce 🕷. Inclut 🕸 : Produits Taobao, comptes publics WeChat, Dianping, Qichacha, sites d'emploi, Xianyu, tâches Ali, Cnblogs, Weibo, Baidu Tieba, films Douban, Baotu.com, Quan jing wang, musique Douban, bureau de supervision des médicaments d'une province, actualités Sohu, collecte de texte d'apprentissage automatique, collecte d'actifs fofa, Autohome, Bureau national des statistiques, nombre d'inclusions de mots-clés Baidu, répertoire général des araignées, Toutiao, critiques de films Douban, Ctrip, magasin d'applications Xiaomi, Anjuke, hébergement Tujia ❤️❤️❤️. Projet de démonstration de crawler WeChat :

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 Mis à jour 2024-05-22 📅 Créé 2019-03-29
33
DedSecInside/TorBot

Outil OSINT pour le Dark Web

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 Mis à jour 2026-11-12 📅 Créé 2017-05-17
34
niespodd/browser-fingerprinting

Analyse des systèmes de protection contre les bots avec les contre-mesures disponibles 🚿. Comment vaincre les systèmes anti-bots 👻 et contourner les scripts d'empreintes digitales de navigateur 🕵️‍♂️ lors du scraping web ?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 Mis à jour 2026-07-27 📅 Créé 2021-01-23
35
hiddendevj/Crawler_Illegal_Cases_In_China

Ce projet vise à compiler toute l'actualité, les documents et les réglementations juridiques relatives aux affaires judiciaires et aux violations impliquant les développeurs de crawlers en Chine continentale. Il s'efforce d'aider les professionnels du secteur des crawlers travaillant en Chine continentale à comprendre les lois pertinentes et à éviter d'atteindre les limites de conformité des données.

hiddendevj
⭐ 4,759 HTML 👤 hiddendevj User 🕐 Mis à jour 2026-03-12 📅 Créé 2019-09-29
36
dataabc/weibo-crawler

Gratteur Sina Weibo, utilisant Python pour extraire les données Sina Weibo et télécharger les images et vidéos Weibo

dataabc
⭐ 4,705 Python 👤 dataabc User 🕐 Mis à jour 2026-11-06 📅 Créé 2019-06-25
37
myreader-io/myGPTReader

Une façon communautaire de lire et de discuter avec des robots IA, alimentée par chatGPT.

myreader-io
⭐ 4,416 Python 👤 myreader-io Organization 🕐 Mis à jour 2026-02-05 📅 Créé 2023-03-08
38
kanasimi/work_crawler

Outil de téléchargement de bandes dessinées et romans:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.

kanasimi
⭐ 4,391 JavaScript 👤 kanasimi User 🕐 Mis à jour 2026-10-12 📅 Créé 2016-11-02
39
dotnetcore/DotnetSpider

DotnetSpider, une bibliothèque de crawling web standard .NET. C'est un framework de crawling et scraping web de haut niveau, léger, efficace et rapide.

dotnetcore
⭐ 4,142 C# 👤 dotnetcore Organization 🕐 Mis à jour 2026-04-03 📅 Créé 2016-03-21
40
constverum/ProxyBroker

Proxy [Finder | Vérificateur | Serveur]. HTTP(S) & SOCKS :performing_arts:

constverum
⭐ 4,084 Python 👤 constverum User 🕐 Mis à jour 2024-03-18 📅 Créé 2015-10-11
41
MikeChongCan/scylla

Pool de proxies intelligent pour les Humains™ pour extraire du contenu d'internet et construire vos propres Modèles de Langage Large dans cette nouvelle ère de l'IA

MikeChongCan
⭐ 4,021 Python 👤 MikeChongCan User 🕐 Mis à jour 2026-11-03 📅 Créé 2018-04-10
42
Arachni/arachni

Framework de Scanner de Sécurité pour Applications Web

Arachni
⭐ 4,020 Ruby 👤 Arachni Organization 🕐 Mis à jour 2026-04-22 📅 Créé 2010-08-25
43
hardkoded/puppeteer-sharp

API .NET Chrome sans tête

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2017-09-30
44
edoardottt/cariddi

Prenez une liste de domaines, explorez les URL et recherchez des points d'accès, des secrets, des clés d'API, des extensions de fichiers, des jetons et plus encore.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Mis à jour 2026-11-19 📅 Créé 2021-04-27
45
3441293738/creatorhub

Surveillance · collecte · republication de contenu multiplateforme. Un seul tableau de bord web pour gérer Douyin / Xiaohongshu / Kuaishou / les chaînes WeChat / TikTok / Bilibili / Instagram / Xiaohongshu à l’international (rednote)

3441293738
⭐ 3,774 Python 👤 3441293738 User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-07-03
46
Boris-code/feapder

🚀🚀🚀feapder est un framework de crawler facile à utiliser et puissant | feapder est un framework de crawler Python simple à utiliser et puissant. Il intègre quatre types de crawlers : AirSpider, Spider, TaskSpider et BatchSpider pour répondre aux besoins de différents scénarios. Il prend en charge des fonctionnalités telles que la reprise sur point d'arrêt, la surveillance et les alertes, le rendu du navigateur et la déduplication de grandes quantités de données. De plus, le puissant système de gestion des crawlers feaplat offre un déploiement et une planification pratiques.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 Mis à jour 2026-08-21 📅 Créé 2021-02-08
47
sqzw-x/mdcx

Scrapeur de métadonnées de films

sqzw-x
⭐ 3,727 Python 👤 sqzw-x User 🕐 Mis à jour 2026-08-23 📅 Créé 2023-11-06
48
elliotgao2/toapi

Chaque site web fournit des API.

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 Mis à jour 2026-08-27 📅 Créé 2017-11-27
49
Tuhinshubhra/RED_HAWK

Outil tout-en-un pour la collecte d'informations, le scan de vulnérabilités et le crawling. Un outil indispensable pour tous les testeurs de pénétration

Tuhinshubhra
⭐ 3,491 PHP 👤 Tuhinshubhra User 🕐 Mis à jour 2024-07-31 📅 Créé 2017-06-11
50
CharlesPikachu/videodl

Videodl : Un téléchargeur vidéo léger écrit en Python pur. (Un téléchargeur vidéo léger qui privilégie la haute définition sans filigrane et prend en charge des plateformes telles que Douyin, Kuaishou, Xiaohongshu, Bilibili, TikTok, YouTube, FIFA+, Youku, Tencent Video, iQIYI, 1905 Movie Network, LeTV, Mango TV, Migu, PPTV, Sohu, Facebook, Twitter, Sina Weibo, Today’s Headlines, NetEase Open Classes, 全民K歌, CCTV, Kugou MV, New Film, Zhihu, Baidu Tieba, TED et d’autres vastes plateformes de streaming.)

CharlesPikachu
⭐ 3,294 Python 👤 CharlesPikachu User 🕐 Mis à jour 2026-11-21 📅 Créé 2018-07-10

Foire aux questions

1

Quel est le dépôt #crawler le plus populaire sur GitHub ?

Le projet #crawler open source le mieux classé sur GitHub est firecrawl/firecrawl, avec 205,758 étoiles. Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.

2

Quels langages de programmation sont les plus utilisés dans les dépôts #crawler ?

Parmi les projets #crawler les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Go, TypeScript, JavaScript.

3

Comment le classement des dépôts #crawler est-il calculé ?

Nous suivons 162 dépôts open source actifs associés à #crawler (500+ étoiles), totalisant 1,111,814 étoiles, avec une moyenne de 6,863 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.