Git Stars Git Stars

#crawler Dépôts

162
Total des Dépôts
1.1M
Nombre total d'étoiles
6,863
Moyenne d'Étoiles/Dépôt
51
thewhiteh4t/FinalRecon

Reconnaissance Web Tout-en-Un

thewhiteh4t
⭐ 3,058 Python 👤 thewhiteh4t User 🕐 Mis à jour 2026-10-31 📅 Créé 2019-03-28
52
Qianlitp/crawlergo

Un puissant crawler de navigateur pour les scanners de vulnérabilités web

Qianlitp
⭐ 3,034 Go 👤 Qianlitp User 🕐 Mis à jour 2025-03-11 📅 Créé 2019-12-25
53
facundoolano/google-play-scraper

Scraper Node.js pour récupérer des données depuis Google Play

facundoolano
⭐ 3,005 JavaScript 👤 facundoolano User 🕐 Mis à jour 2026-10-17 📅 Créé 2015-04-07
54
howie6879/owllook

owllook-Moteur de recherche de romans

howie6879
⭐ 2,900 Python 👤 howie6879 User 🕐 Mis à jour 2026-10-30 📅 Créé 2017-02-18
55
CharlesPikachu/DecryptLogin

DecryptLogin : API pour se connecter à certains sites web en utilisant requests.

CharlesPikachu
⭐ 2,871 Python 👤 CharlesPikachu User 🕐 Mis à jour 2024-08-09 📅 Créé 2019-02-25
56
spider-rs/spider

Collecte fondamentale de données web à faible latence en Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2018-01-07
57
jaeles-project/gospider

Gospider - Araignée web rapide écrite en Go

jaeles-project
⭐ 2,851 Go 👤 jaeles-project Organization 🕐 Mis à jour 2024-04-21 📅 Créé 2020-01-22
58
spatie/crawler

https://spatie.be/docs/crawler

spatie
⭐ 2,827 PHP 👤 spatie Organization 🕐 Mis à jour 2026-11-05 📅 Créé 2015-11-02
59
geziyor/geziyor

Geziyor, framework de web crawling et scraping ultra-rapide pour Go. Prend en charge le rendu JS.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 Mis à jour 2026-07-02 📅 Créé 2019-06-06
60
jae-jae/QueryList

:spider: Le framework de crawler PHP progressif ! Framework de collecte PHP progressif élégant.

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 Mis à jour 2026-10-20 📅 Créé 2015-12-20
61
Autumn-27/ScopeSentry

ScopeSentry-Cartographie du cyberespace, énumération des sous-domaines, analyse des ports, découverte d'informations sensibles, analyse des vulnérabilités, nœuds distribués

Autumn-27
⭐ 2,597 Go 👤 Autumn-27 User 🕐 Mis à jour 2026-10-11 📅 Créé 2024-02-27
62
xtuhcy/gecco

Crawler web léger facile à utiliser

xtuhcy
⭐ 2,510 Java 👤 xtuhcy User 🕐 Mis à jour 2026-10-09 📅 Créé 2015-12-12
63
fhamborg/news-please

news-please - Un crawler web intégré et un extracteur d'informations pour les actualités qui fonctionne simplement

fhamborg
⭐ 2,494 Python 👤 fhamborg User 🕐 Mis à jour 2026-04-14 📅 Créé 2016-12-18
64
lorien/grab

Framework de Web Scraping

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Mis à jour 2025-09-19 📅 Créé 2013-05-01
65
JayBizzle/Crawler-Detect

🕷 CrawlerDetect est une classe PHP pour détecter les robots/robots d'indexation/spiders via l'agent utilisateur

JayBizzle
⭐ 2,410 PHP 👤 JayBizzle User 🕐 Mis à jour 2026-11-16 📅 Créé 2015-03-23
66
friuns2/Leaked-GPTs

Les invites GPT divulguées contournent la limite de 25 messages ou pour essayer les GPT sans abonnement Plus.

friuns2
⭐ 2,396 Python 👤 friuns2 User 🕐 Mis à jour 2024-01-17 📅 Créé 2023-11-27
67
sjdirect/abot

Framework de crawler web C# multiplateforme conçu pour la vitesse et la flexibilité. Veuillez mettre une étoile à ce projet ! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 Mis à jour 2026-07-17 📅 Créé 2013-08-08
68
goclone-dev/goclone

Website Cloner - Utilise de puissantes routines Go pour cloner des sites Web sur votre ordinateur en quelques secondes.

goclone-dev
⭐ 2,303 Go 👤 goclone-dev Organization 🕐 Mis à jour 2026-06-02 📅 Créé 2020-03-23
69
AAndyProgram/SCrawler

Téléchargeur de médias depuis n'importe quel site, y compris Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid etc.

AAndyProgram
⭐ 2,263 Visual Basic .NET 👤 AAndyProgram User 🕐 Mis à jour 2026-11-08 📅 Créé 2021-12-07
70
watercrawl/WaterCrawl

Transformer le contenu Web en données prêtes pour les LLM

watercrawl
⭐ 2,244 TypeScript 👤 watercrawl Organization 🕐 Mis à jour 2026-08-17 📅 Créé 2024-12-15
71
zorlan/skycaiji

Blue Sky Collector est un système de scraping open source et gratuit qui ne nécessite que la sélection et la modification des règles pour collecter des données. Il peut fonctionner localement, sur un hébergement virtuel ou sur un serveur cloud, et peut collecter presque tous les types de pages Web. Il s'intègre parfaitement à divers programmes de création de sites Web CMS, publie des données en temps réel sans connexion et sans intervention humaine ! C'est un système de scraping cloud entièrement multiplateforme dans le logiciel de collecte de données massives sur le Web.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 Mis à jour 2026-10-07 📅 Créé 2018-02-26
72
TeamNewPipe/NewPipeExtractor

La bibliothèque principale de NewPipe pour extraire des données des sites de streaming

TeamNewPipe
⭐ 2,070 Java 👤 TeamNewPipe Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2017-03-01
73
elliotgao2/gain

Framework de crawling web basé sur asyncio.

elliotgao2
⭐ 2,017 Python 👤 elliotgao2 User 🕐 Mis à jour 2026-08-09 📅 Créé 2017-05-31
74
coder-hxl/x-crawl

Bibliothèque flexible de crawling pour Node.js

coder-hxl
⭐ 1,888 TypeScript 👤 coder-hxl User 🕐 Mis à jour 2026-11-21 📅 Créé 2023-01-22
75
JSREI/ast-hook-for-js-RE

Solution d'itinérance de mémoire du navigateur (en cours d'exploration...)

JSREI
⭐ 1,882 JavaScript 👤 JSREI Organization 🕐 Mis à jour 2024-05-07 📅 Créé 2021-01-15
76
lixi5338619/lxSpider

Recueil d'exemples de scraping web. Incluant, sans s'y limiter, "Taobao, JD.com, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Alibaba, Toutiao, PDD, Youku, iQIYI, Ctrip, 12306, 58, Sohu, divers indices, VIP, Wanfang, ZLibrary, Oalib, Romans, sites d'appel d'offres, sites d'approvisionnement, Xiaohongshu, Dianping, Twitter, Maimai, Zhihu"

lixi5338619
⭐ 1,876 Python 👤 lixi5338619 User 🕐 Mis à jour 2024-05-09 📅 Créé 2021-01-29
77
diskoverdata/diskover-community

Diskover Community Edition - Indexeur de fichiers open source, moteur de recherche de fichiers et gestion et analyse de données alimentés par Elasticsearch

diskoverdata
⭐ 1,831 PHP 👤 diskoverdata Organization 🕐 Mis à jour 2026-03-25 📅 Créé 2017-04-19
78
eatmoreduck/boss-zhipin-scraper

Scraper BOSS Zhipin / Outil de scraping de données d'emploi BOSS Zhipin, basé sur le protocole Chrome CDP pour réutiliser les sessions de connexion réelles, contourner l'anti-scraping des polices et générer des JSON/CSV de salaires en texte clair + analyse des compétences salariales.

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 Mis à jour 2026-11-03 📅 Créé 2026-06-11
79
u3c3/BT-btt

Présentation du site magnétique U3C3 et mise à jour du nom de domaine

u3c3
⭐ 1,779 👤 u3c3 User 🕐 Mis à jour 2025-01-01 📅 Créé 2020-04-28
80
howie6879/ruia

Micro-framework asynchrone de scraping web pour Python 3.6+ basé sur asyncio

howie6879
⭐ 1,738 Python 👤 howie6879 User 🕐 Mis à jour 2026-10-30 📅 Créé 2018-07-10
81
rushter/selectolax

Liaison Python aux moteurs Modest et Lexbor. Analyseur HTML5 rapide avec sélecteurs CSS pour Python.

rushter
⭐ 1,717 Python 👤 rushter User 🕐 Mis à jour 2026-11-10 📅 Créé 2017-11-26
82
gildas-lormeau/single-file-cli

Outil CLI pour enregistrer une copie fidèle d'une page Web complète dans un seul fichier HTML (basé sur SingleFile)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 Mis à jour 2026-11-18 📅 Créé 2022-05-31
83
YoongiKim/AutoCrawler

Google, Naver rampeur web d'images multiprocessus (Selenium)

YoongiKim
⭐ 1,700 Python 👤 YoongiKim User 🕐 Mis à jour 2026-11-12 📅 Créé 2018-11-21
84
orangecoding/fredy

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] (trouver un bien immobilier, super facilement) - Fredy continue de rechercher de nouveaux appartements, maisons et logements en Europe sur des plateformes comme ImmoScout24, Immowelt et eBay Kleinanzeigen, puis vous envoie instantanément les résultats via Slack, Telegram, e-mail, Discord ou ntfy, afin que vous puissiez vous concentrer sur les choses les plus importantes de la vie ;)

orangecoding
⭐ 1,648 JavaScript 👤 orangecoding User 🕐 Mis à jour 2026-11-19 📅 Créé 2018-01-15
85
erma0/douyin

Crawler Douyin - Collecte de données publiques telles que la page de profil du compte, les likes, les collections, les sons musicaux originaux, les sujets, la recherche, les collections, les œuvres, les suivis, les abonnés, etc.

erma0
⭐ 1,625 👤 erma0 User 🕐 Mis à jour 2026-08-14 📅 Créé 2022-05-29
86
ArchiveTeam/grab-site

Le robot d'exploration Web de l'archiviste : sortie WARC, tableau de bord pour tous les crawls, modèles d'ignorance dynamiques

ArchiveTeam
⭐ 1,572 Python 👤 ArchiveTeam Organization 🕐 Mis à jour 2025-05-23 📅 Créé 2015-02-05
87
srx-2000/spider_collection

Rampants Python, inventaire actuel : Extraction de chansons NetEase Cloud Music, Extraction de vidéos Bilibili, Extraction de Q&R Zhihu, Extraction de fonds d'écran, Extraction de vidéos xvideos, Extraction de livres audio, Rampant Weibo, Extraction d'informations Anjuke + visualisation de données, Extracteur de couvertures de vidéos Bilibili, Encapsulation de pool de proxies IP, Rampant d'utilisateurs Zhihu de niveau million + analyse de données, Rampant d'utilisateurs GitHub

srx-2000
⭐ 1,554 Python 👤 srx-2000 User 🕐 Mis à jour 2024-04-23 📅 Créé 2020-02-04
88
0x676e67/wreq-python

Un client HTTP Python ergonomique et respectueux de la vie privée

0x676e67
⭐ 1,526 Python 👤 0x676e67 User 🕐 Mis à jour 2026-11-15 📅 Créé 2025-02-10
89
rebrowser/rebrowser-patches

Collection de correctifs pour puppeteer et playwright afin d'éviter la détection d'automatisation et les fuites. Aide à éviter les pages CAPTCHA de Cloudflare et DataDome. Facile à patcher/dépatcher, peut être activé/désactivé à la demande.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 Mis à jour 2026-11-02 📅 Créé 2024-08-06
90
dadoonet/fscrawler

Elasticsearch Crawler de Système de Fichiers (Crawler FS)

dadoonet
⭐ 1,459 Java 👤 dadoonet User 🕐 Mis à jour 2026-11-19 📅 Créé 2012-06-08
91
xisuo67/XHS-Spider

Collecte de données Xiaohongshu, outil de téléchargement en masse d'images de sites Web et de ressources vidéo, outil de collecte de données à l'apparence très attrayante (téléchargement en masse, extraction vidéo, images) Telegram:https://t.me/+ZtLSwuIKTo44MDY1

xisuo67
⭐ 1,456 👤 xisuo67 User 🕐 Mis à jour 2025-12-16 📅 Créé 2023-04-25
92
openwpm/OpenWPM

Un cadre de mesure de la confidentialité sur le Web

openwpm
⭐ 1,429 Python 👤 openwpm Organization 🕐 Mis à jour 2026-10-13 📅 Créé 2014-06-10
93
darbra/sperm

Un résumé d'excellents articles sur le rétro-ingénierie, à consulter

darbra
⭐ 1,427 👤 darbra User 🕐 Mis à jour 2026-04-13 📅 Créé 2022-03-02
94
kgspider/crawler

Partage de code de web scraping de frère K, rétro-ingénierie JS, web scraping avancé. Suivez le compte public WeChat : frère K Web-Scraping

kgspider
⭐ 1,371 JavaScript 👤 kgspider User 🕐 Mis à jour 2025-05-12 📅 Créé 2021-08-24
95
lorey/mlscraper

🤖 Scrapez des données de sites Web HTML automatiquement en fournissant simplement des exemples

lorey
⭐ 1,370 Python 👤 lorey User 🕐 Mis à jour 2024-03-17 📅 Créé 2020-07-30
96
felipecsl/wombat

Crawler/scraper web Ruby léger avec un DSL élégant qui extrait des données structurées des pages.

felipecsl
⭐ 1,360 Ruby 👤 felipecsl User 🕐 Mis à jour 2026-10-27 📅 Créé 2011-11-14
97
0xInfection/XSRFProbe

Le Prime Cross Site Request Forgery (CSRF) Kit d'Audit et d'Exploitation.

0xInfection
⭐ 1,310 Python 👤 0xInfection User 🕐 Mis à jour 2026-07-12 📅 Créé 2018-08-21
98
fastcrw/crw

Alternative rapide et légère à Firecrawl/Tavily en Rust. API de web scraping, crawler et recherche avec serveur MCP pour agents IA. API compatible avec Firecrawl (/scrape, /crawl, /search). 2,3x plus rapide que Tavily, 1,5x plus rapide que Firecrawl sur des benchmarks de 1K URL. 6 Mo de RAM, binaire unique. Auto-hébergement ou cloud géré.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-03-02
99
dwisiswant0/go-dork

Le scanner de dorks le plus rapide écrit en Go.

dwisiswant0
⭐ 1,266 Go 👤 dwisiswant0 User 🕐 Mis à jour 2024-02-04 📅 Créé 2020-07-13
100
kiddyuchina/Beanbun

Beanbun est un framework de crawling web multiprocessus écrit en PHP, avec une bonne ouverture et une haute évolutivité, basé sur Workerman.

kiddyuchina
⭐ 1,258 PHP 👤 kiddyuchina User 🕐 Mis à jour 2026-05-26 📅 Créé 2017-04-13