Git Stars Git Stars

#crawler Dépôts

162
Total des Dépôts
1.1M
Nombre total d'étoiles
6,863
Moyenne d'Étoiles/Dépôt
101
Zeal-L/BiliBili-Manga-Downloader

Un téléchargeur de mangas Bilibili facile à utiliser, doté d'une interface graphique, prenant en charge la recherche de mangas par mots-clés et la connexion par code QR, avec une technologie de pointe pour télécharger les chapitres non déverrouillés, téléchargement multi-thread, divers formats de sauvegarde, gestion des mangas locaux, et une vérification des mises à jour en un clic !

Zeal-L
⭐ 1,244 Python 👤 Zeal-L User 🕐 Mis à jour 2025-07-23 📅 Créé 2023-01-15
102
InstaPy/instagram-profilecrawl

📝 Récupérez rapidement les informations (par ex. abonnés, tags, etc.) d'un profil Instagram.

InstaPy
⭐ 1,244 Python 👤 InstaPy Organization 🕐 Mis à jour 2024-03-19 📅 Créé 2017-02-15
103
seveniruby/AppCrawler

Outil de traversée automatique des applications basé sur Appium

seveniruby
⭐ 1,244 Scala 👤 seveniruby User 🕐 Mis à jour 2026-04-20 📅 Créé 2016-02-16
104
webrecorder/browsertrix-crawler

Exécutez un programme d'exploration d'archivage Web basé sur un navigateur haute fidélité dans un seul conteneur Docker

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2020-11-02
105
AndyTheFactory/newspaper4k

📰 Newspaper4k, un fork du bien-aimé Newspaper3k. Extraction d'articles, de titres et de métadonnées à partir de sites d'information.

AndyTheFactory
⭐ 1,170 Python 👤 AndyTheFactory User 🕐 Mis à jour 2026-11-01 📅 Créé 2023-10-22
106
dixudx/tumblr-crawler

Téléchargez facilement toutes les photos/vidéos des blogs Tumblr. Téléchargez les images et vidéos des blogs Tumblr spécifiés

dixudx
⭐ 1,160 Python 👤 dixudx User 🕐 Mis à jour 2025-12-26 📅 Créé 2016-04-15
107
codelibs/fess

Serveur de recherche d'entreprise et de site web, open-source et auto-hébergé, basé sur OpenSearch. Indexe des sources web, fichiers, bases de données et cloud, prend en charge plus de 20 langues, API REST, et recherche sémantique avec IA/RAG. Licence Apache-2.0.

codelibs
⭐ 1,152 Java 👤 codelibs Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2013-09-13
108
scrapfly/scrapfly-scrapers

Scripts Python évolutifs de scraping web pour plus de 80 domaines populaires

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-05-22
109
BaiduSpider/BaiduSpider

BaiduSpider, un robot d'exploration qui récupère les résultats de recherche Baidu, prend actuellement en charge la recherche web Baidu, la recherche d'images Baidu, la recherche Baidu Knows, la recherche vidéo Baidu, la recherche d'actualités Baidu, la recherche Baidu Wenku, la recherche d'expériences Baidu et la recherche Baidu Baike.

BaiduSpider
⭐ 1,130 Python 👤 BaiduSpider Organization 🕐 Mis à jour 2024-06-14 📅 Créé 2020-10-03
110
elixir-crawly/crawly

Crawly, un framework de haut niveau pour le web crawling et scraping pour Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2019-03-09
111
0x676e67/wreq

Un client HTTP Rust ergonomique et respectueux de la vie privée

0x676e67
⭐ 1,118 Rust 👤 0x676e67 User 🕐 Mis à jour 2026-11-20 📅 Créé 2024-09-19
112
wujunwei928/parse-video

Suppression de filigrane de vidéos courtes Golang : Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...

wujunwei928
⭐ 1,104 Go 👤 wujunwei928 User 🕐 Mis à jour 2026-11-08 📅 Créé 2022-07-12
113
vifreefly/kimuraframework

Créez des scrapeurs web en Ruby avec un DSL propre et assisté par IA. Kimurai utilise l'IA pour déterminer où se trouvent les données, puis met en cache les sélecteurs et scrape avec du Ruby pur. Bénéficiez de l'intelligence d'un LLM sans la latence par requête ni les coûts de tokens.

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 Mis à jour 2026-01-27 📅 Créé 2018-08-23
114
antibrow/antibrow

Navigateur furtif au niveau du noyau avec l’API Playwright que vous utilisez déjà. SDK Python et Node, compatible MCP, profils locaux illimités. Linux x64 + arm64, macOS Intel + Apple Silicon, Windows x64.

antibrow
⭐ 1,068 TypeScript 👤 antibrow User 🕐 Mis à jour 2026-09-28 📅 Créé 2026-07-29
115
darbra/awesome-ai-reverse

Rétro-ingénierie par IA, tout en une fois

darbra
⭐ 1,026 👤 darbra User 🕐 Mis à jour 2026-09-29 📅 Créé 2026-04-14
116
janreges/siteone-crawler

SiteOne Crawler est un outil d'exploration et d'analyse de sites Web multiplateforme pour l'optimisation du référencement, de la sécurité, de l'accessibilité et des performances, idéal pour les développeurs, les ingénieurs DevOps, les ingénieurs QA et les consultants. Prend en charge Windows, macOS et Linux (x64 et arm64).

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 Mis à jour 2026-09-27 📅 Créé 2023-10-04
117
apache/stormcrawler

Un crawler web évolutif, mature et polyvalent basé sur Apache Storm

apache
⭐ 1,014 Java 👤 apache Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2013-04-12
118
pea3nut/Pxer

Un outil pour pixiv.net. Un crawler P Station accessible à tous

pea3nut
⭐ 1,010 JavaScript 👤 pea3nut User 🕐 Mis à jour 2025-03-03 📅 Créé 2015-12-16
119
spidersuite/SpiderSuite

Versions, wiki et feuille de route de SpiderSuite (explorateur de sécurité web)

spidersuite
⭐ 990 👤 spidersuite Organization 🕐 Mis à jour 2026-08-13 📅 Créé 2023-04-05
120
fredwu/crawler

Un web crawler / scraper hautes performances en Elixir.

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 Mis à jour 2026-11-21 📅 Créé 2016-08-08
121
ma6254/FictionDown

Téléchargement de romans|Récupération de romans|起点|笔趣阁|Exporter Markdown|Exporter txt|Convertir epub|Filtrage des publicités|Correction automatique

ma6254
⭐ 955 Go 👤 ma6254 User 🕐 Mis à jour 2025-01-21 📅 Créé 2019-03-03
122
xiaoxiunique/x-kit

Outils de protocole purement Python et notes de recherche pour X.com, avec des ensembles de données de comptes Twitter VibeLoft

xiaoxiunique
⭐ 947 Python 👤 xiaoxiunique User 🕐 Mis à jour 2026-11-04 📅 Créé 2024-12-16
123
0xAllenChen/spider_reverse

Études de cas de rétro-ingénierie de robots d'exploration, terminées : Empreinte TLS | Ruishu | Zhenkunxing | NetEase Yudun | Rétro-ingénierie/décompilation de mini-programmes WeChat (Baida Xingxi) | Tonghuashun | Démystification RPC | Jiasule | Code CAPTCHA à curseur Jueyan | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Plateforme de données massives sur les politiques industrielles | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian

0xAllenChen
⭐ 946 Python 👤 0xAllenChen User 🕐 Mis à jour 2026-11-17 📅 Créé 2023-06-02
124
TikHub/TikHub-API-Python-SDK

API (interface) asynchrone haute performance pour résoudre les Captchas (solveur de code de vérification) de Douyin (抖音), TikTok, Xiaohongshu (小红书), Kuaishou (快手), Weibo (微博), Instagram, YouTube (油管), Twitter (X) avec Temp Mail (e-mail temporaire).

TikHub
⭐ 943 Python 👤 TikHub Organization 🕐 Mis à jour 2026-10-03 📅 Créé 2022-12-17
125
hellock/icrawler

Un framework de crawler multi-thread avec de nombreux crawlers d'images intégrés fournis.

hellock
⭐ 936 Python 👤 hellock User 🕐 Mis à jour 2025-12-10 📅 Créé 2016-03-19
126
JoMingyu/google-play-scraper

Google Play scraper pour Python inspiré par <facundoolano/google-play-scraper>

JoMingyu
⭐ 930 Python 👤 JoMingyu User 🕐 Mis à jour 2024-08-05 📅 Créé 2019-06-04
127
SkywalkerDarren/chatWeb

ChatWeb peut explorer les pages Web, lire les PDF, DOCX, TXT et extraire le contenu principal, puis répondre à vos questions en fonction du contenu ou résumer les points clés.

SkywalkerDarren
⭐ 916 Python 👤 SkywalkerDarren User 🕐 Mis à jour 2026-05-25 📅 Créé 2023-03-09
128
scrapinghub/scrapyrt

API HTTP pour les spiders Scrapy

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 Mis à jour 2026-10-13 📅 Créé 2015-01-06
129
rndinfosecguy/Scavenger

Robot d’exploration (bot) recherchant des fuites sur des sites de partage de texte.

rndinfosecguy
⭐ 883 Python 👤 rndinfosecguy User 🕐 Mis à jour 2026-11-20 📅 Créé 2018-03-10
130
skrapeit/skrape.it

Une bibliothèque basée sur Kotlin pour les tests, le scraping et l'analyse qui fournit la capacité d'analyser et d'extraire des données à partir de HTML (rendu côté serveur et client). Elle met un accent particulier sur la facilité d'utilisation et un haut niveau de lisibilité en fournissant un DSL intuitif. Elle vise à être une bibliothèque de tests, mais peut également être utilisée pour scraper des sites web de manière pratique.

skrapeit
⭐ 874 Kotlin 👤 skrapeit User 🕐 Mis à jour 2026-10-20 📅 Créé 2019-01-14
131
StJudeWasHere/seonaut

Outil d'audit SEO open source.

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 Mis à jour 2026-10-08 📅 Créé 2022-03-02
132
setvisible/ArrowDL

ArrowDL (Arrow Downloader) est un gestionnaire de téléchargements pour Windows, macOS et Linux.

setvisible
⭐ 855 C++ 👤 setvisible User 🕐 Mis à jour 2026-05-04 📅 Créé 2019-07-04
133
BlessedRebuS/Krawl

Krawl est un serveur de tromperie web personnalisable, léger et natif du cloud, et un anti-crawler qui crée des applications web factices avec des vulnérabilités faciles à exploiter en utilisant des données d'appât réalistes générées aléatoirement et des modèles HTML générés par IA.

BlessedRebuS
⭐ 844 Python 👤 BlessedRebuS User 🕐 Mis à jour 2026-11-20 📅 Créé 2025-12-10
134
postmodern/spidr

Une bibliothèque Ruby polyvalente pour le web scraping qui peut crawler un site, plusieurs domaines, certains liens ou indéfiniment. Spidr est conçu pour être rapide et facile à utiliser.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Mis à jour 2026-01-12 📅 Créé 2009-03-08
135
tiliondev/fortress

Moteur Chromium furtif qui empêche les scrapers et les agents de navigateur d’être bloqués grâce à une seule modification de ligne de code.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 Mis à jour 2026-11-03 📅 Créé 2026-07-02
136
MorvanZhou/easy-scraping-tutorial

Code de tutoriel simple mais utile pour le web scraping en Python.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Mis à jour 2024-04-07 📅 Créé 2017-12-29
137
fffonion/xeHentai

Doujinshi downloader Téléchargement de mangas érotiques

fffonion
⭐ 808 Python 👤 fffonion User 🕐 Mis à jour 2026-11-15 📅 Créé 2013-03-23
138
fanyong920/jvppeteer

API Java pour Chrome et Firefox

fanyong920
⭐ 805 Java 👤 fanyong920 User 🕐 Mis à jour 2026-10-04 📅 Créé 2020-03-11
139
chadi0x/TheBigBrother

The Big Brother est une plateforme OSINT militarisée proposant l’énumération de noms d’utilisateur (plus de 473 plateformes), du renseignement visuel à quatre vecteurs, le suivi Sky Radar, l’analyse de portefeuilles crypto, du renseignement SSL, la reconstitution de l’empreinte numérique, l’extraction des données EXIF, la recherche avancée par dorks et la reconnaissance réseau.

chadi0x
⭐ 787 Python 👤 chadi0x User 🕐 Mis à jour 2026-11-14 📅 Créé 2025-12-08
140
JSREI/js-cookie-monitor-debugger-hook

Outil puissant d'ingénierie inverse des cookies JavaScript : outil de visualisation pour la surveillance des modifications de cookies JS et hook de cookies JS avec points d'arrêt conditionnels

JSREI
⭐ 779 TypeScript 👤 JSREI Organization 🕐 Mis à jour 2026-01-28 📅 Créé 2022-07-22
141
lixi5338619/lxBook

Répertoire de code pour le livre « Pratiques avancées de rétro-ingénierie de web scraping »

lixi5338619
⭐ 770 JavaScript 👤 lixi5338619 User 🕐 Mis à jour 2026-01-26 📅 Créé 2021-11-16
142
xuxueli/xxl-crawler

Un framework léger pour web crawler. (Framework de crawler Java)

xuxueli
⭐ 756 Java 👤 xuxueli User 🕐 Mis à jour 2026-08-08 📅 Créé 2017-10-17
143
polyrabbit/hacker-news-digest

📰 Laissez un LLM résumer Hacker News pour vous

polyrabbit
⭐ 754 Python 👤 polyrabbit User 🕐 Mis à jour 2026-11-21 📅 Créé 2014-09-17
144
TumblThreeApp/TumblThree

Une application de sauvegarde de blogs Tumblr et Twitter

TumblThreeApp
⭐ 744 C# 👤 TumblThreeApp Organization 🕐 Mis à jour 2026-11-14 📅 Créé 2018-12-29
145
PyPtt/PyPtt

La meilleure bibliothèque PTT

PyPtt
⭐ 733 Python 👤 PyPtt Organization 🕐 Mis à jour 2026-11-13 📅 Créé 2017-05-28
146
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ Scraper de profils LinkedIn renvoyant des données de profil structurées en JSON.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Mis à jour 2024-04-05 📅 Créé 2018-12-21
147
chushuai/wscan

Wscan est un scanner de sécurité web axé sur la sécurité du web, dédié à rendre la sécurité du web accessible à tous.

chushuai
⭐ 717 Go 👤 chushuai User 🕐 Mis à jour 2026-09-21 📅 Créé 2022-05-06
148
tasos-py/Search-Engines-Scraper

Rechercher sur Google, Bing, Yahoo et autres moteurs de recherche avec Python

tasos-py
⭐ 672 Python 👤 tasos-py User 🕐 Mis à jour 2025-04-02 📅 Créé 2018-01-08
149
C0D3D3V/Moodle-DL

Moodle-DL télécharge rapidement le contenu des cours depuis Moodle (par ex. PDF de conférences)

C0D3D3V
⭐ 668 Python 👤 C0D3D3V User 🕐 Mis à jour 2026-10-22 📅 Créé 2019-12-19
150
cxcscmu/Craw4LLM

Dépôt officiel pour "Craw4LLM : Crawl Web efficace pour la pré-formation LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Mis à jour 2025-02-24 📅 Créé 2025-02-17