Git Stars Git Stars

#spider Dépôts

92
Total des Dépôts
325,814
Nombre total d'étoiles
3,541
Moyenne d'Étoiles/Dépôt
51
kiddyuchina/Beanbun

Beanbun est un framework de crawling web multiprocessus écrit en PHP, avec une bonne ouverture et une haute évolutivité, basé sur Workerman.

kiddyuchina
⭐ 1,258 PHP 👤 kiddyuchina User 🕐 Mis à jour 2026-05-26 📅 Créé 2017-04-13
52
scrapfly/scrapfly-scrapers

Scripts Python évolutifs de scraping web pour plus de 80 domaines populaires

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-05-22
53
BaiduSpider/BaiduSpider

BaiduSpider, un robot d'exploration qui récupère les résultats de recherche Baidu, prend actuellement en charge la recherche web Baidu, la recherche d'images Baidu, la recherche Baidu Knows, la recherche vidéo Baidu, la recherche d'actualités Baidu, la recherche Baidu Wenku, la recherche d'expériences Baidu et la recherche Baidu Baike.

BaiduSpider
⭐ 1,130 Python 👤 BaiduSpider Organization 🕐 Mis à jour 2024-06-14 📅 Créé 2020-10-03
54
elixir-crawly/crawly

Crawly, un framework de haut niveau pour le web crawling et scraping pour Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2019-03-09
55
skygazer42/DL-Hub

LLM Grands modèles Notes 50 articles Ce dépôt contient des projets pratiques dans des domaines tels que l'apprentissage automatique, l'apprentissage profond, la vision par ordinateur, le traitement du langage naturel, les grands modèles, le web scraping, etc.

skygazer42
⭐ 1,121 Python 👤 skygazer42 User 🕐 Mis à jour 2026-08-30 📅 Créé 2022-04-05
56
wujunwei928/parse-video

Suppression de filigrane de vidéos courtes Golang : Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...

wujunwei928
⭐ 1,104 Go 👤 wujunwei928 User 🕐 Mis à jour 2026-11-08 📅 Créé 2022-07-12
57
zhangyd-c/OneBlog

:alien: OneBlog, un blog Java simple, beau, puissant et adaptatif

zhangyd-c
⭐ 1,103 Java 👤 zhangyd-c User 🕐 Mis à jour 2025-03-16 📅 Créé 2018-04-10
58
1061700625/WeChat_Article

Récupération d'articles de comptes publics WeChat

1061700625
⭐ 1,089 Python 👤 1061700625 User 🕐 Mis à jour 2026-06-17 📅 Créé 2019-02-21
59
gsh199449/spider

Un robot d'indexation web configurable avec une console web facile à utiliser

gsh199449
⭐ 996 Java 👤 gsh199449 User 🕐 Mis à jour 2026-06-03 📅 Créé 2016-11-24
60
spidersuite/SpiderSuite

Versions, wiki et feuille de route de SpiderSuite (explorateur de sécurité web)

spidersuite
⭐ 990 👤 spidersuite Organization 🕐 Mis à jour 2026-08-13 📅 Créé 2023-04-05
61
QIN2DIM/V2RSS

:rocket: Collecter|Gratuit|De qualité|Abonnement?

QIN2DIM
⭐ 978 Python 👤 QIN2DIM User 🕐 Mis à jour 2026-11-17 📅 Créé 2020-06-02
62
LoseNine/Crack-JS-Spider

JS Reverse Engineering, décryptage des paramètres de cryptage anti-scraping JS, curseur Geetest W déjà décrypté (2022.2.19), QQ Music sign (2022.2.13), Pinduoduo anti_content, Boss Zhipin zp_token, Zhihu x-zse-96, Kugou kg_mid/dfid, Vipshop mars_cid, China Judgments Online (mis à jour le 2020-06-30), mot de passe Taobao, connexion Tianan Insurance, connexion Bilibili, connexion Fang.com, connexion WPS, connexion Weibo, Youdao Translate, connexion Netease, connexion WeChat Official Account, connexion Air China Network, connexion Jmubiao, connexion Student Information Management System, connexion Gengying Finance, connexion Chongqing Science and Technology Resource Sharing Platform, téléchargement Netease Cloud Music, analyse de lien vidéo en un clic, connexion Cailianshe.

LoseNine
⭐ 974 JavaScript 👤 LoseNine User 🕐 Mis à jour 2024-05-03 📅 Créé 2020-02-09
63
fredwu/crawler

Un web crawler / scraper hautes performances en Elixir.

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 Mis à jour 2026-11-21 📅 Créé 2016-08-08
64
ma6254/FictionDown

Téléchargement de romans|Récupération de romans|起点|笔趣阁|Exporter Markdown|Exporter txt|Convertir epub|Filtrage des publicités|Correction automatique

ma6254
⭐ 955 Go 👤 ma6254 User 🕐 Mis à jour 2025-01-21 📅 Créé 2019-03-03
65
0xAllenChen/spider_reverse

Études de cas de rétro-ingénierie de robots d'exploration, terminées : Empreinte TLS | Ruishu | Zhenkunxing | NetEase Yudun | Rétro-ingénierie/décompilation de mini-programmes WeChat (Baida Xingxi) | Tonghuashun | Démystification RPC | Jiasule | Code CAPTCHA à curseur Jueyan | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Plateforme de données massives sur les politiques industrielles | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian

0xAllenChen
⭐ 946 Python 👤 0xAllenChen User 🕐 Mis à jour 2026-11-17 📅 Créé 2023-06-02
66
hellock/icrawler

Un framework de crawler multi-thread avec de nombreux crawlers d'images intégrés fournis.

hellock
⭐ 936 Python 👤 hellock User 🕐 Mis à jour 2025-12-10 📅 Créé 2016-03-19
67
alltheplaces/alltheplaces

Un ensemble de spiders et de scrapers pour extraire les informations de localisation des lieux qui publient leur position sur Internet.

alltheplaces
⭐ 851 Python 👤 alltheplaces Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2016-06-15
68
BlessedRebuS/Krawl

Krawl est un serveur de tromperie web personnalisable, léger et natif du cloud, et un anti-crawler qui crée des applications web factices avec des vulnérabilités faciles à exploiter en utilisant des données d'appât réalistes générées aléatoirement et des modèles HTML générés par IA.

BlessedRebuS
⭐ 844 Python 👤 BlessedRebuS User 🕐 Mis à jour 2026-11-20 📅 Créé 2025-12-10
69
kingschan1204/istock

:point_right: Un crawler d'actions Java basé sur Spring Boot (ne supporte que les actions A), si vous :heart: veuillez :star: . La version d'upgrade V2 est en développement !

kingschan1204
⭐ 836 Java 👤 kingschan1204 User 🕐 Mis à jour 2024-12-27 📅 Créé 2017-03-09
70
postmodern/spidr

Une bibliothèque Ruby polyvalente pour le web scraping qui peut crawler un site, plusieurs domaines, certains liens ou indéfiniment. Spidr est conçu pour être rapide et facile à utiliser.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Mis à jour 2026-01-12 📅 Créé 2009-03-08
71
DoiiarX/NLCISBNPlugin

Un plugin source/métadonnées Calibre basé sur la recherche ISBN de la Bibliothèque nationale de Chine. https://doiiars.com/article/NLCISBNPlugin

DoiiarX
⭐ 812 Python 👤 DoiiarX User 🕐 Mis à jour 2026-01-07 📅 Créé 2023-12-14
72
bahaabdelwahed/killshot

Un cadre de test d'intrusion, un outil de collecte d'informations et un scanner de vulnérabilités de sites web

bahaabdelwahed
⭐ 791 Ruby 👤 bahaabdelwahed User 🕐 Mis à jour 2025-12-07 📅 Créé 2018-10-27
73
montaro2017/bili_novel_packer

Un «Light Novel Packer» (Empaqueteur de romans légers) qui extrait le contenu des sites de romans légers Bili (bilinovel.com linovelib.com) et le regroupe au format EPUB. Il prend en charge les couvertures, les illustrations, la table des matières et la fusion des volumes séparés.

montaro2017
⭐ 787 Dart 👤 montaro2017 User 🕐 Mis à jour 2026-11-13 📅 Créé 2023-02-20
74
xuxueli/xxl-crawler

Un framework léger pour web crawler. (Framework de crawler Java)

xuxueli
⭐ 756 Java 👤 xuxueli User 🕐 Mis à jour 2026-08-08 📅 Créé 2017-10-17
75
polyrabbit/hacker-news-digest

📰 Laissez un LLM résumer Hacker News pour vous

polyrabbit
⭐ 754 Python 👤 polyrabbit User 🕐 Mis à jour 2026-11-21 📅 Créé 2014-09-17
76
signal18/replication-manager

Signal 18 repman - Gestionnaire de Réplication pour MySQL / MariaDB / Percona Server

signal18
⭐ 747 Go 👤 signal18 Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2015-10-14
77
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ Scraper de profils LinkedIn renvoyant des données de profil structurées en JSON.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Mis à jour 2024-04-05 📅 Créé 2018-12-21
78
wujunwei928/parse-video-py

Web crawler Python pour enlever les filigranes des courtes vidéos : Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Vidéo courte nationale, Pipi drôle, Xigua Video, Huya, Li Video, AcFun, Vidéo Haokan...

wujunwei928
⭐ 721 Python 👤 wujunwei928 User 🕐 Mis à jour 2026-11-08 📅 Créé 2024-04-03
79
xinlingqudongX/TSDK

SDK de crawler Taobao, utilisé pour la plateforme ouverte Taobao ou pour la connexion et le crawling de Taobao, Tmall, Alibaba

xinlingqudongX
⭐ 716 Python 👤 xinlingqudongX User 🕐 Mis à jour 2026-03-26 📅 Créé 2018-12-06
80
casual-silva/NewsCrawl

Projet open source d'entreprise de crawling d'actualités et d'opinion publique : prend en charge l'exécution en un clic d'un nombre quelconque de crawlers, les tâches planifiées de crawlers, la suppression par lots de crawlers ; déploiement en un clic des crawlers ; visualisation de la surveillance des crawlers ; configuration de la stratégie de répartition des crawlers en cluster ; 👉 La documentation de déploiement Docker prête à l'emploi a déjà résolu les problèmes pour vous.

casual-silva
⭐ 688 Python 👤 casual-silva User 🕐 Mis à jour 2026-05-23 📅 Créé 2022-07-08
81
darbra/sign

Approches et expériences pour la rétro-ingénierie des paramètres d'application, rétro-ingénierie Android

darbra
⭐ 667 👤 darbra User 🕐 Mis à jour 2024-06-13 📅 Créé 2020-05-26
82
spiritLHLS/Hang-up-items

Projet de questionnaire, recommandation de serveur cloud, projet d'accrochage, proxy gratuit, collection de divers scripts. Bienvenue en haut à droite pour cliquer sur la cloche afin de recevoir des informations de mise à jour en temps voulu. (Ne pas forker, discrètement)

spiritLHLS
⭐ 646 👤 spiritLHLS User 🕐 Mis à jour 2026-11-13 📅 Créé 2022-04-11
83
fengzhizi715/NetDiscovery

NetDiscovery est un framework/middleware de crawling à usage général implémenté sur la base de frameworks tels que Vert.x et RxJava 2.

fengzhizi715
⭐ 643 Java 👤 fengzhizi715 User 🕐 Mis à jour 2026-06-05 📅 Créé 2017-11-26
84
cv-cat/catbus

Une seule commande pour utiliser Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com et X : des commandes unifiées et une sortie JSON pour les humains et les agents d’IA

cv-cat
⭐ 641 TypeScript 👤 cv-cat User 🕐 Mis à jour 2026-11-20 📅 Créé 2026-09-27
85
scrapfly/Antibot-Detector

Détection en temps réel des systèmes anti-bots, des captchas et des techniques de fingerprinting. Identifie Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security et bien d’autres, avec un score de confiance et des outils de capture avancés.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2025-09-03
86
l4rm4nd/LinkedInDumper

Script Python 3 pour décharger/extraire/extraire les employés d'une entreprise de l'API LinkedIn

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 Mis à jour 2026-08-21 📅 Créé 2022-10-17
87
mouday/spider-admin-pro

spider-admin-pro Un outil de gestion visuelle pour la visualisation de projets de crawler Scrapy+Scrapyd et la planification programmée des tâches de crawler, la version améliorée de SpiderAdmin

mouday
⭐ 614 Python 👤 mouday User 🕐 Mis à jour 2026-06-15 📅 Créé 2021-01-25
88
jadehh/TVSpider

Dépôt de web scraping de films et de chats de cinéma

jadehh
⭐ 604 JavaScript 👤 jadehh User 🕐 Mis à jour 2024-09-18 📅 Créé 2023-02-16
89
CharlesPikachu/freeproxy

FreeProxy : Collecte de proxys gratuits sur Internet. (Grande quantité de proxys gratuits de haute qualité dans le monde entier, prise en charge du crawling de dizaines de sources de partage de proxys gratuits, filtrage de proxys avec des règles personnalisées, essentiel pour le scraping web et l'analyse de données, mis à jour quotidiennement avec une grande quantité de proxys gratuits.)

CharlesPikachu
⭐ 594 Python 👤 CharlesPikachu User 🕐 Mis à jour 2026-11-21 📅 Créé 2018-10-29
90
zhuyingda/webster

Un framework fiable de haut niveau pour le web crawling et scraping pour Node.js.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 Mis à jour 2025-03-12 📅 Créé 2017-11-04
91
dirtyfilthy/freshonions-torscraper

Fresh Onions est un robot d’exploration TOR open source / un robot d’exploration des services cachés onion, hébergé à l’adresse zlal32teyptf4tvi.onion

dirtyfilthy
⭐ 543 Python 👤 dirtyfilthy User 🕐 Mis à jour 2026-11-19 📅 Créé 2017-02-15
92
sansan0/bilibili-comment-analyzer

🎯 Logiciel d'analyse de visualisation des données des commentaires de Bilibili -- les créateurs peuvent l'utiliser pour guider leur choix de sujets et comprendre leur base de fans.

sansan0
⭐ 503 Python 👤 sansan0 User 🕐 Mis à jour 2025-06-27 📅 Créé 2025-06-03