Git Stars Git Stars

#spider Dépôts

Découvrez 92 dépôts GitHub open source actifs associés à #spider, cumulant 325,814 étoiles au total (soit une moyenne de 3,541 étoiles par projet). Le projet en tête de ce thème est NaiboWang/EasySpider, avec 44,801 étoiles.

92
Total des Dépôts
325,814
Nombre total d'étoiles
3,541
Moyenne d'Étoiles/Dépôt
1
NaiboWang/EasySpider

Un crawler/spider web visuel sans code : un logiciel d'automatisation de navigateur, de collecte de données et de web scraping visuel qui permet de concevoir et d'exécuter des tâches de crawling sans écrire de code. Alias : ServiceWrapper, un système intelligent d'encapsulation de services pour applications Web.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Mis à jour 2026-11-16 📅 Créé 2020-07-18
2
gocolly/colly

Cadre élégant de scraping et de crawling pour Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Mis à jour 2026-10-16 📅 Créé 2017-09-29
3
jhao104/proxy_pool

Python ProxyPool pour web spider

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 Mis à jour 2026-06-15 📅 Créé 2016-11-25
4
shengqiangzhang/examples-of-web-crawlers

Quelques exemples très intéressants de crawlers Python, conviviaux pour les débutants, principalement pour crawler des sites comme Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, etc. (Some interesting examples of python crawlers that are friendly to beginners.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 Mis à jour 2025-06-28 📅 Créé 2019-03-13
5
s0md3v/Photon

Crawler incroyablement rapide conçu pour l'OSINT.

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 Mis à jour 2026-10-17 📅 Créé 2018-03-30
6
crawlab-team/crawlab

Plateforme d'administration distribuée pour les crawlers web afin de gérer les spiders indépendamment des langages et frameworks. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Mis à jour 2026-02-10 📅 Créé 2019-02-10
7
ihmily/DouyinLiveRecorder

Un logiciel d'enregistrement en direct avec service cyclique et enregistrement multijoueur, prenant en charge l'enregistrement de flux en direct de plus de 40 plateformes telles que Douyin, TikTok, Youtube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, pandatv, sooplive, flextv, popkontv, twitcasting, winktv, Baidu, Weibo, Kugou, 17Live, Twitch, Acfun, CHZZK, Shopee, etc.

ihmily
⭐ 11,278 Python 👤 ihmily User 🕐 Mis à jour 2026-04-01 📅 Créé 2023-07-17
8
guyueyingmu/avbook

Système de gestion de films AV, avmoo, javbus, javlibrary Crawler, Bibliothèque de films AV en ligne, Base de données de liens magnétiques AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 Mis à jour 2024-06-01 📅 Créé 2017-02-19
9
kangvcar/InfoSpider

INFO-SPIDER est une boîte à outils crawler🧰 qui intègre de nombreuses sources de données, conçue pour aider les utilisateurs à récupérer leurs données de manière sûre et rapide. Le code de l'outil est open source et le processus est transparent. Les sources de données prises en charge comprennent GitHub, QQ Mail, Netease Mail, Ali Mail, Sina Mail, Hotmail, Outlook, JD, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, Netease Cloud Music, QQ Friends, QQ Groups, Génération d'albums WeChat Moments, Historique de navigation du navigateur, 12306, CSDN Blog, OSCHINA Blog, JianShu.

kangvcar
⭐ 8,275 Python 👤 kangvcar User 🕐 Mis à jour 2026-04-21 📅 Créé 2020-07-11
10
lorien/awesome-web-scraping

Liste des bibliothèques, outils et API pour le web scraping et le traitement des données.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Mis à jour 2026-11-21 📅 Créé 2015-08-12
11
andeya/pholcus

Pholcus est un logiciel de crawler distribué à haute concurrence écrit en pur golang

andeya
⭐ 7,583 Go 👤 andeya User 🕐 Mis à jour 2026-08-24 📅 Créé 2015-07-03
12
BruceDone/awesome-crawler

Une collection de superbes web crawlers et spiders en différentes langues

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Mis à jour 2024-06-16 📅 Créé 2016-10-10
13
bda-research/node-crawler

Web Crawler/Spider pour NodeJS + jQuery côté serveur ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 Mis à jour 2026-06-18 📅 Créé 2010-11-25
14
wechatsync/Wechatsync

Synchronisation d'articles en un clic sur plusieurs plateformes de contenu, prend en charge Toutiao, WordPress, Zhihu, JianShu, Juejin, CSDN, Typecho et autres grandes plateformes, une publication, publication synchrone sur plusieurs plateformes. Libère la productivité personnelle.

wechatsync
⭐ 6,663 TypeScript 👤 wechatsync Organization 🕐 Mis à jour 2026-11-15 📅 Créé 2020-09-01
15
DedSecInside/TorBot

Outil OSINT pour le Dark Web

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 Mis à jour 2026-11-12 📅 Créé 2017-05-17
16
201206030/novel-plus

novel-plus est un CMS de romans complet et multiplateforme (PC, WAP, application et mini-programme). Il propose notamment des recommandations, une recherche et des classements de romans, la lecture, des bibliothèques, des critiques et des listes de lecture, la collecte automatique de romans sur le Web, un espace membres, un espace auteurs, des recharges et des abonnements, ainsi que la publication d’actualités.

201206030
⭐ 4,822 Java 👤 201206030 User 🕐 Mis à jour 2026-11-17 📅 Créé 2020-05-02
17
Nemo2011/bilibili-api

Appels API courants de Bilibili. Prend en charge les fonctionnalités telles que les vidéos, les animes, les utilisateurs, les chaînes, l'audio, etc. Adresse du dépôt d'origine : https://github.com/MoyuScript/bilibili-api

Nemo2011
⭐ 4,197 Python 👤 Nemo2011 User 🕐 Mis à jour 2026-07-03 📅 Créé 2022-04-27
18
Boris-code/feapder

🚀🚀🚀feapder est un framework de crawler facile à utiliser et puissant | feapder est un framework de crawler Python simple à utiliser et puissant. Il intègre quatre types de crawlers : AirSpider, Spider, TaskSpider et BatchSpider pour répondre aux besoins de différents scénarios. Il prend en charge des fonctionnalités telles que la reprise sur point d'arrêt, la surveillance et les alertes, le rendu du navigateur et la déduplication de grandes quantités de données. De plus, le puissant système de gestion des crawlers feaplat offre un déploiement et une planification pratiques.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 Mis à jour 2026-08-21 📅 Créé 2021-02-08
19
elliotgao2/toapi

Chaque site web fournit des API.

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 Mis à jour 2026-08-27 📅 Créé 2017-11-27
20
Gerapy/Gerapy

Framework de Gestion de Crawlers Distribué Basé sur Scrapy, Scrapyd, Django et Vue.js

Gerapy
⭐ 3,518 Python 👤 Gerapy Organization 🕐 Mis à jour 2026-07-04 📅 Créé 2017-06-30
21
my8100/scrapydweb

Application web pour la gestion de cluster Scrapyd, analyse et visualisation des logs Scrapy, emballage automatique, tâches planifiées, surveillance et alertes, et UI mobile. Docs documentation :point_right:

my8100
⭐ 3,403 Python 👤 my8100 User 🕐 Mis à jour 2025-02-19 📅 Créé 2018-09-30
22
wnma3mz/wechat_articles_spider

Crawler d'articles du compte public WeChat

wnma3mz
⭐ 3,326 Python 👤 wnma3mz User 🕐 Mis à jour 2024-04-18 📅 Créé 2018-03-04
23
5ime/video_spider

Suppression de filigrane de vidéos courtes : Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qingshipin, Kuaishou, Quanmin Xiaoshipin, Film de Barcelone, Momo, Avant Bifeng, Kaiyan, Vue Vlog Xiaokuxiu, Pipixia Drôle, Quanmin K Ge, Vidéo Xigua, Doupai, Huya, 6 Chambres, Vidéo Li, Xinpianchang, acfun, Meipai...

5ime
⭐ 3,001 PHP 👤 5ime User 🕐 Mis à jour 2025-12-03 📅 Créé 2020-07-22
24
howie6879/owllook

owllook-Moteur de recherche de romans

howie6879
⭐ 2,900 Python 👤 howie6879 User 🕐 Mis à jour 2026-10-30 📅 Créé 2017-02-18
25
CharlesPikachu/DecryptLogin

DecryptLogin : API pour se connecter à certains sites web en utilisant requests.

CharlesPikachu
⭐ 2,871 Python 👤 CharlesPikachu User 🕐 Mis à jour 2024-08-09 📅 Créé 2019-02-25
26
spider-rs/spider

Collecte fondamentale de données web à faible latence en Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2018-01-07
27
jaeles-project/gospider

Gospider - Araignée web rapide écrite en Go

jaeles-project
⭐ 2,851 Go 👤 jaeles-project Organization 🕐 Mis à jour 2024-04-21 📅 Créé 2020-01-22
28
geziyor/geziyor

Geziyor, framework de web crawling et scraping ultra-rapide pour Go. Prend en charge le rendu JS.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 Mis à jour 2026-07-02 📅 Créé 2019-06-06
29
pibigstar/go-demo

Tutoriel d'exemples en Go du débutant à l'avancé, incluant l'utilisation des bibliothèques de base, les patrons de conception, les pièges courants en entretien, les classes utilitaires, l'intégration de services tiers, etc.

pibigstar
⭐ 2,708 Go 👤 pibigstar User 🕐 Mis à jour 2025-06-07 📅 Créé 2018-08-29
30
jae-jae/QueryList

:spider: Le framework de crawler PHP progressif ! Framework de collecte PHP progressif élégant.

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 Mis à jour 2026-10-20 📅 Créé 2015-12-20
31
lorien/grab

Framework de Web Scraping

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Mis à jour 2025-09-19 📅 Créé 2013-05-01
32
JayBizzle/Crawler-Detect

🕷 CrawlerDetect est une classe PHP pour détecter les robots/robots d'indexation/spiders via l'agent utilisateur

JayBizzle
⭐ 2,410 PHP 👤 JayBizzle User 🕐 Mis à jour 2026-11-16 📅 Créé 2015-03-23
33
QianyanTech/Image-Downloader

Télécharger des images de Google, Bing, Baidu. Téléchargement d'images depuis Google, Baidu, Bing.

QianyanTech
⭐ 2,331 Python 👤 QianyanTech Organization 🕐 Mis à jour 2024-07-07 📅 Créé 2016-07-17
34
sjdirect/abot

Framework de crawler web C# multiplateforme conçu pour la vitesse et la flexibilité. Veuillez mettre une étoile à ce projet ! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 Mis à jour 2026-07-17 📅 Créé 2013-08-08
35
zorlan/skycaiji

Blue Sky Collector est un système de scraping open source et gratuit qui ne nécessite que la sélection et la modification des règles pour collecter des données. Il peut fonctionner localement, sur un hébergement virtuel ou sur un serveur cloud, et peut collecter presque tous les types de pages Web. Il s'intègre parfaitement à divers programmes de création de sites Web CMS, publie des données en temps réel sans connexion et sans intervention humaine ! C'est un système de scraping cloud entièrement multiplateforme dans le logiciel de collecte de données massives sur le Web.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 Mis à jour 2026-10-07 📅 Créé 2018-02-26
36
elliotgao2/gain

Framework de crawling web basé sur asyncio.

elliotgao2
⭐ 2,017 Python 👤 elliotgao2 User 🕐 Mis à jour 2026-08-09 📅 Créé 2017-05-31
37
ShunCai/QZoneExport

Assistant d’exportation de QQ Space, utilisé pour sauvegarder sous forme de fichiers les publications, journaux, journaux privés, albums, vidéos, tableaux de messages, amis QQ, favoris, partages et visiteurs récents de QQ Space, afin de faciliter leur migration et leur conservation.

ShunCai
⭐ 1,927 TypeScript 👤 ShunCai User 🕐 Mis à jour 2026-11-16 📅 Créé 2019-03-10
38
coder-hxl/x-crawl

Bibliothèque flexible de crawling pour Node.js

coder-hxl
⭐ 1,888 TypeScript 👤 coder-hxl User 🕐 Mis à jour 2026-11-21 📅 Créé 2023-01-22
39
1N3/BlackWidow

Un scanner d'applications web basé sur Python pour collecter des OSINT et effectuer du fuzzing pour les vulnérabilités OWASP sur un site web cible.

1N3
⭐ 1,843 Python 👤 1N3 User 🕐 Mis à jour 2026-04-17 📅 Créé 2018-01-06
40
eatmoreduck/boss-zhipin-scraper

Scraper BOSS Zhipin / Outil de scraping de données d'emploi BOSS Zhipin, basé sur le protocole Chrome CDP pour réutiliser les sessions de connexion réelles, contourner l'anti-scraping des polices et générer des JSON/CSV de salaires en texte clair + analyse des compétences salariales.

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 Mis à jour 2026-11-03 📅 Créé 2026-06-11
41
u3c3/BT-btt

Présentation du site magnétique U3C3 et mise à jour du nom de domaine

u3c3
⭐ 1,779 👤 u3c3 User 🕐 Mis à jour 2025-01-01 📅 Créé 2020-04-28
42
howie6879/ruia

Micro-framework asynchrone de scraping web pour Python 3.6+ basé sur asyncio

howie6879
⭐ 1,738 Python 👤 howie6879 User 🕐 Mis à jour 2026-10-30 📅 Créé 2018-07-10
43
erma0/douyin

Crawler Douyin - Collecte de données publiques telles que la page de profil du compte, les likes, les collections, les sons musicaux originaux, les sujets, la recherche, les collections, les œuvres, les suivis, les abonnés, etc.

erma0
⭐ 1,625 👤 erma0 User 🕐 Mis à jour 2026-08-14 📅 Créé 2022-05-29
44
ArchiveTeam/grab-site

Le robot d'exploration Web de l'archiviste : sortie WARC, tableau de bord pour tous les crawls, modèles d'ignorance dynamiques

ArchiveTeam
⭐ 1,572 Python 👤 ArchiveTeam Organization 🕐 Mis à jour 2025-05-23 📅 Créé 2015-02-05
45
srx-2000/spider_collection

Rampants Python, inventaire actuel : Extraction de chansons NetEase Cloud Music, Extraction de vidéos Bilibili, Extraction de Q&R Zhihu, Extraction de fonds d'écran, Extraction de vidéos xvideos, Extraction de livres audio, Rampant Weibo, Extraction d'informations Anjuke + visualisation de données, Extracteur de couvertures de vidéos Bilibili, Encapsulation de pool de proxies IP, Rampant d'utilisateurs Zhihu de niveau million + analyse de données, Rampant d'utilisateurs GitHub

srx-2000
⭐ 1,554 Python 👤 srx-2000 User 🕐 Mis à jour 2024-04-23 📅 Créé 2020-02-04
46
darbra/sperm

Un résumé d'excellents articles sur le rétro-ingénierie, à consulter

darbra
⭐ 1,427 👤 darbra User 🕐 Mis à jour 2026-04-13 📅 Créé 2022-03-02
47
okfn-brasil/querido-diario

📰 Journaux officiels brésiliens accessibles à tous | 📰 Gazettes gouvernementales brésiliennes, accessibles à tous.

okfn-brasil
⭐ 1,424 Python 👤 okfn-brasil Organization 🕐 Mis à jour 2026-10-12 📅 Créé 2018-04-01
48
kgspider/crawler

Partage de code de web scraping de frère K, rétro-ingénierie JS, web scraping avancé. Suivez le compte public WeChat : frère K Web-Scraping

kgspider
⭐ 1,371 JavaScript 👤 kgspider User 🕐 Mis à jour 2025-05-12 📅 Créé 2021-08-24
49
0xInfection/XSRFProbe

Le Prime Cross Site Request Forgery (CSRF) Kit d'Audit et d'Exploitation.

0xInfection
⭐ 1,310 Python 👤 0xInfection User 🕐 Mis à jour 2026-07-12 📅 Créé 2018-08-21
50
bookstairs/bookhunter

Un outil de téléchargement pour extraire les livres électroniques d'Internet.

bookstairs
⭐ 1,305 Go 👤 bookstairs Organization 🕐 Mis à jour 2026-02-28 📅 Créé 2022-04-08

Foire aux questions

1

Quel est le dépôt #spider le plus populaire sur GitHub ?

Le projet #spider open source le mieux classé sur GitHub est NaiboWang/EasySpider, avec 44,801 étoiles. Un crawler/spider web visuel sans code : un logiciel d'automatisation de navigateur, de collecte de données et de web scraping visuel qui permet de concevoir et d'exécuter des tâches de crawling sans écrire de code. Alias : ServiceWrapper, un système intelligent d'encapsulation de services pour applications Web.

2

Quels langages de programmation sont les plus utilisés dans les dépôts #spider ?

Parmi les projets #spider les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Go, PHP, TypeScript.

3

Comment le classement des dépôts #spider est-il calculé ?

Nous suivons 92 dépôts open source actifs associés à #spider (500+ étoiles), totalisant 325,814 étoiles, avec une moyenne de 3,541 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.