Git Stars Git Stars

#spider Repository

Scopri 92 repository GitHub open source attivi contrassegnati con #spider, che raccolgono un totale di 325,814 stelle (con una media di 3,541 stelle per progetto). Il progetto leader di questo argomento è NaiboWang/EasySpider, con 44,801 stelle.

92
Totale Repository
325,814
Totale stelle
3,541
Media Stelle/Repo

92 repository in totale

1
NaiboWang/EasySpider

Un crawler/spider web visuale no-code: un software di automazione del browser, raccolta dati e web scraping che consente di progettare ed eseguire attività di crawling in modo grafico senza scrivere codice. Alias: ServiceWrapper, un sistema intelligente di incapsulamento dei servizi per applicazioni web.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Aggiornato 2026-11-16 📅 Creato 2020-07-18
2
gocolly/colly

Framework elegante per scraping e crawling in Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Aggiornato 2026-10-16 📅 Creato 2017-09-29
3
jhao104/proxy_pool

Python ProxyPool per web spider

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 Aggiornato 2026-06-15 📅 Creato 2016-11-25
4
shengqiangzhang/examples-of-web-crawlers

Alcuni esempi molto interessanti di crawler Python, amichevoli per i principianti, principalmente per il crawling di siti web come Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, ecc. (Some interesting examples of python crawlers that are friendly to beginners.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 Aggiornato 2025-06-28 📅 Creato 2019-03-13
5
s0md3v/Photon

Crawler incredibilmente veloce progettato per OSINT.

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 Aggiornato 2026-10-17 📅 Creato 2018-03-30
6
crawlab-team/crawlab

Piattaforma di amministrazione distribuita per crawler web per la gestione di spider indipendentemente da linguaggi e framework. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Aggiornato 2026-02-10 📅 Creato 2019-02-10
7
ihmily/DouyinLiveRecorder

Software di registrazione live con servizio ciclico a rotazione e registrazione multigiocatore, che supporta la registrazione di live streaming da oltre 40 piattaforme come Douyin, TikTok, Youtube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, pandatv, sooplive, flextv, popkontv, twitcasting, winktv, Baidu, Weibo, Kugou, 17Live, Twitch, Acfun, CHZZK, Shopee ecc.

ihmily
⭐ 11,278 Python 👤 ihmily User 🕐 Aggiornato 2026-04-01 📅 Creato 2023-07-17
8
guyueyingmu/avbook

Sistema di gestione film AV, avmoo, javbus, javlibrary Crawler, Libreria di film AV online, Database di link magnetici AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 Aggiornato 2024-06-01 📅 Creato 2017-02-19
9
kangvcar/InfoSpider

INFO-SPIDER è una toolbox crawler🧰 che integra numerose fonti di dati, progettata per aiutare gli utenti a recuperare in modo sicuro e rapido i propri dati. Il codice dello strumento è open source e il processo è trasparente. Le fonti di dati supportate includono GitHub, QQ Mail, Netease Mail, Ali Mail, Sina Mail, Hotmail, Outlook, JD, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, Netease Cloud Music, QQ Friends, QQ Groups, Generazione di album di WeChat Moments, Cronologia di navigazione del browser, 12306, CSDN Blog, OSCHINA Blog, JianShu.

kangvcar
⭐ 8,275 Python 👤 kangvcar User 🕐 Aggiornato 2026-04-21 📅 Creato 2020-07-11
10
lorien/awesome-web-scraping

Elenco di librerie, strumenti e API per web scraping ed elaborazione dati.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Aggiornato 2026-11-21 📅 Creato 2015-08-12
11
andeya/pholcus

Pholcus è un software di crawler distribuito ad alta concorrenza scritto in puro golang

andeya
⭐ 7,583 Go 👤 andeya User 🕐 Aggiornato 2026-08-24 📅 Creato 2015-07-03
12
BruceDone/awesome-crawler

Una collezione di eccellenti web crawler e spider in diverse lingue

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Aggiornato 2024-06-16 📅 Creato 2016-10-10
13
bda-research/node-crawler

Web Crawler/Spider per NodeJS + jQuery lato server ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 Aggiornato 2026-06-18 📅 Creato 2010-11-25
14
wechatsync/Wechatsync

Sincronizzazione di articoli su più piattaforme di contenuti con un clic, supporta Toutiao, WordPress, Zhihu, JianShu, Juejin, CSDN, Typecho e altre grandi piattaforme, una pubblicazione, pubblicazione sincrona su più piattaforme. Libera la produttività personale.

wechatsync
⭐ 6,663 TypeScript 👤 wechatsync Organization 🕐 Aggiornato 2026-11-15 📅 Creato 2020-09-01
15
DedSecInside/TorBot

Strumento OSINT per il Dark Web

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 Aggiornato 2026-11-12 📅 Creato 2017-05-17
16
201206030/novel-plus

novel-plus è un CMS per romanzi ricco di funzionalità e compatibile con più piattaforme (PC, WAP, app e mini-programmi). Include consigli, ricerca e classifiche di romanzi, lettura, librerie, recensioni ed elenchi di lettura, acquisizione automatica di romanzi dal Web, un centro membri, una sezione autori, ricariche e abbonamenti, nonché la pubblicazione di notizie.

201206030
⭐ 4,822 Java 👤 201206030 User 🕐 Aggiornato 2026-11-17 📅 Creato 2020-05-02
17
Nemo2011/bilibili-api

Chiamate API comuni di Bilibili. Supporta funzioni come video, anime, utenti, canali, audio, ecc. Indirizzo del repository originale: https://github.com/MoyuScript/bilibili-api

Nemo2011
⭐ 4,197 Python 👤 Nemo2011 User 🕐 Aggiornato 2026-07-03 📅 Creato 2022-04-27
18
Boris-code/feapder

🚀🚀🚀feapder è un framework di crawler facile da usare e potente | feapder è un framework di crawler Python facile da usare e potente. Sono integrati quattro tipi di spider: AirSpider, Spider, TaskSpider e BatchSpider per soddisfare le esigenze di diversi scenari. Supporta funzioni come il riavvio da checkpoint, il monitoraggio e gli allarmi, il rendering del browser e la deduplicazione di grandi quantità di dati. Inoltre, il potente sistema di gestione dei crawler feaplat offre comodità di distribuzione e pianificazione.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 Aggiornato 2026-08-21 📅 Creato 2021-02-08
19
elliotgao2/toapi

Ogni sito web fornisce API.

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 Aggiornato 2026-08-27 📅 Creato 2017-11-27
20
Gerapy/Gerapy

Framework di Gestione Crawler Distribuito Basato su Scrapy, Scrapyd, Django e Vue.js

Gerapy
⭐ 3,518 Python 👤 Gerapy Organization 🕐 Aggiornato 2026-07-04 📅 Creato 2017-06-30
21
my8100/scrapydweb

App web per la gestione del cluster Scrapyd, analisi e visualizzazione dei log Scrapy, imballaggio automatico, attività timer, monitoraggio e avvisi, e UI mobile. Docs documentazione :point_right:

my8100
⭐ 3,403 Python 👤 my8100 User 🕐 Aggiornato 2025-02-19 📅 Creato 2018-09-30
22
wnma3mz/wechat_articles_spider

Crawler per articoli dell'account pubblico di WeChat

wnma3mz
⭐ 3,326 Python 👤 wnma3mz User 🕐 Aggiornato 2024-04-18 📅 Creato 2018-03-04
23
5ime/video_spider

Rimozione filigrana video brevi: Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qingshipin, Kuaishou, Quanmin Xiaoshipin, Barcellona Film, Momo, Before Bifeng, Kaiyan, Vue Vlog Xiaokuxiu, Pipixia Funny, Quanmin K Ge, Xigua Video, Doupai, Huya, 6 Rooms, Li Video, Xinpianchang, acfun, Meipai...

5ime
⭐ 3,001 PHP 👤 5ime User 🕐 Aggiornato 2025-12-03 📅 Creato 2020-07-22
24
howie6879/owllook

owllook-Motore di ricerca per romanzi

howie6879
⭐ 2,900 Python 👤 howie6879 User 🕐 Aggiornato 2026-10-30 📅 Creato 2017-02-18
25
CharlesPikachu/DecryptLogin

DecryptLogin: API per il login su alcuni siti web utilizzando requests.

CharlesPikachu
⭐ 2,871 Python 👤 CharlesPikachu User 🕐 Aggiornato 2024-08-09 📅 Creato 2019-02-25
26
spider-rs/spider

Raccolta di dati web a bassa latenza di base in Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2018-01-07
27
jaeles-project/gospider

Gospider - Ragno web veloce scritto in Go

jaeles-project
⭐ 2,851 Go 👤 jaeles-project Organization 🕐 Aggiornato 2024-04-21 📅 Creato 2020-01-22
28
geziyor/geziyor

Geziyor, framework per web crawling e scraping ultraveloce per Go. Supporta il rendering JS.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 Aggiornato 2026-07-02 📅 Creato 2019-06-06
29
pibigstar/go-demo

Tutorial di esempi Go dalla base all'avanzato, inclusa l'uso di librerie di base, pattern di design, punti deboli negli intervisti, classi utility, integrazione con terze parti, ecc.

pibigstar
⭐ 2,708 Go 👤 pibigstar User 🕐 Aggiornato 2025-06-07 📅 Creato 2018-08-29
30
jae-jae/QueryList

:spider: Il framework crawler PHP progressivo! Framework di raccolta PHP progressivo elegante.

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 Aggiornato 2026-10-20 📅 Creato 2015-12-20
31
lorien/grab

Framework per Web Scraping

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Aggiornato 2025-09-19 📅 Creato 2013-05-01
32
JayBizzle/Crawler-Detect

🕷 CrawlerDetect è una classe PHP per rilevare bot/crawler/spider tramite lo user agent

JayBizzle
⭐ 2,410 PHP 👤 JayBizzle User 🕐 Aggiornato 2026-11-16 📅 Creato 2015-03-23
33
QianyanTech/Image-Downloader

Scarica immagini da Google, Bing, Baidu. Download di immagini da Google, Baidu, Bing.

QianyanTech
⭐ 2,331 Python 👤 QianyanTech Organization 🕐 Aggiornato 2024-07-07 📅 Creato 2016-07-17
34
sjdirect/abot

Framework per web crawler C# multipiattaforma costruito per velocità e flessibilità. Per favore, metti una stella a questo progetto! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 Aggiornato 2026-07-17 📅 Creato 2013-08-08
35
zorlan/skycaiji

Blue Sky Collector è un sistema di scraping open source e gratuito, che richiede solo il clic e la modifica delle regole per raccogliere dati. Può essere eseguito localmente, su hosting virtuale o su server cloud, ed è in grado di raccogliere quasi tutti i tipi di pagine web. Si integra perfettamente con vari programmi di creazione di siti web basati su CMS, pubblica dati in tempo reale senza login e senza intervento umano! È un sistema di scraping cloud completamente multipiattaforma nel software di raccolta di big data del web.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 Aggiornato 2026-10-07 📅 Creato 2018-02-26
36
elliotgao2/gain

Framework di web crawling basato su asyncio.

elliotgao2
⭐ 2,017 Python 👤 elliotgao2 User 🕐 Aggiornato 2026-08-09 📅 Creato 2017-05-31
37
ShunCai/QZoneExport

Assistente per l’esportazione di QQ Space, utilizzato per eseguire il backup sotto forma di file di post, diari, diari privati, album, video, bacheca dei messaggi, amici QQ, preferiti, contenuti condivisi e visitatori recenti di QQ Space, facilitandone la migrazione e la conservazione.

ShunCai
⭐ 1,927 TypeScript 👤 ShunCai User 🕐 Aggiornato 2026-11-16 📅 Creato 2019-03-10
38
coder-hxl/x-crawl

Libreria flessibile per il crawling in Node.js

coder-hxl
⭐ 1,888 TypeScript 👤 coder-hxl User 🕐 Aggiornato 2026-11-21 📅 Creato 2023-01-22
39
1N3/BlackWidow

Uno scanner di applicazioni web basato su Python per raccogliere OSINT e fare fuzzing per vulnerabilità OWASP su un sito web target.

1N3
⭐ 1,843 Python 👤 1N3 User 🕐 Aggiornato 2026-04-17 📅 Creato 2018-01-06
40
eatmoreduck/boss-zhipin-scraper

Scraper di BOSS Zhipin / Strumento di scraping dei dati di lavoro di BOSS Zhipin, basato sul protocollo Chrome CDP per riutilizzare le sessioni di accesso reali, aggirare l'anti-scraping dei font e produrre JSON/CSV di stipendi in testo semplice + analisi delle competenze salariali.

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 Aggiornato 2026-11-03 📅 Creato 2026-06-11
41
u3c3/BT-btt

Introduzione al sito magnetico U3C3 e aggiornamento del dominio

u3c3
⭐ 1,779 👤 u3c3 User 🕐 Aggiornato 2025-01-01 📅 Creato 2020-04-28
42
howie6879/ruia

Micro-framework asincrono per il web scraping in Python 3.6+ basato su asyncio

howie6879
⭐ 1,738 Python 👤 howie6879 User 🕐 Aggiornato 2026-10-30 📅 Creato 2018-07-10
43
erma0/douyin

Crawler Douyin – Raccolta di dati pubblici come la pagina del profilo dell'account, mi piace, preferiti, audio originali musicali, argomenti, ricerca, raccolte, opere, seguito, follower, ecc.

erma0
⭐ 1,625 👤 erma0 User 🕐 Aggiornato 2026-08-14 📅 Creato 2022-05-29
44
ArchiveTeam/grab-site

Il web crawler dell'archivista: output WARC, dashboard per tutti i crawl, pattern di ignorazione dinamici

ArchiveTeam
⭐ 1,572 Python 👤 ArchiveTeam Organization 🕐 Aggiornato 2025-05-23 📅 Creato 2015-02-05
45
srx-2000/spider_collection

Crawler Python, inventario attuale: Estrazione canzoni NetEase Cloud Music, Estrazione video Bilibili, Estrazione Q&A Zhihu, Estrazione sfondi, Estrazione video xvideos, Estrazione audiolibri, Crawler Weibo, Estrazione informazioni Anjuke + visualizzazione dati, Estrattore copertine video Bilibili, Incapsulamento pool proxy IP, Crawler utenti Zhihu livello milioni + analisi dati, Crawler utenti GitHub

srx-2000
⭐ 1,554 Python 👤 srx-2000 User 🕐 Aggiornato 2024-04-23 📅 Creato 2020-02-04
46
darbra/sperm

Una raccolta di brillanti articoli di reverse engineering, da non perdere

darbra
⭐ 1,427 👤 darbra User 🕐 Aggiornato 2026-04-13 📅 Creato 2022-03-02
47
okfn-brasil/querido-diario

📰 Diari ufficiali brasiliani accessibili a tutti | 📰 Gazeboe governative brasiliane, accessibili a tutti.

okfn-brasil
⭐ 1,424 Python 👤 okfn-brasil Organization 🕐 Aggiornato 2026-10-12 📅 Creato 2018-04-01
48
kgspider/crawler

Condivisione del codice di web scraping di Fratello K, reverse engineering JS, web scraping avanzato. Segui l'account pubblico WeChat: Fratello K Web-Scraping

kgspider
⭐ 1,371 JavaScript 👤 kgspider User 🕐 Aggiornato 2025-05-12 📅 Creato 2021-08-24
49
0xInfection/XSRFProbe

Il Prime Cross Site Request Forgery (CSRF) Toolkit per Audit e Sfruttamento.

0xInfection
⭐ 1,310 Python 👤 0xInfection User 🕐 Aggiornato 2026-07-12 📅 Creato 2018-08-21
50
bookstairs/bookhunter

Uno strumento di download per scaricare ebook da Internet.

bookstairs
⭐ 1,305 Go 👤 bookstairs Organization 🕐 Aggiornato 2026-02-28 📅 Creato 2022-04-08

Domande frequenti

1

Qual è il repository #spider più popolare su GitHub?

Il progetto open source #spider più alto in classifica su GitHub è NaiboWang/EasySpider, con 44,801 stelle. Un crawler/spider web visuale no-code: un software di automazione del browser, raccolta dati e web scraping che consente di progettare ed eseguire attività di crawling in modo grafico senza scrivere codice. Alias: ServiceWrapper, un sistema intelligente di incapsulamento dei servizi per applicazioni web.

2

Quali linguaggi di programmazione sono più utilizzati nei repository #spider?

Tra i progetti #spider più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Go, PHP, TypeScript.

3

Come viene calcolata la classifica dei repository #spider?

Monitoriamo 92 repository open source attivi contrassegnati con #spider (500+ stelle), per un totale di 325,814 stelle e una media di 3,541 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.