Git Stars Git Stars

#spider Repository

92
Totale Repository
325,814
Totale stelle
3,541
Media Stelle/Repo
51
kiddyuchina/Beanbun

Beanbun รจ un framework di web crawling multiprocesso scritto in PHP, con buona apertura e alta scalabilitร , basato su Workerman.

kiddyuchina
โญ 1,258 PHP ๐Ÿ‘ค kiddyuchina User ๐Ÿ• Aggiornato 2026-05-26 ๐Ÿ“… Creato 2017-04-13
52
scrapfly/scrapfly-scrapers

Script Python scalabili per il web scraping di oltre 80 domini popolari

scrapfly
โญ 1,133 Python ๐Ÿ‘ค scrapfly Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2023-05-22
53
BaiduSpider/BaiduSpider

BaiduSpider, un crawler che esegue lo scraping dei risultati di ricerca di Baidu, attualmente supporta la ricerca web di Baidu, la ricerca di immagini di Baidu, la ricerca di Baidu Knows, la ricerca di video di Baidu, la ricerca di notizie di Baidu, la ricerca di Baidu Wenku, la ricerca di esperienze di Baidu e la ricerca di Baidu Baike.

BaiduSpider
โญ 1,130 Python ๐Ÿ‘ค BaiduSpider Organization ๐Ÿ• Aggiornato 2024-06-14 ๐Ÿ“… Creato 2020-10-03
54
elixir-crawly/crawly

Crawly, un framework di alto livello per web crawling e scraping per Elixir.

elixir-crawly
โญ 1,129 Elixir ๐Ÿ‘ค elixir-crawly Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2019-03-09
55
skygazer42/DL-Hub

LLM Grandi Modelli Note 50 articoli Questo repository contiene progetti pratici in campi come machine learning, deep learning, computer vision, elaborazione del linguaggio naturale, grandi modelli, web scraping, ecc.

skygazer42
โญ 1,121 Python ๐Ÿ‘ค skygazer42 User ๐Ÿ• Aggiornato 2026-08-30 ๐Ÿ“… Creato 2022-04-05
56
wujunwei928/parse-video

Rimozione filigrana video brevi Golang: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...

wujunwei928
โญ 1,104 Go ๐Ÿ‘ค wujunwei928 User ๐Ÿ• Aggiornato 2026-11-08 ๐Ÿ“… Creato 2022-07-12
57
zhangyd-c/OneBlog

:alien: OneBlog, un blog Java semplice, bello, potente e adattivo

zhangyd-c
โญ 1,103 Java ๐Ÿ‘ค zhangyd-c User ๐Ÿ• Aggiornato 2025-03-16 ๐Ÿ“… Creato 2018-04-10
58
1061700625/WeChat_Article

Scraping di articoli da account pubblici di WeChat

1061700625
โญ 1,089 Python ๐Ÿ‘ค 1061700625 User ๐Ÿ• Aggiornato 2026-06-17 ๐Ÿ“… Creato 2019-02-21
59
gsh199449/spider

Un web spider configurabile con una console web facile da usare

gsh199449
โญ 996 Java ๐Ÿ‘ค gsh199449 User ๐Ÿ• Aggiornato 2026-06-03 ๐Ÿ“… Creato 2016-11-24
60
spidersuite/SpiderSuite

Rilasci, wiki e roadmap di SpiderSuite (crawler di sicurezza web)

spidersuite
โญ 990 ๐Ÿ‘ค spidersuite Organization ๐Ÿ• Aggiornato 2026-08-13 ๐Ÿ“… Creato 2023-04-05
61
QIN2DIM/V2RSS

:rocket: Raccogliere|Gratis|Di alta qualitร |Abbonamento?

QIN2DIM
โญ 978 Python ๐Ÿ‘ค QIN2DIM User ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2020-06-02
62
LoseNine/Crack-JS-Spider

JS Reverse Engineering, decodifica dei parametri di crittografia anti-scraping JS, giร  decodificato cursore Geetest W (2022.2.19), QQ Music sign (2022.2.13), Pinduoduo anti_content, Boss Zhipin zp_token, Zhihu x-zse-96, Kugou kg_mid/dfid, Vipshop mars_cid, China Judgments Online (aggiornato il 2020-06-30), password Taobao, login Tianan Insurance, login Bilibili, login Fang.com, login WPS, login Weibo, Youdao Translate, login Netease, login WeChat Official Account, login Air China Network, login Jmubiao, login Student Information Management System, login Gengying Finance, login Chongqing Science and Technology Resource Sharing Platform, download Netease Cloud Music, parsing link video con un clic, login Cailianshe.

LoseNine
โญ 974 JavaScript ๐Ÿ‘ค LoseNine User ๐Ÿ• Aggiornato 2024-05-03 ๐Ÿ“… Creato 2020-02-09
63
fredwu/crawler

Un web crawler / scraper ad alte prestazioni in Elixir.

fredwu
โญ 963 Elixir ๐Ÿ‘ค fredwu User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2016-08-08
64
ma6254/FictionDown

Download romanzi|Scraping romanzi|่ตท็‚น|็ฌ”่ถฃ้˜|Esporta Markdown|Esporta txt|Converti epub|Filtro pubblicitร |Correzione automatica

ma6254
โญ 955 Go ๐Ÿ‘ค ma6254 User ๐Ÿ• Aggiornato 2025-01-21 ๐Ÿ“… Creato 2019-03-03
65
0xAllenChen/spider_reverse

Casi di reverse engineering di crawler, completati: Impronta digitale TLS | Ruishu | Zhenkunxing | NetEase Yudun | Reverse engineering/decompilazione di mini-programmi WeChat (Baida Xingxi) | Tonghuashun | Decrittazione RPC | Jiasule | ReCAPTCHA con slider Jueyan | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Piattaforma di big data sulle politiche industriali | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian

0xAllenChen
โญ 946 Python ๐Ÿ‘ค 0xAllenChen User ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2023-06-02
66
hellock/icrawler

Un framework di crawler multi-thread con molti crawler di immagini integrati forniti.

hellock
โญ 936 Python ๐Ÿ‘ค hellock User ๐Ÿ• Aggiornato 2025-12-10 ๐Ÿ“… Creato 2016-03-19
67
alltheplaces/alltheplaces

Un insieme di spider e scraper per estrarre informazioni sulla posizione da luoghi che pubblicano la loro posizione su internet.

alltheplaces
โญ 851 Python ๐Ÿ‘ค alltheplaces Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2016-06-15
68
BlessedRebuS/Krawl

Krawl รจ un server di inganno web personalizzabile, leggero e nativo del cloud, e un anti-crawler che crea applicazioni web false con vulnerabilitร  a bassa soglia usando dati di esca realistici generati casualmente e template HTML generati da IA.

BlessedRebuS
โญ 844 Python ๐Ÿ‘ค BlessedRebuS User ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2025-12-10
69
kingschan1204/istock

:point_right: Un crawler di azioni Java basato su Spring Boot (supporta solo azioni A), se ti piace :heart: per favore :star: . La versione upgrade V2 รจ in sviluppo!

kingschan1204
โญ 836 Java ๐Ÿ‘ค kingschan1204 User ๐Ÿ• Aggiornato 2024-12-27 ๐Ÿ“… Creato 2017-03-09
70
postmodern/spidr

Una libreria Ruby versatile per il web spidering che puรฒ spiderare un sito, piรน domini, determinati link o infinitamente. Spidr รจ progettato per essere veloce e facile da usare.

postmodern
โญ 835 Ruby ๐Ÿ‘ค postmodern User ๐Ÿ• Aggiornato 2026-01-12 ๐Ÿ“… Creato 2009-03-08
71
DoiiarX/NLCISBNPlugin

Un plugin sorgente/metadati per calibre basato sulla ricerca ISBN della Biblioteca Nazionale Cinese. https://doiiars.com/article/NLCISBNPlugin

DoiiarX
โญ 812 Python ๐Ÿ‘ค DoiiarX User ๐Ÿ• Aggiornato 2026-01-07 ๐Ÿ“… Creato 2023-12-14
72
bahaabdelwahed/killshot

Un Framework di Penetration Testing, strumento di raccolta informazioni e Scanner di vulnerabilitร  per siti web

bahaabdelwahed
โญ 791 Ruby ๐Ÿ‘ค bahaabdelwahed User ๐Ÿ• Aggiornato 2025-12-07 ๐Ÿ“… Creato 2018-10-27
73
montaro2017/bili_novel_packer

Light Novel Packer (Impacchettatore di Light Novel), che raccoglie contenuti dai siti web Bili Light Novel (bilinovel.com linovelib.com) e li impacchetta nel formato EPUB, supportando copertine, illustrazioni, indice e l'unione di volumi separati.

montaro2017
โญ 787 Dart ๐Ÿ‘ค montaro2017 User ๐Ÿ• Aggiornato 2026-11-13 ๐Ÿ“… Creato 2023-02-20
74
xuxueli/xxl-crawler

Un framework leggero per web crawler. (Framework per crawler Java)

xuxueli
โญ 756 Java ๐Ÿ‘ค xuxueli User ๐Ÿ• Aggiornato 2026-08-08 ๐Ÿ“… Creato 2017-10-17
75
polyrabbit/hacker-news-digest

๐Ÿ“ฐ Lascia che un LLM riassuma Hacker News per te

polyrabbit
โญ 754 Python ๐Ÿ‘ค polyrabbit User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2014-09-17
76
signal18/replication-manager

Signal 18 repman - Gestore di Replica per MySQL / MariaDB / Percona Server

signal18
โญ 747 Go ๐Ÿ‘ค signal18 Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2015-10-14
77
josephlimtech/linkedin-profile-scraper-api

๐Ÿ•ต๏ธโ€โ™‚๏ธ Scraper di profili LinkedIn che restituisce dati di profilo strutturati in JSON.

josephlimtech
โญ 725 TypeScript ๐Ÿ‘ค josephlimtech User ๐Ÿ• Aggiornato 2024-04-05 ๐Ÿ“… Creato 2018-12-21
78
wujunwei928/parse-video-py

Crawl per rimuovere filigrane nei brevi video in Python: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Video corto nazionale, Pipi divertente, Xigua Video, Huya, Li Video, AcFun, Video Haokan...

wujunwei928
โญ 721 Python ๐Ÿ‘ค wujunwei928 User ๐Ÿ• Aggiornato 2026-11-08 ๐Ÿ“… Creato 2024-04-03
79
xinlingqudongX/TSDK

SDK per crawler di Taobao, utilizzato per la piattaforma aperta Taobao o per il login e il crawling di Taobao, Tmall, Alibaba

xinlingqudongX
โญ 716 Python ๐Ÿ‘ค xinlingqudongX User ๐Ÿ• Aggiornato 2026-03-26 ๐Ÿ“… Creato 2018-12-06
80
casual-silva/NewsCrawl

Progetto open source aziendale di crawling di notizie sull'opinione pubblica: supporta l'esecuzione con un clic di un numero qualsiasi di crawler, attivitร  pianificate dei crawler, eliminazione in batch dei crawler; distribuzione con un clic dei crawler; visualizzazione del monitoraggio dei crawler; configurazione della strategia di allocazione dei crawler in cluster; ๐Ÿ‘‰ La documentazione di distribuzione Docker pronta ha giร  risolto i problemi per te.

casual-silva
โญ 688 Python ๐Ÿ‘ค casual-silva User ๐Ÿ• Aggiornato 2026-05-23 ๐Ÿ“… Creato 2022-07-08
81
darbra/sign

Approcci ed esperienze per il reverse engineering dei parametri delle app, reverse engineering Android

darbra
โญ 667 ๐Ÿ‘ค darbra User ๐Ÿ• Aggiornato 2024-06-13 ๐Ÿ“… Creato 2020-05-26
82
spiritLHLS/Hang-up-items

Progetto di sondaggio, raccomandazione di server cloud, progetto di aggancio, proxy gratuiti, raccolta di vari script. Benvenuti nell'angolo in alto a destra per cliccare sulla campana e ricevere tempestivamente le informazioni sugli aggiornamenti. (Non forcare, in modo discreto)

spiritLHLS
โญ 646 ๐Ÿ‘ค spiritLHLS User ๐Ÿ• Aggiornato 2026-11-13 ๐Ÿ“… Creato 2022-04-11
83
fengzhizi715/NetDiscovery

NetDiscovery รจ un framework/middleware di crawling per uso generale implementato basandosi su framework come Vert.x e RxJava 2.

fengzhizi715
โญ 643 Java ๐Ÿ‘ค fengzhizi715 User ๐Ÿ• Aggiornato 2026-06-05 ๐Ÿ“… Creato 2017-11-26
84
cv-cat/catbus

Un solo comando per usare Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com e X: comandi unificati e output JSON per persone e agenti IA

cv-cat
โญ 641 TypeScript ๐Ÿ‘ค cv-cat User ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2026-09-27
85
scrapfly/Antibot-Detector

Rilevamento in tempo reale di sistemi anti-bot, captcha e tecniche di fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security e altri, con punteggio di affidabilitร  e strumenti avanzati di acquisizione.

scrapfly
โญ 636 JavaScript ๐Ÿ‘ค scrapfly Organization ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2025-09-03
86
l4rm4nd/LinkedInDumper

Script Python 3 per scaricare/eseguire lo scraping/estrarre dipendenti aziendali dall'API di LinkedIn

l4rm4nd
โญ 624 Python ๐Ÿ‘ค l4rm4nd User ๐Ÿ• Aggiornato 2026-08-21 ๐Ÿ“… Creato 2022-10-17
87
mouday/spider-admin-pro

spider-admin-pro Uno strumento di gestione visiva per la visualizzazione di progetti di crawler Scrapy+Scrapyd e la pianificazione programmata di attivitร  di crawler, la versione aggiornata di SpiderAdmin

mouday
โญ 614 Python ๐Ÿ‘ค mouday User ๐Ÿ• Aggiornato 2026-06-15 ๐Ÿ“… Creato 2021-01-25
88
jadehh/TVSpider

Archivio crawler di film e gatti cinematografici

jadehh
โญ 604 JavaScript ๐Ÿ‘ค jadehh User ๐Ÿ• Aggiornato 2024-09-18 ๐Ÿ“… Creato 2023-02-16
89
CharlesPikachu/freeproxy

FreeProxy: Raccolta di proxy gratuiti da internet. (Grande quantitร  di proxy gratuiti di alta qualitร  in tutto il mondo, supporto per il crawling di decine di fonti di condivisione di proxy gratuiti, filtraggio dei proxy con regole personalizzate, essenziale per il web scraping e l'analisi dei dati, aggiornato quotidianamente con una grande quantitร  di proxy gratuiti.)

CharlesPikachu
โญ 594 Python ๐Ÿ‘ค CharlesPikachu User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2018-10-29
90
zhuyingda/webster

Un framework affidabile di alto livello per il web crawling e scraping per Node.js.

zhuyingda
โญ 560 JavaScript ๐Ÿ‘ค zhuyingda User ๐Ÿ• Aggiornato 2025-03-12 ๐Ÿ“… Creato 2017-11-04
91
dirtyfilthy/freshonions-torscraper

Fresh Onions รจ uno spider TOR open source / crawler di servizi nascosti onion, ospitato su zlal32teyptf4tvi.onion

dirtyfilthy
โญ 543 Python ๐Ÿ‘ค dirtyfilthy User ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2017-02-15
92
sansan0/bilibili-comment-analyzer

๐ŸŽฏ Software di analisi della visualizzazione dei dati dei commenti di Bilibili: i creatori possono usarlo per guidare la selezione dei temi e comprendere la propria base di fan.

sansan0
โญ 503 Python ๐Ÿ‘ค sansan0 User ๐Ÿ• Aggiornato 2025-06-27 ๐Ÿ“… Creato 2025-06-03