Git Stars Git Stars

#crawler Repository

162
Totale Repository
1.1M
Totale stelle
6,863
Media Stelle/Repo
101
Zeal-L/BiliBili-Manga-Downloader

Un downloader di fumetti Bilibili facile da usare, con interfaccia grafica, supporta la ricerca di fumetti per parole chiave e l'accesso tramite codice QR, tecnologia nera per scaricare capitoli non sbloccati, download multithread, vari formati di salvataggio, gestione locale dei fumetti e controllo degli aggiornamenti con un clic!

Zeal-L
โญ 1,244 Python ๐Ÿ‘ค Zeal-L User ๐Ÿ• Aggiornato 2025-07-23 ๐Ÿ“… Creato 2023-01-15
102
InstaPy/instagram-profilecrawl

๐Ÿ“ Estrai rapidamente le informazioni (ad es. follower, tag ecc...) di un profilo Instagram.

InstaPy
โญ 1,244 Python ๐Ÿ‘ค InstaPy Organization ๐Ÿ• Aggiornato 2024-03-19 ๐Ÿ“… Creato 2017-02-15
103
seveniruby/AppCrawler

Strumento di traversata automatica delle app basato su Appium

seveniruby
โญ 1,244 Scala ๐Ÿ‘ค seveniruby User ๐Ÿ• Aggiornato 2026-04-20 ๐Ÿ“… Creato 2016-02-16
104
webrecorder/browsertrix-crawler

Esegui un crawler di archiviazione web basato su browser ad alta fedeltร  in un singolo container Docker

webrecorder
โญ 1,199 TypeScript ๐Ÿ‘ค webrecorder Organization ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2020-11-02
105
AndyTheFactory/newspaper4k

๐Ÿ“ฐ Newspaper4k, un fork dell'amato Newspaper3k. Estrazione di articoli, titoli e metadati da siti di notizie.

AndyTheFactory
โญ 1,170 Python ๐Ÿ‘ค AndyTheFactory User ๐Ÿ• Aggiornato 2026-11-01 ๐Ÿ“… Creato 2023-10-22
106
dixudx/tumblr-crawler

Scarica facilmente tutte le foto/video dai blog Tumblr. Scarica immagini e video dai blog Tumblr specificati

dixudx
โญ 1,160 Python ๐Ÿ‘ค dixudx User ๐Ÿ• Aggiornato 2025-12-26 ๐Ÿ“… Creato 2016-04-15
107
codelibs/fess

Server di ricerca aziendale e per siti web, open-source e self-hosted, basato su OpenSearch. Esegue il crawling di fonti web, file, database e cloud, supporta oltre 20 lingue, API REST e ricerca semantica con IA/RAG. Licenza Apache-2.0.

codelibs
โญ 1,152 Java ๐Ÿ‘ค codelibs Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2013-09-13
108
scrapfly/scrapfly-scrapers

Script Python scalabili per il web scraping di oltre 80 domini popolari

scrapfly
โญ 1,133 Python ๐Ÿ‘ค scrapfly Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2023-05-22
109
BaiduSpider/BaiduSpider

BaiduSpider, un crawler che esegue lo scraping dei risultati di ricerca di Baidu, attualmente supporta la ricerca web di Baidu, la ricerca di immagini di Baidu, la ricerca di Baidu Knows, la ricerca di video di Baidu, la ricerca di notizie di Baidu, la ricerca di Baidu Wenku, la ricerca di esperienze di Baidu e la ricerca di Baidu Baike.

BaiduSpider
โญ 1,130 Python ๐Ÿ‘ค BaiduSpider Organization ๐Ÿ• Aggiornato 2024-06-14 ๐Ÿ“… Creato 2020-10-03
110
elixir-crawly/crawly

Crawly, un framework di alto livello per web crawling e scraping per Elixir.

elixir-crawly
โญ 1,129 Elixir ๐Ÿ‘ค elixir-crawly Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2019-03-09
111
0x676e67/wreq

Un client HTTP Rust ergonomico e attento alla privacy

0x676e67
โญ 1,118 Rust ๐Ÿ‘ค 0x676e67 User ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2024-09-19
112
wujunwei928/parse-video

Rimozione filigrana video brevi Golang: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...

wujunwei928
โญ 1,104 Go ๐Ÿ‘ค wujunwei928 User ๐Ÿ• Aggiornato 2026-11-08 ๐Ÿ“… Creato 2022-07-12
113
vifreefly/kimuraframework

Scrivi web scraper in Ruby usando un DSL pulito e assistito da AI. Kimurai utilizza l'IA per capire dove risiedono i dati, poi mette in cache i selettori e esegue lo scraping con Ruby puro. Ottieni l'intelligenza di un LLM senza latenza per richiesta o costi di token.

vifreefly
โญ 1,102 Ruby ๐Ÿ‘ค vifreefly User ๐Ÿ• Aggiornato 2026-01-27 ๐Ÿ“… Creato 2018-08-23
114
antibrow/antibrow

Browser anti-rilevamento a livello di kernel con lโ€™API Playwright che giร  utilizzi. SDK per Python e Node, compatibile con MCP, profili locali illimitati. Linux x64 + arm64, macOS Intel + Apple Silicon e Windows x64.

antibrow
โญ 1,068 TypeScript ๐Ÿ‘ค antibrow User ๐Ÿ• Aggiornato 2026-09-28 ๐Ÿ“… Creato 2026-07-29
115
darbra/awesome-ai-reverse

Reverse engineering con lโ€™IA, tutto in una volta

darbra
โญ 1,026 ๐Ÿ‘ค darbra User ๐Ÿ• Aggiornato 2026-09-29 ๐Ÿ“… Creato 2026-04-14
116
janreges/siteone-crawler

SiteOne Crawler รจ un crawler e analizzatore di siti web multipiattaforma per l'ottimizzazione di SEO, sicurezza, accessibilitร  e prestazioni, ideale per sviluppatori, DevOps, ingegneri QA e consulenti. Supporta Windows, macOS e Linux (x64 e arm64).

janreges
โญ 1,019 Rust ๐Ÿ‘ค janreges User ๐Ÿ• Aggiornato 2026-09-27 ๐Ÿ“… Creato 2023-10-04
117
apache/stormcrawler

Un web crawler scalabile, maturo e versatile basato su Apache Storm

apache
โญ 1,014 Java ๐Ÿ‘ค apache Organization ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2013-04-12
118
pea3nut/Pxer

Uno strumento per pixiv.net. Un crawler di P Station accessibile a tutti

pea3nut
โญ 1,010 JavaScript ๐Ÿ‘ค pea3nut User ๐Ÿ• Aggiornato 2025-03-03 ๐Ÿ“… Creato 2015-12-16
119
spidersuite/SpiderSuite

Rilasci, wiki e roadmap di SpiderSuite (crawler di sicurezza web)

spidersuite
โญ 990 ๐Ÿ‘ค spidersuite Organization ๐Ÿ• Aggiornato 2026-08-13 ๐Ÿ“… Creato 2023-04-05
120
fredwu/crawler

Un web crawler / scraper ad alte prestazioni in Elixir.

fredwu
โญ 963 Elixir ๐Ÿ‘ค fredwu User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2016-08-08
121
ma6254/FictionDown

Download romanzi|Scraping romanzi|่ตท็‚น|็ฌ”่ถฃ้˜|Esporta Markdown|Esporta txt|Converti epub|Filtro pubblicitร |Correzione automatica

ma6254
โญ 955 Go ๐Ÿ‘ค ma6254 User ๐Ÿ• Aggiornato 2025-01-21 ๐Ÿ“… Creato 2019-03-03
122
xiaoxiunique/x-kit

Strumenti di protocollo puro Python e note di ricerca per X.com, con set di dati di account Twitter VibeLoft

xiaoxiunique
โญ 947 Python ๐Ÿ‘ค xiaoxiunique User ๐Ÿ• Aggiornato 2026-11-04 ๐Ÿ“… Creato 2024-12-16
123
0xAllenChen/spider_reverse

Casi di reverse engineering di crawler, completati: Impronta digitale TLS | Ruishu | Zhenkunxing | NetEase Yudun | Reverse engineering/decompilazione di mini-programmi WeChat (Baida Xingxi) | Tonghuashun | Decrittazione RPC | Jiasule | ReCAPTCHA con slider Jueyan | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Piattaforma di big data sulle politiche industriali | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian

0xAllenChen
โญ 946 Python ๐Ÿ‘ค 0xAllenChen User ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2023-06-02
124
TikHub/TikHub-API-Python-SDK

API (interfaccia) per la risoluzione asincrona ad alte prestazioni di Captcha (risolutore di codici di verifica) per Douyin (ๆŠ–้Ÿณ), TikTok, Xiaohongshu (ๅฐ็บขไนฆ), Kuaishou (ๅฟซๆ‰‹), Weibo (ๅพฎๅš), Instagram, YouTube (ๆฒน็ฎก), Twitter (X) con Temp Mail (e-mail temporanea).

TikHub
โญ 943 Python ๐Ÿ‘ค TikHub Organization ๐Ÿ• Aggiornato 2026-10-03 ๐Ÿ“… Creato 2022-12-17
125
hellock/icrawler

Un framework di crawler multi-thread con molti crawler di immagini integrati forniti.

hellock
โญ 936 Python ๐Ÿ‘ค hellock User ๐Ÿ• Aggiornato 2025-12-10 ๐Ÿ“… Creato 2016-03-19
126
JoMingyu/google-play-scraper

Google Play scraper per Python ispirato da <facundoolano/google-play-scraper>

JoMingyu
โญ 930 Python ๐Ÿ‘ค JoMingyu User ๐Ÿ• Aggiornato 2024-08-05 ๐Ÿ“… Creato 2019-06-04
127
SkywalkerDarren/chatWeb

ChatWeb puรฒ eseguire lo spidering di pagine web, leggere PDF, DOCX, TXT ed estrarre il contenuto principale, quindi rispondere alle tue domande in base al contenuto o riassumere i punti chiave.

SkywalkerDarren
โญ 916 Python ๐Ÿ‘ค SkywalkerDarren User ๐Ÿ• Aggiornato 2026-05-25 ๐Ÿ“… Creato 2023-03-09
128
scrapinghub/scrapyrt

API HTTP per gli spider di Scrapy

scrapinghub
โญ 884 Python ๐Ÿ‘ค scrapinghub Organization ๐Ÿ• Aggiornato 2026-10-13 ๐Ÿ“… Creato 2015-01-06
129
rndinfosecguy/Scavenger

Crawler (bot) che cerca fughe di dati sui siti di condivisione di testo.

rndinfosecguy
โญ 883 Python ๐Ÿ‘ค rndinfosecguy User ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2018-03-10
130
skrapeit/skrape.it

Una libreria basata su Kotlin per testing, scraping e parsing che fornisce la capacitร  di analizzare ed estrarre dati da HTML (renderizzato lato server e client). Pone particolare enfasi sulla facilitร  d'uso e su un alto livello di leggibilitร  fornendo un DSL intuitivo. Mira a essere una libreria di testing, ma puรฒ anche essere utilizzata per fare scraping di siti web in modo conveniente.

skrapeit
โญ 874 Kotlin ๐Ÿ‘ค skrapeit User ๐Ÿ• Aggiornato 2026-10-20 ๐Ÿ“… Creato 2019-01-14
131
StJudeWasHere/seonaut

Strumento di audit SEO open source.

StJudeWasHere
โญ 873 Go ๐Ÿ‘ค StJudeWasHere User ๐Ÿ• Aggiornato 2026-10-08 ๐Ÿ“… Creato 2022-03-02
132
setvisible/ArrowDL

ArrowDL (Arrow Downloader) รจ un gestore di download per Windows, macOS e Linux.

setvisible
โญ 855 C++ ๐Ÿ‘ค setvisible User ๐Ÿ• Aggiornato 2026-05-04 ๐Ÿ“… Creato 2019-07-04
133
BlessedRebuS/Krawl

Krawl รจ un server di inganno web personalizzabile, leggero e nativo del cloud, e un anti-crawler che crea applicazioni web false con vulnerabilitร  a bassa soglia usando dati di esca realistici generati casualmente e template HTML generati da IA.

BlessedRebuS
โญ 844 Python ๐Ÿ‘ค BlessedRebuS User ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2025-12-10
134
postmodern/spidr

Una libreria Ruby versatile per il web spidering che puรฒ spiderare un sito, piรน domini, determinati link o infinitamente. Spidr รจ progettato per essere veloce e facile da usare.

postmodern
โญ 835 Ruby ๐Ÿ‘ค postmodern User ๐Ÿ• Aggiornato 2026-01-12 ๐Ÿ“… Creato 2009-03-08
135
tiliondev/fortress

Motore Chromium stealth che impedisce a scraper e agenti del browser di essere bloccati con una sola modifica a una riga di codice.

tiliondev
โญ 817 Python ๐Ÿ‘ค tiliondev Organization ๐Ÿ• Aggiornato 2026-11-03 ๐Ÿ“… Creato 2026-07-02
136
MorvanZhou/easy-scraping-tutorial

Codice di tutorial semplice ma utile per il web scraping in Python.

MorvanZhou
โญ 814 Jupyter Notebook ๐Ÿ‘ค MorvanZhou User ๐Ÿ• Aggiornato 2024-04-07 ๐Ÿ“… Creato 2017-12-29
137
fffonion/xeHentai

Doujinshi downloader Download di fumetti per signori

fffonion
โญ 808 Python ๐Ÿ‘ค fffonion User ๐Ÿ• Aggiornato 2026-11-15 ๐Ÿ“… Creato 2013-03-23
138
fanyong920/jvppeteer

Java API per Chrome e Firefox

fanyong920
โญ 805 Java ๐Ÿ‘ค fanyong920 User ๐Ÿ• Aggiornato 2026-10-04 ๐Ÿ“… Creato 2020-03-11
139
chadi0x/TheBigBrother

The Big Brother รจ una piattaforma OSINT militarizzata che offre lโ€™enumerazione dei nomi utente (oltre 473 piattaforme), intelligence visiva a quattro vettori, tracciamento Sky Radar, analisi dei wallet di criptovalute, intelligence SSL, ricostruzione dellโ€™impronta digitale, estrazione dei dati EXIF, dorking avanzato e ricognizione di rete.

chadi0x
โญ 787 Python ๐Ÿ‘ค chadi0x User ๐Ÿ• Aggiornato 2026-11-14 ๐Ÿ“… Creato 2025-12-08
140
JSREI/js-cookie-monitor-debugger-hook

Strumento potente per il reverse engineering dei cookie JavaScript: strumento di visualizzazione per il monitoraggio delle modifiche dei cookie JS e hook per cookie JS con punti di interruzione condizionali

JSREI
โญ 779 TypeScript ๐Ÿ‘ค JSREI Organization ๐Ÿ• Aggiornato 2026-01-28 ๐Ÿ“… Creato 2022-07-22
141
lixi5338619/lxBook

Repository del codice per il libro "Pratica avanzata di reverse engineering di web scraping"

lixi5338619
โญ 770 JavaScript ๐Ÿ‘ค lixi5338619 User ๐Ÿ• Aggiornato 2026-01-26 ๐Ÿ“… Creato 2021-11-16
142
xuxueli/xxl-crawler

Un framework leggero per web crawler. (Framework per crawler Java)

xuxueli
โญ 756 Java ๐Ÿ‘ค xuxueli User ๐Ÿ• Aggiornato 2026-08-08 ๐Ÿ“… Creato 2017-10-17
143
polyrabbit/hacker-news-digest

๐Ÿ“ฐ Lascia che un LLM riassuma Hacker News per te

polyrabbit
โญ 754 Python ๐Ÿ‘ค polyrabbit User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2014-09-17
144
TumblThreeApp/TumblThree

Un'applicazione di backup per blog Tumblr e Twitter

TumblThreeApp
โญ 744 C# ๐Ÿ‘ค TumblThreeApp Organization ๐Ÿ• Aggiornato 2026-11-14 ๐Ÿ“… Creato 2018-12-29
145
PyPtt/PyPtt

La migliore libreria PTT

PyPtt
โญ 733 Python ๐Ÿ‘ค PyPtt Organization ๐Ÿ• Aggiornato 2026-11-13 ๐Ÿ“… Creato 2017-05-28
146
josephlimtech/linkedin-profile-scraper-api

๐Ÿ•ต๏ธโ€โ™‚๏ธ Scraper di profili LinkedIn che restituisce dati di profilo strutturati in JSON.

josephlimtech
โญ 725 TypeScript ๐Ÿ‘ค josephlimtech User ๐Ÿ• Aggiornato 2024-04-05 ๐Ÿ“… Creato 2018-12-21
147
chushuai/wscan

Wscan รจ uno scanner di sicurezza web che si concentra sulla sicurezza web, dedicato a rendere la sicurezza web accessibile a tutti.

chushuai
โญ 717 Go ๐Ÿ‘ค chushuai User ๐Ÿ• Aggiornato 2026-09-21 ๐Ÿ“… Creato 2022-05-06
148
tasos-py/Search-Engines-Scraper

Cerca su Google, Bing, Yahoo e altri motori di ricerca con Python

tasos-py
โญ 672 Python ๐Ÿ‘ค tasos-py User ๐Ÿ• Aggiornato 2025-04-02 ๐Ÿ“… Creato 2018-01-08
149
C0D3D3V/Moodle-DL

Moodle-DL scarica rapidamente il contenuto del corso da Moodle (ad es. PDF delle lezioni)

C0D3D3V
โญ 668 Python ๐Ÿ‘ค C0D3D3V User ๐Ÿ• Aggiornato 2026-10-22 ๐Ÿ“… Creato 2019-12-19
150
cxcscmu/Craw4LLM

Repository ufficiale per "Craw4LLM: Web Crawling efficiente per il pre-addestramento LLM"

cxcscmu
โญ 654 Python ๐Ÿ‘ค cxcscmu Organization ๐Ÿ• Aggiornato 2025-02-24 ๐Ÿ“… Creato 2025-02-17