Git Stars Git Stars

#crawler Repository

162
Totale Repository
1.1M
Totale stelle
6,863
Media Stelle/Repo
51
thewhiteh4t/FinalRecon

Riconoscimento Web Tutto in Uno

thewhiteh4t
โญ 3,058 Python ๐Ÿ‘ค thewhiteh4t User ๐Ÿ• Aggiornato 2026-10-31 ๐Ÿ“… Creato 2019-03-28
52
Qianlitp/crawlergo

Un potente crawler del browser per scanner di vulnerabilitร  web

Qianlitp
โญ 3,034 Go ๐Ÿ‘ค Qianlitp User ๐Ÿ• Aggiornato 2025-03-11 ๐Ÿ“… Creato 2019-12-25
53
facundoolano/google-play-scraper

Scraper Node.js per ottenere dati da Google Play

facundoolano
โญ 3,005 JavaScript ๐Ÿ‘ค facundoolano User ๐Ÿ• Aggiornato 2026-10-17 ๐Ÿ“… Creato 2015-04-07
54
howie6879/owllook

owllook-Motore di ricerca per romanzi

howie6879
โญ 2,900 Python ๐Ÿ‘ค howie6879 User ๐Ÿ• Aggiornato 2026-10-30 ๐Ÿ“… Creato 2017-02-18
55
CharlesPikachu/DecryptLogin

DecryptLogin: API per il login su alcuni siti web utilizzando requests.

CharlesPikachu
โญ 2,871 Python ๐Ÿ‘ค CharlesPikachu User ๐Ÿ• Aggiornato 2024-08-09 ๐Ÿ“… Creato 2019-02-25
56
spider-rs/spider

Raccolta di dati web a bassa latenza di base in Rust

spider-rs
โญ 2,856 Rust ๐Ÿ‘ค spider-rs Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2018-01-07
57
jaeles-project/gospider

Gospider - Ragno web veloce scritto in Go

jaeles-project
โญ 2,851 Go ๐Ÿ‘ค jaeles-project Organization ๐Ÿ• Aggiornato 2024-04-21 ๐Ÿ“… Creato 2020-01-22
58
spatie/crawler

https://spatie.be/docs/crawler

spatie
โญ 2,827 PHP ๐Ÿ‘ค spatie Organization ๐Ÿ• Aggiornato 2026-11-05 ๐Ÿ“… Creato 2015-11-02
59
geziyor/geziyor

Geziyor, framework per web crawling e scraping ultraveloce per Go. Supporta il rendering JS.

geziyor
โญ 2,781 Go ๐Ÿ‘ค geziyor Organization ๐Ÿ• Aggiornato 2026-07-02 ๐Ÿ“… Creato 2019-06-06
60
jae-jae/QueryList

:spider: Il framework crawler PHP progressivo! Framework di raccolta PHP progressivo elegante.

jae-jae
โญ 2,689 PHP ๐Ÿ‘ค jae-jae User ๐Ÿ• Aggiornato 2026-10-20 ๐Ÿ“… Creato 2015-12-20
61
Autumn-27/ScopeSentry

ScopeSentry-Mappatura del cyberspazio, enumerazione dei sottodomini, scansione delle porte, scoperta di informazioni sensibili, scansione delle vulnerabilitร , nodi distribuiti

Autumn-27
โญ 2,597 Go ๐Ÿ‘ค Autumn-27 User ๐Ÿ• Aggiornato 2026-10-11 ๐Ÿ“… Creato 2024-02-27
62
xtuhcy/gecco

Web crawler leggero facile da usare

xtuhcy
โญ 2,510 Java ๐Ÿ‘ค xtuhcy User ๐Ÿ• Aggiornato 2026-10-09 ๐Ÿ“… Creato 2015-12-12
63
fhamborg/news-please

news-please - Un crawler web integrato ed estrattore di informazioni per le notizie che semplicemente funziona

fhamborg
โญ 2,494 Python ๐Ÿ‘ค fhamborg User ๐Ÿ• Aggiornato 2026-04-14 ๐Ÿ“… Creato 2016-12-18
64
lorien/grab

Framework per Web Scraping

lorien
โญ 2,461 Python ๐Ÿ‘ค lorien User ๐Ÿ• Aggiornato 2025-09-19 ๐Ÿ“… Creato 2013-05-01
65
JayBizzle/Crawler-Detect

๐Ÿ•ท CrawlerDetect รจ una classe PHP per rilevare bot/crawler/spider tramite lo user agent

JayBizzle
โญ 2,410 PHP ๐Ÿ‘ค JayBizzle User ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2015-03-23
66
friuns2/Leaked-GPTs

Prompt GPT trapelati aggirano il limite di 25 messaggi o per provare GPTs senza un abbonamento Plus.

friuns2
โญ 2,396 Python ๐Ÿ‘ค friuns2 User ๐Ÿ• Aggiornato 2024-01-17 ๐Ÿ“… Creato 2023-11-27
67
sjdirect/abot

Framework per web crawler C# multipiattaforma costruito per velocitร  e flessibilitร . Per favore, metti una stella a questo progetto! +1.

sjdirect
โญ 2,308 C# ๐Ÿ‘ค sjdirect User ๐Ÿ• Aggiornato 2026-07-17 ๐Ÿ“… Creato 2013-08-08
68
goclone-dev/goclone

Website Cloner - Utilizza potenti goroutine per clonare siti web sul tuo computer in pochi secondi.

goclone-dev
โญ 2,303 Go ๐Ÿ‘ค goclone-dev Organization ๐Ÿ• Aggiornato 2026-06-02 ๐Ÿ“… Creato 2020-03-23
69
AAndyProgram/SCrawler

Downloader multimediale da qualsiasi sito, inclusi Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid ecc.

AAndyProgram
โญ 2,263 Visual Basic .NET ๐Ÿ‘ค AAndyProgram User ๐Ÿ• Aggiornato 2026-11-08 ๐Ÿ“… Creato 2021-12-07
70
watercrawl/WaterCrawl

Trasforma contenuti web in dati pronti per LLM

watercrawl
โญ 2,244 TypeScript ๐Ÿ‘ค watercrawl Organization ๐Ÿ• Aggiornato 2026-08-17 ๐Ÿ“… Creato 2024-12-15
71
zorlan/skycaiji

Blue Sky Collector รจ un sistema di scraping open source e gratuito, che richiede solo il clic e la modifica delle regole per raccogliere dati. Puรฒ essere eseguito localmente, su hosting virtuale o su server cloud, ed รจ in grado di raccogliere quasi tutti i tipi di pagine web. Si integra perfettamente con vari programmi di creazione di siti web basati su CMS, pubblica dati in tempo reale senza login e senza intervento umano! รˆ un sistema di scraping cloud completamente multipiattaforma nel software di raccolta di big data del web.

zorlan
โญ 2,098 PHP ๐Ÿ‘ค zorlan User ๐Ÿ• Aggiornato 2026-10-07 ๐Ÿ“… Creato 2018-02-26
72
TeamNewPipe/NewPipeExtractor

La libreria principale di NewPipe per l'estrazione di dati dai siti di streaming

TeamNewPipe
โญ 2,070 Java ๐Ÿ‘ค TeamNewPipe Organization ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2017-03-01
73
elliotgao2/gain

Framework di web crawling basato su asyncio.

elliotgao2
โญ 2,017 Python ๐Ÿ‘ค elliotgao2 User ๐Ÿ• Aggiornato 2026-08-09 ๐Ÿ“… Creato 2017-05-31
74
coder-hxl/x-crawl

Libreria flessibile per il crawling in Node.js

coder-hxl
โญ 1,888 TypeScript ๐Ÿ‘ค coder-hxl User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2023-01-22
75
JSREI/ast-hook-for-js-RE

Soluzione di roaming della memoria del browser (in fase di esplorazione...)

JSREI
โญ 1,882 JavaScript ๐Ÿ‘ค JSREI Organization ๐Ÿ• Aggiornato 2024-05-07 ๐Ÿ“… Creato 2021-01-15
76
lixi5338619/lxSpider

Raccolta di casi di web scraping. Inclusi, ma non limitati a "Taobao, JD.com, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Alibaba, Toutiao, PDD, Youku, iQIYI, Ctrip, 12306, 58, Sohu, vari indici, VIP, Wanfang, ZLibrary, Oalib, Romanzi, siti di bandi, siti di approvvigionamento, Xiaohongshu, Dianping, Twitter, Maimai, Zhihu"

lixi5338619
โญ 1,876 Python ๐Ÿ‘ค lixi5338619 User ๐Ÿ• Aggiornato 2024-05-09 ๐Ÿ“… Creato 2021-01-29
77
diskoverdata/diskover-community

Diskover Community Edition - Indexer di file open source, motore di ricerca file e gestione e analisi dati alimentati da Elasticsearch

diskoverdata
โญ 1,831 PHP ๐Ÿ‘ค diskoverdata Organization ๐Ÿ• Aggiornato 2026-03-25 ๐Ÿ“… Creato 2017-04-19
78
eatmoreduck/boss-zhipin-scraper

Scraper di BOSS Zhipin / Strumento di scraping dei dati di lavoro di BOSS Zhipin, basato sul protocollo Chrome CDP per riutilizzare le sessioni di accesso reali, aggirare l'anti-scraping dei font e produrre JSON/CSV di stipendi in testo semplice + analisi delle competenze salariali.

eatmoreduck
โญ 1,781 Python ๐Ÿ‘ค eatmoreduck User ๐Ÿ• Aggiornato 2026-11-03 ๐Ÿ“… Creato 2026-06-11
79
u3c3/BT-btt

Introduzione al sito magnetico U3C3 e aggiornamento del dominio

u3c3
โญ 1,779 ๐Ÿ‘ค u3c3 User ๐Ÿ• Aggiornato 2025-01-01 ๐Ÿ“… Creato 2020-04-28
80
howie6879/ruia

Micro-framework asincrono per il web scraping in Python 3.6+ basato su asyncio

howie6879
โญ 1,738 Python ๐Ÿ‘ค howie6879 User ๐Ÿ• Aggiornato 2026-10-30 ๐Ÿ“… Creato 2018-07-10
81
rushter/selectolax

Binding Python per i motori Modest e Lexbor. Analizzatore HTML5 veloce con selettori CSS per Python.

rushter
โญ 1,717 Python ๐Ÿ‘ค rushter User ๐Ÿ• Aggiornato 2026-11-10 ๐Ÿ“… Creato 2017-11-26
82
gildas-lormeau/single-file-cli

Strumento CLI per salvare una copia fedele di una pagina web completa in un singolo file HTML (basato su SingleFile)

gildas-lormeau
โญ 1,702 JavaScript ๐Ÿ‘ค gildas-lormeau User ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2022-05-31
83
YoongiKim/AutoCrawler

Google, Naver web crawler per immagini multiprocesso (Selenium)

YoongiKim
โญ 1,700 Python ๐Ÿ‘ค YoongiKim User ๐Ÿ• Aggiornato 2026-11-12 ๐Ÿ“… Creato 2018-11-21
84
orangecoding/fredy

โค๏ธ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] (trova immobili veri con estrema facilitร ) - Fredy continua a cercare nuovi appartamenti, case e alloggi in Europa su piattaforme come ImmoScout24, Immowelt ed eBay Kleinanzeigen e ti invia immediatamente i risultati tramite Slack, Telegram, e-mail, Discord o ntfy, cosรฌ puoi concentrarti sulle cose piรน importanti della vita ;)

orangecoding
โญ 1,648 JavaScript ๐Ÿ‘ค orangecoding User ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2018-01-15
85
erma0/douyin

Crawler Douyin โ€“ Raccolta di dati pubblici come la pagina del profilo dell'account, mi piace, preferiti, audio originali musicali, argomenti, ricerca, raccolte, opere, seguito, follower, ecc.

erma0
โญ 1,625 ๐Ÿ‘ค erma0 User ๐Ÿ• Aggiornato 2026-08-14 ๐Ÿ“… Creato 2022-05-29
86
ArchiveTeam/grab-site

Il web crawler dell'archivista: output WARC, dashboard per tutti i crawl, pattern di ignorazione dinamici

ArchiveTeam
โญ 1,572 Python ๐Ÿ‘ค ArchiveTeam Organization ๐Ÿ• Aggiornato 2025-05-23 ๐Ÿ“… Creato 2015-02-05
87
srx-2000/spider_collection

Crawler Python, inventario attuale: Estrazione canzoni NetEase Cloud Music, Estrazione video Bilibili, Estrazione Q&A Zhihu, Estrazione sfondi, Estrazione video xvideos, Estrazione audiolibri, Crawler Weibo, Estrazione informazioni Anjuke + visualizzazione dati, Estrattore copertine video Bilibili, Incapsulamento pool proxy IP, Crawler utenti Zhihu livello milioni + analisi dati, Crawler utenti GitHub

srx-2000
โญ 1,554 Python ๐Ÿ‘ค srx-2000 User ๐Ÿ• Aggiornato 2024-04-23 ๐Ÿ“… Creato 2020-02-04
88
0x676e67/wreq-python

Un client HTTP Python ergonomico e attento alla privacy

0x676e67
โญ 1,526 Python ๐Ÿ‘ค 0x676e67 User ๐Ÿ• Aggiornato 2026-11-15 ๐Ÿ“… Creato 2025-02-10
89
rebrowser/rebrowser-patches

Raccolta di patch per puppeteer e playwright per evitare il rilevamento dell'automazione e le perdite. Aiuta a evitare le pagine CAPTCHA di Cloudflare e DataDome. Facile da patchare/unpatchare, puรฒ essere abilitato/disabilitato su richiesta.

rebrowser
โญ 1,468 JavaScript ๐Ÿ‘ค rebrowser Organization ๐Ÿ• Aggiornato 2026-11-02 ๐Ÿ“… Creato 2024-08-06
90
dadoonet/fscrawler

Elasticsearch Crawler del Sistema di File (Crawler FS)

dadoonet
โญ 1,459 Java ๐Ÿ‘ค dadoonet User ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2012-06-08
91
xisuo67/XHS-Spider

Strumento di download in batch per la raccolta dati di Xiaohongshu, immagini di siti Web e risorse video, strumento di raccolta dati dall'aspetto eccezionale (download in batch, estrazione video, immagini) Telegram:https://t.me/+ZtLSwuIKTo44MDY1

xisuo67
โญ 1,456 ๐Ÿ‘ค xisuo67 User ๐Ÿ• Aggiornato 2025-12-16 ๐Ÿ“… Creato 2023-04-25
92
openwpm/OpenWPM

Un quadro di misurazione della privacy sul web

openwpm
โญ 1,429 Python ๐Ÿ‘ค openwpm Organization ๐Ÿ• Aggiornato 2026-10-13 ๐Ÿ“… Creato 2014-06-10
93
darbra/sperm

Una raccolta di brillanti articoli di reverse engineering, da non perdere

darbra
โญ 1,427 ๐Ÿ‘ค darbra User ๐Ÿ• Aggiornato 2026-04-13 ๐Ÿ“… Creato 2022-03-02
94
kgspider/crawler

Condivisione del codice di web scraping di Fratello K, reverse engineering JS, web scraping avanzato. Segui l'account pubblico WeChat: Fratello K Web-Scraping

kgspider
โญ 1,371 JavaScript ๐Ÿ‘ค kgspider User ๐Ÿ• Aggiornato 2025-05-12 ๐Ÿ“… Creato 2021-08-24
95
lorey/mlscraper

๐Ÿค– Esegui lo scraping dei dati dai siti web HTML automaticamente fornendo solo esempi

lorey
โญ 1,370 Python ๐Ÿ‘ค lorey User ๐Ÿ• Aggiornato 2024-03-17 ๐Ÿ“… Creato 2020-07-30
96
felipecsl/wombat

Crawler/scraper web leggero Ruby con un DSL elegante che estrae dati strutturati dalle pagine.

felipecsl
โญ 1,360 Ruby ๐Ÿ‘ค felipecsl User ๐Ÿ• Aggiornato 2026-10-27 ๐Ÿ“… Creato 2011-11-14
97
0xInfection/XSRFProbe

Il Prime Cross Site Request Forgery (CSRF) Toolkit per Audit e Sfruttamento.

0xInfection
โญ 1,310 Python ๐Ÿ‘ค 0xInfection User ๐Ÿ• Aggiornato 2026-07-12 ๐Ÿ“… Creato 2018-08-21
98
fastcrw/crw

Alternativa veloce e leggera a Firecrawl/Tavily scritta in Rust. API di web scraping, crawler e ricerca con server MCP per agenti IA. API compatibile con Firecrawl (/scrape, /crawl, /search). 2,3 volte piรน veloce di Tavily, 1,5 volte piรน veloce di Firecrawl in benchmark su 1K URL. 6 MB di RAM, binario singolo. Self-hosting o cloud gestito.

fastcrw
โญ 1,284 Rust ๐Ÿ‘ค fastcrw Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-03-02
99
dwisiswant0/go-dork

Il scanner dork piรน veloce scritto in Go.

dwisiswant0
โญ 1,266 Go ๐Ÿ‘ค dwisiswant0 User ๐Ÿ• Aggiornato 2024-02-04 ๐Ÿ“… Creato 2020-07-13
100
kiddyuchina/Beanbun

Beanbun รจ un framework di web crawling multiprocesso scritto in PHP, con buona apertura e alta scalabilitร , basato su Workerman.

kiddyuchina
โญ 1,258 PHP ๐Ÿ‘ค kiddyuchina User ๐Ÿ• Aggiornato 2026-05-26 ๐Ÿ“… Creato 2017-04-13