Git Stars Git Stars

#web-scraping Repository

381
Totale Repository
2.1M
Totale stelle
5,636
Media Stelle/Repo
201
germondai/trawl

Motore di scraping self-hosted โ€” bypassa qualsiasi sfida JS e captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternativa a FlareSolverr e Byparr e sostituto diretto per il tuo stack *arr.

germondai
โญ 1,209 TypeScript ๐Ÿ‘ค germondai User ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2026-06-26
202
intoli/user-agents

Una libreria JavaScript per generare user agent casuali con dati aggiornati quotidianamente.

intoli
โญ 1,194 TypeScript ๐Ÿ‘ค intoli Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2018-08-06
203
Evolution0/bandcamp-dl

Script Python semplice per scaricare album di Bandcamp

Evolution0
โญ 1,189 Python ๐Ÿ‘ค Evolution0 User ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2013-04-29
204
goodreasonai/ScrapeServ

Un'API self-hosted che prende un URL e restituisce un file con screenshot del browser.

goodreasonai
โญ 1,184 Python ๐Ÿ‘ค goodreasonai Organization ๐Ÿ• Aggiornato 2025-03-09 ๐Ÿ“… Creato 2025-02-05
205
eshaham/israeli-bank-scrapers

Fornire scraper per tutte le principali banche israeliane e societร  di carte di credito

eshaham
โญ 1,181 TypeScript ๐Ÿ‘ค eshaham User ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2017-07-29
206
dchrastil/ScrapedIn

Uno strumento per estrarre dati da LinkedIn senza restrizioni API per la ricognizione dei dati

dchrastil
โญ 1,168 Python ๐Ÿ‘ค dchrastil User ๐Ÿ• Aggiornato 2024-04-11 ๐Ÿ“… Creato 2018-03-29
207
ccd0/4chan-x

Aggiunge varie funzionalitร  alle imageboard anonime.

ccd0
โญ 1,163 CoffeeScript ๐Ÿ‘ค ccd0 User ๐Ÿ• Aggiornato 2026-08-27 ๐Ÿ“… Creato 2014-04-01
208
yize8888/maotai

iMoutai, script di prenotazione HuLuWa

yize8888
โญ 1,135 JavaScript ๐Ÿ‘ค yize8888 User ๐Ÿ• Aggiornato 2025-03-08 ๐Ÿ“… Creato 2023-06-20
209
fwonggh/Bthub

Pagina di pubblicazione dell'indirizzo piรน recente di Bthub

fwonggh
โญ 1,134 HTML ๐Ÿ‘ค fwonggh User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2020-01-11
210
scrapfly/scrapfly-scrapers

Script Python scalabili per il web scraping di oltre 80 domini popolari

scrapfly
โญ 1,133 Python ๐Ÿ‘ค scrapfly Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2023-05-22
211
juancarlospaco/faster-than-requests

Richieste piรน veloci su Python 3

juancarlospaco
โญ 1,131 Nim ๐Ÿ‘ค juancarlospaco User ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2018-11-13
212
cipher387/python-for-OSINT-21-days

In questo repository troverai file di codice di esempio per ogni giorno del corso "Python per OSINT. Un corso di 21 giorni per principianti".

cipher387
โญ 1,129 Python ๐Ÿ‘ค cipher387 User ๐Ÿ• Aggiornato 2026-01-06 ๐Ÿ“… Creato 2023-03-26
213
Cloxl/xhshow

Calcolo puro Xiaohongshu xs, reverse engineering del calcolo puro per campi come Xiaohongshu x-s, x-s-common, xsc, ecc.

Cloxl
โญ 1,124 Python ๐Ÿ‘ค Cloxl User ๐Ÿ• Aggiornato 2026-06-11 ๐Ÿ“… Creato 2024-09-11
215
xiaoguyu/wechatDownload

Strumento per scaricare articoli dell'account ufficiale WeChat

xiaoguyu
โญ 1,107 TypeScript ๐Ÿ‘ค xiaoguyu User ๐Ÿ• Aggiornato 2025-11-28 ๐Ÿ“… Creato 2023-01-03
216
vifreefly/kimuraframework

Scrivi web scraper in Ruby usando un DSL pulito e assistito da AI. Kimurai utilizza l'IA per capire dove risiedono i dati, poi mette in cache i selettori e esegue lo scraping con Ruby puro. Ottieni l'intelligenza di un LLM senza latenza per richiesta o costi di token.

vifreefly
โญ 1,102 Ruby ๐Ÿ‘ค vifreefly User ๐Ÿ• Aggiornato 2026-01-27 ๐Ÿ“… Creato 2018-08-23
217
requireCool/stealth.min.js

Genera automaticamente stealth.min.js piรน recente.

requireCool
โญ 1,096 ๐Ÿ‘ค requireCool User ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2022-04-10
218
caolvchong-top/twitter_download

Twitter Immagini Video Crawler; Download in un clic

caolvchong-top
โญ 1,087 Python ๐Ÿ‘ค caolvchong-top User ๐Ÿ• Aggiornato 2026-07-28 ๐Ÿ“… Creato 2022-08-23
219
YaoZeyuan/stablog

Tribu Stabile. Backup ed esportazione professionale dei record di Weibo, stabile!

YaoZeyuan
โญ 1,085 JavaScript ๐Ÿ‘ค YaoZeyuan User ๐Ÿ• Aggiornato 2026-08-15 ๐Ÿ“… Creato 2019-09-11
220
Anil-matcha/awesome-agent-apis

Oltre 660 modelli di media generativi ospitati da muapi, oltre a strumenti API di terze parti inviati dalla community (SEO, arricchimento, social, scraping): un file YAML per voce, consultabile in base alle funzionalitร .

Anil-matcha
โญ 1,070 Python ๐Ÿ‘ค Anil-matcha User ๐Ÿ• Aggiornato 2026-10-14 ๐Ÿ“… Creato 2023-05-06
221
antibrow/antibrow

Browser anti-rilevamento a livello di kernel con lโ€™API Playwright che giร  utilizzi. SDK per Python e Node, compatibile con MCP, profili locali illimitati. Linux x64 + arm64, macOS Intel + Apple Silicon e Windows x64.

antibrow
โญ 1,068 TypeScript ๐Ÿ‘ค antibrow User ๐Ÿ• Aggiornato 2026-09-28 ๐Ÿ“… Creato 2026-07-29
222
IcarusRyy/NewJob

รˆ possibile vedere a colpo d'occhio l'ultima modifica della posizione: verde indica entro 2 settimane, arancione scuro entro 1,5 mesi, rosso indica oltre 1,5 mesi

IcarusRyy
โญ 1,058 JavaScript ๐Ÿ‘ค IcarusRyy User ๐Ÿ• Aggiornato 2024-06-10 ๐Ÿ“… Creato 2024-05-03
223
stay-leave/weibo-public-opinion-analysis

Un progetto di analisi del sentiment basato sui dati di Weibo, inclusi crawler di Weibo, analisi tematica LDA e analisi del sentiment.

stay-leave
โญ 1,058 Python ๐Ÿ‘ค stay-leave User ๐Ÿ• Aggiornato 2026-10-24 ๐Ÿ“… Creato 2021-08-01
224
lm-rebooter
โญ 1,054 HTML ๐Ÿ‘ค lm-rebooter User ๐Ÿ• Aggiornato 2026-05-06 ๐Ÿ“… Creato 2023-05-31
225
mandatoryprogrammer/thermoptic

Un proxy stealth HTTP di prossima generazione che maschera perfettamente le richieste come il browser Chrome su tutti i livelli dello stack.

mandatoryprogrammer
โญ 1,053 JavaScript ๐Ÿ‘ค mandatoryprogrammer User ๐Ÿ• Aggiornato 2026-10-25 ๐Ÿ“… Creato 2025-09-02
โญ 1,041 JavaScript ๐Ÿ‘ค badlogic User ๐Ÿ• Aggiornato 2026-02-17 ๐Ÿ“… Creato 2023-05-08
227
FR13ND8/BruteFb

Hackerare Facebook con il metodo Brute Force in Termux

FR13ND8
โญ 1,026 Python ๐Ÿ‘ค FR13ND8 User ๐Ÿ• Aggiornato 2024-07-17 ๐Ÿ“… Creato 2019-01-10
228
janreges/siteone-crawler

SiteOne Crawler รจ un crawler e analizzatore di siti web multipiattaforma per l'ottimizzazione di SEO, sicurezza, accessibilitร  e prestazioni, ideale per sviluppatori, DevOps, ingegneri QA e consulenti. Supporta Windows, macOS e Linux (x64 e arm64).

janreges
โญ 1,019 Rust ๐Ÿ‘ค janreges User ๐Ÿ• Aggiornato 2026-09-27 ๐Ÿ“… Creato 2023-10-04
229
utkarshkukreti/select.rs

Una libreria Rust per estrarre dati utili da documenti HTML, adatta allo scraping web.

utkarshkukreti
โญ 1,018 Rust ๐Ÿ‘ค utkarshkukreti User ๐Ÿ• Aggiornato 2025-03-19 ๐Ÿ“… Creato 2015-07-15
230
thepycoach/automation

Automazione con Python (Excel, script, ecc.)

thepycoach
โญ 1,010 Jupyter Notebook ๐Ÿ‘ค thepycoach User ๐Ÿ• Aggiornato 2024-05-19 ๐Ÿ“… Creato 2021-05-02
231
fferrin/free-medium

Un'estensione per leggere gratuitamente post di Medium

fferrin
โญ 1,008 JavaScript ๐Ÿ‘ค fferrin User ๐Ÿ• Aggiornato 2025-11-02 ๐Ÿ“… Creato 2024-02-13
232
WittmannF/sort-google-scholar

Classificazione dei risultati di ricerca di Google Scholar basata sul numero di citazioni

WittmannF
โญ 999 Python ๐Ÿ‘ค WittmannF User ๐Ÿ• Aggiornato 2026-10-30 ๐Ÿ“… Creato 2016-04-30
233
maldevel/EmailHarvester

Raccolta indirizzi email

maldevel
โญ 999 Python ๐Ÿ‘ค maldevel User ๐Ÿ• Aggiornato 2026-06-07 ๐Ÿ“… Creato 2016-04-16
234
runesleo/x-reader

Server MCP lettore di contenuti universale per oltre 10 piattaforme

runesleo
โญ 992 Python ๐Ÿ‘ค runesleo User ๐Ÿ• Aggiornato 2026-11-11 ๐Ÿ“… Creato 2026-02-22
235
borisbabic/browser_cookie3

Questo รจ un fork di browser_cookie

borisbabic
โญ 989 Python ๐Ÿ‘ค borisbabic User ๐Ÿ• Aggiornato 2024-12-20 ๐Ÿ“… Creato 2015-04-26
236
MinorJerry/WebVoyager

Codice per "WebVoyager: WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models"

MinorJerry
โญ 986 Python ๐Ÿ‘ค MinorJerry User ๐Ÿ• Aggiornato 2024-03-04 ๐Ÿ“… Creato 2024-01-24
237
YaoZeyuan/zhihuhelp

Riscrivere Zhihu Assistant basato su Node e TypeScript

YaoZeyuan
โญ 985 TypeScript ๐Ÿ‘ค YaoZeyuan User ๐Ÿ• Aggiornato 2026-10-24 ๐Ÿ“… Creato 2019-02-04
238
nicoxiang/geektime-downloader

Downloader di corsi Geektime, supporta il download di colonne Geektime/corsi video/lezioni giornaliere/pratiche di grandi aziende/video di bootcamp

nicoxiang
โญ 982 Go ๐Ÿ‘ค nicoxiang User ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2022-03-12
239
romansky/dom-to-semantic-markdown

DOM a Semantic-Markdown per l'uso con LLM

romansky
โญ 976 TypeScript ๐Ÿ‘ค romansky User ๐Ÿ• Aggiornato 2025-05-21 ๐Ÿ“… Creato 2024-07-22
241
cutetailbud/ff-ruyijs

Questo รจ un browser headless leggero, progettato appositamente per consentire agli agenti IA (come Codex o Claude Code) di eseguire attivitร  di automazione del browser. รˆ pensato per affrontare diversi sistemi di protezione web, procedure di accesso e scenari di reverse engineering.

cutetailbud
โญ 968 C++ ๐Ÿ‘ค cutetailbud User ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2026-10-28
242
treetrum/amazon-kindle-bulk-downloader

Ti consente di scaricare in blocco tutti i tuoi eBook Kindle in modo piรน automatizzato. Questo strumento ti consente di creare copie di backup dei libri che hai giร  acquistato.

treetrum
โญ 968 TypeScript ๐Ÿ‘ค treetrum User ๐Ÿ• Aggiornato 2025-02-27 ๐Ÿ“… Creato 2023-04-07
โญ 955 Java ๐Ÿ‘ค FongMi User ๐Ÿ• Aggiornato 2026-11-13 ๐Ÿ“… Creato 2022-08-22
244
HtmlUnit/htmlunit

HtmlUnit รจ un "browser senza GUI per programmi Java".

HtmlUnit
โญ 951 JavaScript ๐Ÿ‘ค HtmlUnit Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2018-09-02
245
JUk1-GH/gpt-promo-scanner

Strumento di scansione automatica dei codici promozionali ChatGPT Team (Business) โ€” scoperta in blocco/validazione/raccolta prezzi, supporta 34 codici in 17 paesi, fino al 71% di sconto | ChatGPT Business promo code scanner โ€” batch discovery, validation, price collection, 34 codes across 17 countries, up to 71% off

JUk1-GH
โญ 948 Python ๐Ÿ‘ค JUk1-GH User ๐Ÿ• Aggiornato 2026-05-15 ๐Ÿ“… Creato 2026-05-11
246
SickleSec/SnowEyes

Un'estensione di Chrome per il rilevamento di informazioni sensibili sul web e il fingerprinting.

SickleSec
โญ 946 JavaScript ๐Ÿ‘ค SickleSec User ๐Ÿ• Aggiornato 2026-08-10 ๐Ÿ“… Creato 2024-12-27
247
BullsEye0/dorks-eye

Dorks Eye Google Hacking Dork Scraping and Searching Script. Dorks Eye รจ uno script che ho creato in python 3. Con questo strumento puoi trovare facilmente Google Dorks. Dork Eye raccoglie pagine web e applicazioni potenzialmente vulnerabili su Internet o altre fantastiche informazioni che vengono raccolte dai bot di ricerca di Google. Autore: Jolanda de Koff

BullsEye0
โญ 940 Python ๐Ÿ‘ค BullsEye0 User ๐Ÿ• Aggiornato 2026-10-01 ๐Ÿ“… Creato 2020-04-30
248
caseychu/spotify-backup

Uno script Python che esporta tutte le tue playlist di Spotify.

caseychu
โญ 937 Python ๐Ÿ‘ค caseychu User ๐Ÿ• Aggiornato 2024-09-22 ๐Ÿ“… Creato 2014-12-24
249
facundoolano/feedi

Un lettore di feed personale

facundoolano
โญ 933 Python ๐Ÿ‘ค facundoolano User ๐Ÿ• Aggiornato 2026-09-19 ๐Ÿ“… Creato 2023-07-15
250
browser-use/awesome-prompts

Tabella di incredibili suggerimenti per l'uso del browser

browser-use
โญ 926 ๐Ÿ‘ค browser-use Organization ๐Ÿ• Aggiornato 2025-03-26 ๐Ÿ“… Creato 2025-03-26