#web-scraping Repository
382 repository in totale
Motore di scraping self-hosted โ bypassa qualsiasi sfida JS e captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternativa a FlareSolverr e Byparr e sostituto diretto per il tuo stack *arr.
Una libreria JavaScript per generare user agent casuali con dati aggiornati quotidianamente.
Un'API self-hosted che prende un URL e restituisce un file con screenshot del browser.
Fornire scraper per tutte le principali banche israeliane e societร di carte di credito
Uno strumento per estrarre dati da LinkedIn senza restrizioni API per la ricognizione dei dati
Script Python scalabili per il web scraping di oltre 80 domini popolari
In questo repository troverai file di codice di esempio per ogni giorno del corso "Python per OSINT. Un corso di 21 giorni per principianti".
Calcolo puro Xiaohongshu xs, reverse engineering del calcolo puro per campi come Xiaohongshu x-s, x-s-common, xsc, ecc.
Scrivi web scraper in Ruby usando un DSL pulito e assistito da AI. Kimurai utilizza l'IA per capire dove risiedono i dati, poi mette in cache i selettori e esegue lo scraping con Ruby puro. Ottieni l'intelligenza di un LLM senza latenza per richiesta o costi di token.
Tribu Stabile. Backup ed esportazione professionale dei record di Weibo, stabile!
Oltre 660 modelli di media generativi ospitati da muapi, oltre a strumenti API di terze parti inviati dalla community (SEO, arricchimento, social, scraping): un file YAML per voce, consultabile in base alle funzionalitร .
Browser anti-rilevamento a livello di kernel con lโAPI Playwright che giร utilizzi. SDK per Python e Node, compatibile con MCP, profili locali illimitati. Linux x64 + arm64, macOS Intel + Apple Silicon e Windows x64.
ร possibile vedere a colpo d'occhio l'ultima modifica della posizione: verde indica entro 2 settimane, arancione scuro entro 1,5 mesi, rosso indica oltre 1,5 mesi
Un progetto di analisi del sentiment basato sui dati di Weibo, inclusi crawler di Weibo, analisi tematica LDA e analisi del sentiment.
Un proxy stealth HTTP di prossima generazione che maschera perfettamente le richieste come il browser Chrome su tutti i livelli dello stack.
SiteOne Crawler รจ un crawler e analizzatore di siti web multipiattaforma per l'ottimizzazione di SEO, sicurezza, accessibilitร e prestazioni, ideale per sviluppatori, DevOps, ingegneri QA e consulenti. Supporta Windows, macOS e Linux (x64 e arm64).
Una libreria Rust per estrarre dati utili da documenti HTML, adatta allo scraping web.
Classificazione dei risultati di ricerca di Google Scholar basata sul numero di citazioni
Codice per "WebVoyager: WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models"
Downloader di corsi Geektime, supporta il download di colonne Geektime/corsi video/lezioni giornaliere/pratiche di grandi aziende/video di bootcamp
Questo รจ un browser headless leggero, progettato appositamente per consentire agli agenti IA (come Codex o Claude Code) di eseguire attivitร di automazione del browser. ร pensato per affrontare diversi sistemi di protezione web, procedure di accesso e scenari di reverse engineering.
Ti consente di scaricare in blocco tutti i tuoi eBook Kindle in modo piรน automatizzato. Questo strumento ti consente di creare copie di backup dei libri che hai giร acquistato.
Strumento di scansione automatica dei codici promozionali ChatGPT Team (Business) โ scoperta in blocco/validazione/raccolta prezzi, supporta 34 codici in 17 paesi, fino al 71% di sconto | ChatGPT Business promo code scanner โ batch discovery, validation, price collection, 34 codes across 17 countries, up to 71% off
Un'estensione di Chrome per il rilevamento di informazioni sensibili sul web e il fingerprinting.
Dorks Eye Google Hacking Dork Scraping and Searching Script. Dorks Eye รจ uno script che ho creato in python 3. Con questo strumento puoi trovare facilmente Google Dorks. Dork Eye raccoglie pagine web e applicazioni potenzialmente vulnerabili su Internet o altre fantastiche informazioni che vengono raccolte dai bot di ricerca di Google. Autore: Jolanda de Koff