#crawler Repository
162 repository in totale
NetDiscovery è un framework/middleware di crawling per uso generale implementato basandosi su framework come Vert.x e RxJava 2.
Un solo comando per usare Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com e X: comandi unificati e output JSON per persone e agenti IA
Salva localmente le pagine web sul tuo disco rigido con immagini, CSS, JS e link così come sono.
Rilevamento in tempo reale di sistemi anti-bot, captcha e tecniche di fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security e altri, con punteggio di affidabilità e strumenti avanzati di acquisizione.
Jie si distingue come uno strumento completo di valutazione della sicurezza e di exploitation meticolosamente creato per le applicazioni web. La sua solida suite di funzionalità comprende la scansione delle vulnerabilità, la raccolta di informazioni e lo sfruttamento, elevandolo a un toolkit indispensabile sia per i professionisti della sicurezza che per i penetration tester. 挖洞辅助工具(漏洞扫描、信息收集)
FreeProxy: Raccolta di proxy gratuiti da internet. (Grande quantità di proxy gratuiti di alta qualità in tutto il mondo, supporto per il crawling di decine di fonti di condivisione di proxy gratuiti, filtraggio dei proxy con regole personalizzate, essenziale per il web scraping e l'analisi dei dati, aggiornato quotidianamente con una grande quantità di proxy gratuiti.)
Infrastruttura web open source per l'IA. Esegui lo scraping, il crawling e l'automazione del web, pulisci markdown, sessioni del browser, pronta per i tuoi agenti.
Un framework affidabile di alto livello per il web crawling e scraping per Node.js.
Fresh Onions è uno spider TOR open source / crawler di servizi nascosti onion, ospitato su zlal32teyptf4tvi.onion
✈️ Monitoraggio dei prezzi dei voli multicanale e self-hosted: raccolta dei dettagli dei voli → notifiche con testo e immagini tramite DingTalk → avvisi intensivi su quattro livelli al raggiungimento degli obiettivi. Le rotte nazionali e internazionali (destinazioni nei cinque continenti) condividono lo stesso flusso di raccolta, valutazione e notifica. I dati restano sul tuo dispositivo, tutte le impostazioni si gestiscono via web ed è open source e gratuito.
Un framework per la creazione di estrattori di contenuti web semi-automatici