#crawler Repository
162 repository in totale
Un downloader di fumetti Bilibili facile da usare, con interfaccia grafica, supporta la ricerca di fumetti per parole chiave e l'accesso tramite codice QR, tecnologia nera per scaricare capitoli non sbloccati, download multithread, vari formati di salvataggio, gestione locale dei fumetti e controllo degli aggiornamenti con un clic!
๐ Estrai rapidamente le informazioni (ad es. follower, tag ecc...) di un profilo Instagram.
Esegui un crawler di archiviazione web basato su browser ad alta fedeltร in un singolo container Docker
๐ฐ Newspaper4k, un fork dell'amato Newspaper3k. Estrazione di articoli, titoli e metadati da siti di notizie.
Scarica facilmente tutte le foto/video dai blog Tumblr. Scarica immagini e video dai blog Tumblr specificati
Server di ricerca aziendale e per siti web, open-source e self-hosted, basato su OpenSearch. Esegue il crawling di fonti web, file, database e cloud, supporta oltre 20 lingue, API REST e ricerca semantica con IA/RAG. Licenza Apache-2.0.
Script Python scalabili per il web scraping di oltre 80 domini popolari
BaiduSpider, un crawler che esegue lo scraping dei risultati di ricerca di Baidu, attualmente supporta la ricerca web di Baidu, la ricerca di immagini di Baidu, la ricerca di Baidu Knows, la ricerca di video di Baidu, la ricerca di notizie di Baidu, la ricerca di Baidu Wenku, la ricerca di esperienze di Baidu e la ricerca di Baidu Baike.
Crawly, un framework di alto livello per web crawling e scraping per Elixir.
Rimozione filigrana video brevi Golang: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...
Scrivi web scraper in Ruby usando un DSL pulito e assistito da AI. Kimurai utilizza l'IA per capire dove risiedono i dati, poi mette in cache i selettori e esegue lo scraping con Ruby puro. Ottieni l'intelligenza di un LLM senza latenza per richiesta o costi di token.
Browser anti-rilevamento a livello di kernel con lโAPI Playwright che giร utilizzi. SDK per Python e Node, compatibile con MCP, profili locali illimitati. Linux x64 + arm64, macOS Intel + Apple Silicon e Windows x64.
SiteOne Crawler รจ un crawler e analizzatore di siti web multipiattaforma per l'ottimizzazione di SEO, sicurezza, accessibilitร e prestazioni, ideale per sviluppatori, DevOps, ingegneri QA e consulenti. Supporta Windows, macOS e Linux (x64 e arm64).
Download romanzi|Scraping romanzi|่ตท็น|็ฌ่ถฃ้|Esporta Markdown|Esporta txt|Converti epub|Filtro pubblicitร |Correzione automatica
Strumenti di protocollo puro Python e note di ricerca per X.com, con set di dati di account Twitter VibeLoft
Casi di reverse engineering di crawler, completati: Impronta digitale TLS | Ruishu | Zhenkunxing | NetEase Yudun | Reverse engineering/decompilazione di mini-programmi WeChat (Baida Xingxi) | Tonghuashun | Decrittazione RPC | Jiasule | ReCAPTCHA con slider Jueyan | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Piattaforma di big data sulle politiche industriali | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian
API (interfaccia) per la risoluzione asincrona ad alte prestazioni di Captcha (risolutore di codici di verifica) per Douyin (ๆ้ณ), TikTok, Xiaohongshu (ๅฐ็บขไนฆ), Kuaishou (ๅฟซๆ), Weibo (ๅพฎๅ), Instagram, YouTube (ๆฒน็ฎก), Twitter (X) con Temp Mail (e-mail temporanea).
Un framework di crawler multi-thread con molti crawler di immagini integrati forniti.
Google Play scraper per Python ispirato da <facundoolano/google-play-scraper>
ChatWeb puรฒ eseguire lo spidering di pagine web, leggere PDF, DOCX, TXT ed estrarre il contenuto principale, quindi rispondere alle tue domande in base al contenuto o riassumere i punti chiave.
Crawler (bot) che cerca fughe di dati sui siti di condivisione di testo.
Una libreria basata su Kotlin per testing, scraping e parsing che fornisce la capacitร di analizzare ed estrarre dati da HTML (renderizzato lato server e client). Pone particolare enfasi sulla facilitร d'uso e su un alto livello di leggibilitร fornendo un DSL intuitivo. Mira a essere una libreria di testing, ma puรฒ anche essere utilizzata per fare scraping di siti web in modo conveniente.
ArrowDL (Arrow Downloader) รจ un gestore di download per Windows, macOS e Linux.
Krawl รจ un server di inganno web personalizzabile, leggero e nativo del cloud, e un anti-crawler che crea applicazioni web false con vulnerabilitร a bassa soglia usando dati di esca realistici generati casualmente e template HTML generati da IA.
Una libreria Ruby versatile per il web spidering che puรฒ spiderare un sito, piรน domini, determinati link o infinitamente. Spidr รจ progettato per essere veloce e facile da usare.
Motore Chromium stealth che impedisce a scraper e agenti del browser di essere bloccati con una sola modifica a una riga di codice.
Codice di tutorial semplice ma utile per il web scraping in Python.
The Big Brother รจ una piattaforma OSINT militarizzata che offre lโenumerazione dei nomi utente (oltre 473 piattaforme), intelligence visiva a quattro vettori, tracciamento Sky Radar, analisi dei wallet di criptovalute, intelligence SSL, ricostruzione dellโimpronta digitale, estrazione dei dati EXIF, dorking avanzato e ricognizione di rete.
Strumento potente per il reverse engineering dei cookie JavaScript: strumento di visualizzazione per il monitoraggio delle modifiche dei cookie JS e hook per cookie JS con punti di interruzione condizionali
Repository del codice per il libro "Pratica avanzata di reverse engineering di web scraping"
๐ต๏ธโโ๏ธ Scraper di profili LinkedIn che restituisce dati di profilo strutturati in JSON.
Wscan รจ uno scanner di sicurezza web che si concentra sulla sicurezza web, dedicato a rendere la sicurezza web accessibile a tutti.
Cerca su Google, Bing, Yahoo e altri motori di ricerca con Python
Moodle-DL scarica rapidamente il contenuto del corso da Moodle (ad es. PDF delle lezioni)
Repository ufficiale per "Craw4LLM: Web Crawling efficiente per il pre-addestramento LLM"