#crawler Repository
162 repository in totale
DecryptLogin: API per il login su alcuni siti web utilizzando requests.
Geziyor, framework per web crawling e scraping ultraveloce per Go. Supporta il rendering JS.
:spider: Il framework crawler PHP progressivo! Framework di raccolta PHP progressivo elegante.
ScopeSentry-Mappatura del cyberspazio, enumerazione dei sottodomini, scansione delle porte, scoperta di informazioni sensibili, scansione delle vulnerabilitร , nodi distribuiti
news-please - Un crawler web integrato ed estrattore di informazioni per le notizie che semplicemente funziona
๐ท CrawlerDetect รจ una classe PHP per rilevare bot/crawler/spider tramite lo user agent
Prompt GPT trapelati aggirano il limite di 25 messaggi o per provare GPTs senza un abbonamento Plus.
Framework per web crawler C# multipiattaforma costruito per velocitร e flessibilitร . Per favore, metti una stella a questo progetto! +1.
Website Cloner - Utilizza potenti goroutine per clonare siti web sul tuo computer in pochi secondi.
Downloader multimediale da qualsiasi sito, inclusi Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid ecc.
Blue Sky Collector รจ un sistema di scraping open source e gratuito, che richiede solo il clic e la modifica delle regole per raccogliere dati. Puรฒ essere eseguito localmente, su hosting virtuale o su server cloud, ed รจ in grado di raccogliere quasi tutti i tipi di pagine web. Si integra perfettamente con vari programmi di creazione di siti web basati su CMS, pubblica dati in tempo reale senza login e senza intervento umano! ร un sistema di scraping cloud completamente multipiattaforma nel software di raccolta di big data del web.
La libreria principale di NewPipe per l'estrazione di dati dai siti di streaming
Soluzione di roaming della memoria del browser (in fase di esplorazione...)
Raccolta di casi di web scraping. Inclusi, ma non limitati a "Taobao, JD.com, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Alibaba, Toutiao, PDD, Youku, iQIYI, Ctrip, 12306, 58, Sohu, vari indici, VIP, Wanfang, ZLibrary, Oalib, Romanzi, siti di bandi, siti di approvvigionamento, Xiaohongshu, Dianping, Twitter, Maimai, Zhihu"
Diskover Community Edition - Indexer di file open source, motore di ricerca file e gestione e analisi dati alimentati da Elasticsearch
Scraper di BOSS Zhipin / Strumento di scraping dei dati di lavoro di BOSS Zhipin, basato sul protocollo Chrome CDP per riutilizzare le sessioni di accesso reali, aggirare l'anti-scraping dei font e produrre JSON/CSV di stipendi in testo semplice + analisi delle competenze salariali.
Binding Python per i motori Modest e Lexbor. Analizzatore HTML5 veloce con selettori CSS per Python.
Strumento CLI per salvare una copia fedele di una pagina web completa in un singolo file HTML (basato su SingleFile)
โค๏ธ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] (trova immobili veri con estrema facilitร ) - Fredy continua a cercare nuovi appartamenti, case e alloggi in Europa su piattaforme come ImmoScout24, Immowelt ed eBay Kleinanzeigen e ti invia immediatamente i risultati tramite Slack, Telegram, e-mail, Discord o ntfy, cosรฌ puoi concentrarti sulle cose piรน importanti della vita ;)
Crawler Douyin โ Raccolta di dati pubblici come la pagina del profilo dell'account, mi piace, preferiti, audio originali musicali, argomenti, ricerca, raccolte, opere, seguito, follower, ecc.
Il web crawler dell'archivista: output WARC, dashboard per tutti i crawl, pattern di ignorazione dinamici
Crawler Python, inventario attuale: Estrazione canzoni NetEase Cloud Music, Estrazione video Bilibili, Estrazione Q&A Zhihu, Estrazione sfondi, Estrazione video xvideos, Estrazione audiolibri, Crawler Weibo, Estrazione informazioni Anjuke + visualizzazione dati, Estrattore copertine video Bilibili, Incapsulamento pool proxy IP, Crawler utenti Zhihu livello milioni + analisi dati, Crawler utenti GitHub
Raccolta di patch per puppeteer e playwright per evitare il rilevamento dell'automazione e le perdite. Aiuta a evitare le pagine CAPTCHA di Cloudflare e DataDome. Facile da patchare/unpatchare, puรฒ essere abilitato/disabilitato su richiesta.
Strumento di download in batch per la raccolta dati di Xiaohongshu, immagini di siti Web e risorse video, strumento di raccolta dati dall'aspetto eccezionale (download in batch, estrazione video, immagini) Telegram:https://t.me/+ZtLSwuIKTo44MDY1
Condivisione del codice di web scraping di Fratello K, reverse engineering JS, web scraping avanzato. Segui l'account pubblico WeChat: Fratello K Web-Scraping
๐ค Esegui lo scraping dei dati dai siti web HTML automaticamente fornendo solo esempi
Crawler/scraper web leggero Ruby con un DSL elegante che estrae dati strutturati dalle pagine.
Il Prime Cross Site Request Forgery (CSRF) Toolkit per Audit e Sfruttamento.
Alternativa veloce e leggera a Firecrawl/Tavily scritta in Rust. API di web scraping, crawler e ricerca con server MCP per agenti IA. API compatibile con Firecrawl (/scrape, /crawl, /search). 2,3 volte piรน veloce di Tavily, 1,5 volte piรน veloce di Firecrawl in benchmark su 1K URL. 6 MB di RAM, binario singolo. Self-hosting o cloud gestito.
Beanbun รจ un framework di web crawling multiprocesso scritto in PHP, con buona apertura e alta scalabilitร , basato su Workerman.