#web-scraping Repository
382 repository in totale
AI Map รจ uno strumento di mappatura di siti web basato sull'intelligenza artificiale, sviluppato da Oxylabs AI Studio, che utilizza prompt in linguaggio naturale per scoprire ed estrarre in modo intelligente URL pertinenti da qualsiasi sito web.
โค๏ธ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] (trova immobili veri con estrema facilitร ) - Fredy continua a cercare nuovi appartamenti, case e alloggi in Europa su piattaforme come ImmoScout24, Immowelt ed eBay Kleinanzeigen e ti invia immediatamente i risultati tramite Slack, Telegram, e-mail, Discord o ntfy, cosรฌ puoi concentrarti sulle cose piรน importanti della vita ;)
๐ฑ๏ธ Genera movimenti del mouse simili a quelli umani con puppeteer o su qualsiasi piano 2D
Ricerca web self-hosted per agenti IA e SEO. Google, Bing, Yandex, Baidu, DuckDuckGo ed Ecosia, elaborati in un vero browser: risultati classificati e Markdown pulito delle pagine. API, CLI, MCP ๐
Versione Python non rilevata della libreria di test e automazione Playwright.
Un'estensione semplice per Chrome (e Firefox) che converte i romanzi web (e altre pagine web) in un EPUB.
AgentQL รจ una suite di strumenti per connettere la tua AI al web. Dotato di un linguaggio di query e integrazioni Playwright per interagire con gli elementi ed estrarre dati in modo rapido, preciso e su larga scala. Include API REST, SDK Python e JavaScript, debugger per browser.
Cerca case in affitto sulla mappa: stanco di girare per tutta la cittร alla ricerca di un affitto? Prova un metodo diverso e cerca direttamente sulla mappa! [Account ufficiale e mini-programma WeChat: ไบบ็ๅ ้คๆๅ]
Raccolta di patch per puppeteer e playwright per evitare il rilevamento dell'automazione e le perdite. Aiuta a evitare le pagine CAPTCHA di Cloudflare e DataDome. Facile da patchare/unpatchare, puรฒ essere abilitato/disabilitato su richiesta.
Raccogli risposte strutturate da uno scraper ChatGPT inviando un prompt con credenziali API di scraping ChatGPT valide. Abilita la ricerca live, inietta il contesto HTML e automatizza flussi di lavoro intelligenti di scraper ChatGPT con pochi parametri.
WebAI2API: Strumento di conversione AI web in API basato su Camoufox, supporta LMArena/Gemini e altro, concorrenza multi-finestra e isolamento account. | Web AI to OpenAI API via Camoufox. Supports LMArena/Gemini and more, multi-window concurrency & account isolation.
Utilizza l'API Web Scraper per estrarre dati da Google Finance, inclusi i titoli azionari, i prezzi e le variazioni di prezzo in percentuale.
Puppeteer per Python che i sistemi anti-bot non riescono a rilevare, cosรฌ non ci sono CAPTCHA: stessa API, Firefox headless stealth anti-rilevamento, impronta digitale non rilevabile, aggiramento del rilevamento dei bot, scraping web e automazione del browser.
๐ Server MCP per recuperare deepwiki.com e ottenere le ultime conoscenze in Cursor e altri editor di codice
Cliente HTTP Go con fingerprinting TLS/HTTP2 identico al browser. Evita la rilevazione di bot imitandosi perfettamente Chrome, Firefox e Safari a livello crittografico (JA3/JA4, impronta Akamai, ordine delle intestazioni). Supporta HTTP/1.1, HTTP/2, HTTP/3, sessioni, cookie e proxy.
Script Python3 per scaricare libri da archive.org in formato PDF
Nuovo plugin di origine metadati Douban per Calibre. Douban non fornisce piรน API di libri al pubblico, quindi puรฒ solo utilizzare il web crawling per ottenere dati. Questo รจ un plugin Calibre Douban basato sul web crawling.
๐ฅ Piattaforma di monitoraggio web alimentata dall'IA. Crea esploratori automatizzati che cercano sul web e inviano avvisi via email quando trovano ciรฒ che stai cercando.
WebLoop: WebKit mit Skripting und Headless-Betrieb รผber eine Go-API. Wie PhantomJS, aber fรผr Go.
Flyscrape รจ uno strumento di web scraping a riga di comando progettato per coloro che non hanno competenze di programmazione avanzate.
Crawler Dianping (interamente navigabile sul sito, risolve la crittografia dei font dinamici, non OCR). Aggiornamento continuo
Strumento di arricchimento dati basato sull'IA che trasforma le e-mail in set di dati ricchi con profili aziendali, dati di finanziamento, stack tecnologici e altro ancora utilizzando Firecrawl e IA multi-agente
Kspider รจ una piattaforma di scraping che consente di definire flussi di scraping graficamente, consentendo l'implementazione di un flusso di scraping senza codice. Kspider non si limita allo scraping web, ma puรฒ anche essere utilizzato per test di automazione WEB. Altre funzionalitร ti aspettano per essere esplorate.
Alternativa veloce e leggera a Firecrawl/Tavily scritta in Rust. API di web scraping, crawler e ricerca con server MCP per agenti IA. API compatibile con Firecrawl (/scrape, /crawl, /search). 2,3 volte piรน veloce di Tavily, 1,5 volte piรน veloce di Firecrawl in benchmark su 1K URL. 6 MB di RAM, binario singolo. Self-hosting o cloud gestito.
Un tracker di prezzi automatizzato che utilizza Bright Data, Playwright, React e Flask.
Motore per lโimpronta digitale di Chromium a livello di codice sorgente, valutato come un normale Chrome dai siti di rilevamento. Motore per lโimpronta digitale di Chromium a livello di codice sorgente che supera i test di rilevamento dei bot. Non si tratta di unโiniezione JS: sono patch C++ compilate nel binario.
Il lavoratore instancabile per il recupero batch di link magnet AV o copertine
Proxy residenziali rotanti HTTP(S)/SOCKS5 - esempi di codice e informazioni generali.
Un'estensione web per ritagliare informazioni dalle pagine web. Salvala sulla tua macchina locale per evitare l'invalidazione delle informazioni. Nessuna registrazione noiosa, nessuna tariffa.
Accesso automatico al sito web netlib.re per mantenere attivo il dominio