#web-scraping Repository
382 repository in totale
Solo un fork della libreria Simple HTML DOM. (http://simplehtmldom.sourceforge.net/)
Infrastruttura web open source per l'IA. Esegui lo scraping, il crawling e l'automazione del web, pulisci markdown, sessioni del browser, pronta per i tuoi agenti.
Trasforma un intero repository GitHub in un singolo file .txt organizzato da utilizzare con LLM (ChatGPT, Claude, Gemini, ecc.)
๐ฅ Crea istantaneamente chatbot AI per qualsiasi sito web con ricerca basata su RAG, risposte in streaming e endpoint API compatibili con OpenAI
knowledge-grab รจ un'applicazione desktop costruita su Tauri e Vue 3, progettata per facilitare agli utenti il download di varie risorse educative dalla Piattaforma Nazionale di Educazione Intelligente per Scuole Primarie e Secondarie (basic.smartedu.cn).
Il framework/SDK che ti permette di creare agenti di controllo del browser in 3 righe di codice. Unisciti alla chat su https://discord.gg/umgnyQU2K8
Lista Proxy Gratuite โ ๐ HTTP, HTTPS, SOCKS4 e SOCKS5 | Aggiornata ogni 5 minuti | SSL rigoroso, zero MITM, multi-paese
Una competenza per agenti IA: cerca nel Web con SearXNG, naviga con Camofox, aggira le protezioni con CloakBrowser. Anti-allucinazione fin dalla progettazione. Self-hosted, gratuito e illimitato.
Facepager รจ stato creato per recuperare dati disponibili pubblicamente da YouTube, Twitter e altri siti web sulla base di API e web scraping.
Servizio self-hosted per convertire URL e file in Markdown, pensato per le persone e gli agenti IA: pagine web, documenti, immagini, audio e YouTube. PWA + REST + MCP + skill per Claude Code, compatibile con Reddit e con link condivisi aggiornabili.
Script di reindirizzamento del motore di ricerca, che consente di passare comodamente tra piรน motori
un plugin della barra laterale del browser gratuito e open source che offre un'alternativa a costo zero a prodotti come Sider, Monica e Merlin.
Il reverse engineering delle firme web di TikTok genera firme TikTok valide per le richieste API.
Agent Skills per il test dellโimpronta digitale del browser: esegui liarjs da Claude Code, Codex, Cursor o Copilot per valutare un browser rispetto a sรฉ stesso: 40 controlli di coerenza su Canvas, WebGL, WebGPU, audio, font e WebRTC, verificati incrociandoli con il livello TLS/HTTP. QA degli harness Playwright e Puppeteer, blocchi delle regressioni in CI e triage del rilevamento dei browser headless.
Guide rapide di Python per sfruttare al meglio la prova gratuita dell'API Web Scraper di Oxylabs.
Un framework per la creazione di estrattori di contenuti web semi-automatici
API all-in-one per il web scraping e lโestrazione di dati su larga scala in tempo reale: proxy, gestione dei CAPTCHA, rendering JavaScript e parsing in unโunica richiesta, con risultati in HTML o JSON strutturato.
๐ฏ Software di analisi della visualizzazione dei dati dei commenti di Bilibili: i creatori possono usarlo per guidare la selezione dei temi e comprendere la propria base di fan.