#web-crawler Repository
Scopri 39 repository GitHub open source attivi contrassegnati con #web-crawler, che raccolgono un totale di 470,326 stelle (con una media di 12,059 stelle per progetto). Il progetto leader di questo argomento è firecrawl/firecrawl, con 205,758 stelle.
39 repository in totale
Infrastruttura di conoscenza per rendere più intelligenti i tuoi agenti. Cerca, estrai e accedi a oltre 550 fornitori di dati tramite un’unica API.
Crawl4AI Cloud ufficiale: un’API ospitata per scraping web, estrazione e ricerca destinata agli agenti IA. Chiave API gratuita, 1.000 crediti al mese, senza carta di credito. Completamente open source: questo repository contiene il crawler Apache-2.0 che lo alimenta e può essere ospitato autonomamente.
Crawlee—Una libreria per web scraping e automazione del browser per Node.js per creare crawler affidabili. In JavaScript e TypeScript. Estrazione dati per AI, LLMs, RAG o GPTs. Download di HTML, PDF, JPG, PNG e altri file da siti web. Funziona con Puppeteer, Playwright, Cheerio, JSDOM e HTTP raw. Sia in modalità headful che headless. Con rotazione proxy.
Il miglior browser headless per gli agenti IA. Leggero, veloce e altamente compatibile. Sviluppato in Rust
Piattaforma di amministrazione distribuita per crawler web per la gestione di spider indipendentemente da linguaggi e framework. 分布式爬虫管理平台,支持任何语言和框架
Crawlee: una libreria Python per il web scraping e l’automazione del browser, pensata per creare crawler affidabili. Estrai dati strutturati con gli LLM tramite Pydantic AI oppure controlla il browser in linguaggio naturale con Stagehand. Compatibile con BeautifulSoup, Parsel, Playwright e HTTP grezzo. Scarica HTML, PDF, immagini e altri file. Rotazione dei proxy inclusa.
Acquisisci, analizza e ottimizza qualsiasi formato di dati ➡️ dai documenti al multimedia ➡️ per una migliore compatibilità con i framework GenAI
Server MCP ufficiale di Firecrawl, l’API di contesto per gli agenti IA: cerca, estrai contenuti e interagisci con il web, oltre a eseguire parsing, crawling e mappatura e a usare Agent e Monitor da qualsiasi client MCP.
Il web di riferimento per il tuo agente di codifica AI — ricerca locale, recupero, crawling e ricerca tramite MCP. Nessuna chiave API, nessun cloud, $0/query. Beta pubblica.
API di web scraping open source. Trasforma qualsiasi sito web in Markdown pulito o JSON strutturato. Browser anti-rilevamento, selezione automatica dei proxy, self-hosted. Un solo comando: make up
Scansiona un sito web partendo da un URL, trova le pagine pertinenti ed estrai i dati – tutto guidato dal tuo prompt in linguaggio naturale.
Estrazione rapida di contenuti web local-first per LLM. Scraping, crawling, estrazione dati strutturati — tutto da Rust. CLI, REST API e server MCP.
Framework per web crawler C# multipiattaforma costruito per velocità e flessibilità. Per favore, metti una stella a questo progetto! +1.
Motore di ricerca Internet per siti web orientati al testo. Indicizzazione del web piccolo, vecchio e bizzarro.
Strumento CLI per salvare una copia fedele di una pagina web completa in un singolo file HTML (basato su SingleFile)
20 nov 2017 -- Un motore di ricerca distribuito open source e spider/crawler scritto in C/C++ per Linux su Intel/AMD. Da gigablast dot com, che ha binari da scaricare. Vedi il file README.md in fondo a questa pagina per le istruzioni.
Stai sulle spalle dei giganti — Crea competenze AI basate su metodologie provate da esperti di settore.
Verifica link non validi che esegue la scansione dei siti Web e convalida i collegamenti. Trova link non funzionanti, link morti e URL non validi in siti Web, documentazione e file locali. Perfetto per audit SEO e CI/CD.
Alternativa veloce e leggera a Firecrawl/Tavily scritta in Rust. API di web scraping, crawler e ricerca con server MCP per agenti IA. API compatibile con Firecrawl (/scrape, /crawl, /search). 2,3 volte più veloce di Tavily, 1,5 volte più veloce di Firecrawl in benchmark su 1K URL. 6 MB di RAM, binario singolo. Self-hosting o cloud gestito.
Esegui un crawler di archiviazione web basato su browser ad alta fedeltà in un singolo container Docker
Crawler SEO per desktop gratuito - alternativa open source a Screaming Frog e strumenti simili. Crawla siti web, analizza link, estrai dati SEO ed esporta risultati senza costi di abbonamento. Completamente personalizzabile ed estensibile!
Script Python scalabili per il web scraping di oltre 80 domini popolari
🔥 Questo repository contiene esempi completi di applicazioni, inclusi siti Web e altri progetti, sviluppati utilizzando Firecrawl.
Una libreria Ruby versatile per il web spidering che può spiderare un sito, più domini, determinati link o infinitamente. Spidr è progettato per essere veloce e facile da usare.
🔍 Motore di ricerca Internet open-source sviluppato in Go, con il tutorial "Costruisci il tuo motore di ricerca Internet"
Un'estensione del browser progettata per scenari di raccolta informazioni dalle pagine nella scoperta di vulnerabilità SRC, che raccoglie automaticamente informazioni sensibili e indizi sospetti da pagine e risorse correlate, supportando la scansione di base, la scansione ricorsiva profonda, il testing API di massa, l'esportazione dei risultati e la configurazione di espressioni regolari personalizzate.
Script Python che consente a persone senza conoscenze di programmazione di generare lead di qualità su larga scala. Questo repository comprenderà diverse tecniche versatili utilizzate nella generazione di lead.
Repository ufficiale per "Craw4LLM: Web Crawling efficiente per il pre-addestramento LLM"
Infrastruttura web open source per l'IA. Esegui lo scraping, il crawling e l'automazione del web, pulisci markdown, sessioni del browser, pronta per i tuoi agenti.
L'unico toolkit open-source che può scaricare i report finanziari SEC EDGAR ed estrarre dati testuali da sezioni di elementi specifici in file JSON strutturati, belli e puliti. Presentato a WWW 2025 @ Sydney, Australia (https://dl.acm.org/doi/10.1145/3701716.3715289)
Domande frequenti
Qual è il repository #web-crawler più popolare su GitHub?
Il progetto open source #web-crawler più alto in classifica su GitHub è firecrawl/firecrawl, con 205,758 stelle. Infrastruttura di conoscenza per rendere più intelligenti i tuoi agenti. Cerca, estrai e accedi a oltre 550 fornitori di dati tramite un’unica API.
Quali linguaggi di programmazione sono più utilizzati nei repository #web-crawler?
Tra i progetti #web-crawler più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, Rust, Go.
Come viene calcolata la classifica dei repository #web-crawler?
Monitoriamo 39 repository open source attivi contrassegnati con #web-crawler (500+ stelle), per un totale di 470,326 stelle e una media di 12,059 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.