#web-crawling Repository
Scopri 38 repository GitHub open source attivi contrassegnati con #web-crawling, che raccolgono un totale di 211,837 stelle (con una media di 5,574 stelle per progetto). Il progetto leader di questo argomento è unclecode/crawl4ai, con 87,627 stelle.
38 repository in totale
Crawl4AI Cloud ufficiale: un’API ospitata per scraping web, estrazione e ricerca destinata agli agenti IA. Chiave API gratuita, 1.000 crediti al mese, senza carta di credito. Completamente open source: questo repository contiene il crawler Apache-2.0 che lo alimenta e può essere ospitato autonomamente.
Crawlee—Una libreria per web scraping e automazione del browser per Node.js per creare crawler affidabili. In JavaScript e TypeScript. Estrazione dati per AI, LLMs, RAG o GPTs. Download di HTML, PDF, JPG, PNG e altri file da siti web. Funziona con Puppeteer, Playwright, Cheerio, JSDOM e HTTP raw. Sia in modalità headful che headless. Con rotazione proxy.
Il miglior browser headless per gli agenti IA. Leggero, veloce e altamente compatibile. Sviluppato in Rust
Crawlee: una libreria Python per il web scraping e l’automazione del browser, pensata per creare crawler affidabili. Estrai dati strutturati con gli LLM tramite Pydantic AI oppure controlla il browser in linguaggio naturale con Stagehand. Compatibile con BeautifulSoup, Parsel, Playwright e HTTP grezzo. Scarica HTML, PDF, immagini e altri file. Rotazione dei proxy inclusa.
Server Node che utilizza Headless Chrome per renderizzare una pagina renderizzata da JavaScript come HTML. Da utilizzare in combinazione con il middleware prerender.
Linguaggio di automazione dei dati dichiarativo e runtime Go per flussi di lavoro di estrazione strutturata.
Il repository contiene il parser e il matcher di robots.txt di Google come libreria C++ (conforme a C++11).
WebCollector è un framework open source per web crawler basato su Java. Fornisce alcune semplici interfacce per il crawling del Web, puoi configurare un web crawler multi-threaded in meno di 5 minuti.
Un potente server Model Context Protocol (MCP) che fornisce una soluzione all-in-one per l'accesso al web pubblico.
Server MCP pronto per la produzione con ricerca in tempo reale, estrazione, mappatura e crawling.
Ottieni informazioni sui risultati della ricerca di Weibo, la ricerca può essere una ricerca per parola chiave di Weibo o una ricerca per argomento di Weibo
Web Crawling e Capacità RAG per Agenti AI e Assistenti alla Programmazione AI
Un framework di crawling Java semplice, agile e distribuito che supporta Spring Boot; Un framework di crawling agile e distribuito.
🔥 Motore di ricerca AI open source simile a Perplexity con citazioni in tempo reale, risposte in streaming e dati live basato su Firecrawl
Uno strumento Python usato per scoprire endpoint, parametri potenziali, una lista di parole specifica per un obiettivo e segreti.
dati di Xiaohongshu, raccolta di dati XHS, reverse engineering di Xiaohongshu, reverse engineering XS di Xiaohongshu, scraper di Xiaohongshu, dati di Xiaohongshu
Server API open source per lo scraping di piattaforme come Douyin (a_bogus ultima versione), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo, ecc. Rapida implementazione con Docker in un clic.
📖 Server MCP per recuperare deepwiki.com e ottenere le ultime conoscenze in Cursor e altri editor di codice
Un framework di automazione AI guidato dalla community che si basa sull'incredibile lavoro della comunità open source. Il nostro obiettivo è combinare modelli linguistici con strumenti specializzati per attività come la ricerca sul web, il crawling e l'esecuzione di codice Python, restituendo alla community che ha reso possibile tutto ciò.
☁️ Il convertitore da HTML a markdown più veloce su GitHub. Ottimizzato per LLM e supporta lo streaming.
Motore Chromium stealth che impedisce a scraper e agenti del browser di essere bloccati con una sola modifica a una riga di codice.
Un sistema AI automatizzato (framework Python) progettato per analizzare qualsiasi tipo di contenuto di siti web e generare report strutturati utilizzando l'API Claude 3.5 Sonnet e Firecrawl. Sebbene attualmente configurata per studi di casi AI aziendali, l'architettura può essere adattata a varie esigenze di analisi dei contenuti.
Repository ufficiale per "Craw4LLM: Web Crawling efficiente per il pre-addestramento LLM"
Recupera pagine web utilizzando Headless Chrome, archiviando tutte le risorse recuperate incluse i file JavaScript. Esegui codice JavaScript arbitrario su molte pagine web e visualizza i valori restituiti
🎉🎈 Il ≪ 📧 Servizio di abbonamento via e-mail Dev Event ≫ che ricevi ogni settimana via e-mail
Domande frequenti
Qual è il repository #web-crawling più popolare su GitHub?
Il progetto open source #web-crawling più alto in classifica su GitHub è unclecode/crawl4ai, con 87,627 stelle. Crawl4AI Cloud ufficiale: un’API ospitata per scraping web, estrazione e ricerca destinata agli agenti IA. Chiave API gratuita, 1.000 crediti al mese, senza carta di credito. Completamente open source: questo repository contiene il crawler Apache-2.0 che lo alimenta e può essere ospitato autonomamente.
Quali linguaggi di programmazione sono più utilizzati nei repository #web-crawling?
Tra i progetti #web-crawling più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, JavaScript, Go.
Come viene calcolata la classifica dei repository #web-crawling?
Monitoriamo 38 repository open source attivi contrassegnati con #web-crawling (500+ stelle), per un totale di 211,837 stelle e una media di 5,574 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.