Git Stars Git Stars

#web-crawling Repository

Scopri 38 repository GitHub open source attivi contrassegnati con #web-crawling, che raccolgono un totale di 211,837 stelle (con una media di 5,574 stelle per progetto). Il progetto leader di questo argomento è unclecode/crawl4ai, con 87,627 stelle.

38
Totale Repository
211,837
Totale stelle
5,574
Media Stelle/Repo

38 repository in totale

1
unclecode/crawl4ai

Crawl4AI Cloud ufficiale: un’API ospitata per scraping web, estrazione e ricerca destinata agli agenti IA. Chiave API gratuita, 1.000 crediti al mese, senza carta di credito. Completamente open source: questo repository contiene il crawler Apache-2.0 che lo alimenta e può essere ospitato autonomamente.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Aggiornato 2026-11-20 📅 Creato 2024-05-09
2
apify/crawlee

Crawlee—Una libreria per web scraping e automazione del browser per Node.js per creare crawler affidabili. In JavaScript e TypeScript. Estrazione dati per AI, LLMs, RAG o GPTs. Download di HTML, PDF, JPG, PNG e altri file da siti web. Funziona con Puppeteer, Playwright, Cheerio, JSDOM e HTTP raw. Sia in modalità headful che headless. Con rotazione proxy.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2016-08-26
3
lexmount/moli

Il miglior browser headless per gli agenti IA. Leggero, veloce e altamente compatibile. Sviluppato in Rust

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-08-10
4
apify/crawlee-python

Crawlee: una libreria Python per il web scraping e l’automazione del browser, pensata per creare crawler affidabili. Estrai dati strutturati con gli LLM tramite Pydantic AI oppure controlla il browser in linguaggio naturale con Stagehand. Compatibile con BeautifulSoup, Parsel, Playwright e HTTP grezzo. Scarica HTML, PDF, immagini e altri file. Rotazione dei proxy inclusa.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-01-10
5
prerender/prerender

Server Node che utilizza Headless Chrome per renderizzare una pagina renderizzata da JavaScript come HTML. Da utilizzare in combinazione con il middleware prerender.

prerender
⭐ 6,577 JavaScript 👤 prerender Organization 🕐 Aggiornato 2026-05-05 📅 Creato 2013-09-26
6
MontFerret/ferret

Linguaggio di automazione dei dati dichiarativo e runtime Go per flussi di lavoro di estrazione strutturata.

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2018-08-23
7
omkarcloud/botasaurus

Il framework tutto in uno per costruire scraper invincibili

omkarcloud
⭐ 5,857 TypeScript 👤 omkarcloud Organization 🕐 Aggiornato 2026-11-13 📅 Creato 2023-05-09
8
google/robotstxt

Il repository contiene il parser e il matcher di robots.txt di Google come libreria C++ (conforme a C++11).

google
⭐ 3,478 C++ 👤 google Organization 🕐 Aggiornato 2026-04-01 📅 Creato 2019-06-11
9
CrawlScript/WebCollector

WebCollector è un framework open source per web crawler basato su Java. Fornisce alcune semplici interfacce per il crawling del Web, puoi configurare un web crawler multi-threaded in meno di 5 minuti.

CrawlScript
⭐ 3,073 Java 👤 CrawlScript Organization 🕐 Aggiornato 2026-02-10 📅 Creato 2014-07-12
10
digininja/CeWL

CeWL è un Generatore di Elenchi di Parole Personalizzati

digininja
⭐ 2,896 Ruby 👤 digininja User 🕐 Aggiornato 2026-06-24 📅 Creato 2016-04-22
11
brightdata/brightdata-mcp

Un potente server Model Context Protocol (MCP) che fornisce una soluzione all-in-one per l'accesso al web pubblico.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2025-04-15
12
tavily-ai/tavily-mcp

Server MCP pronto per la produzione con ricerca in tempo reale, estrazione, mappatura e crawling.

tavily-ai
⭐ 2,499 TypeScript 👤 tavily-ai Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2025-01-27
13
dataabc/weibo-search

Ottieni informazioni sui risultati della ricerca di Weibo, la ricerca può essere una ricerca per parola chiave di Weibo o una ricerca per argomento di Weibo

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 Aggiornato 2026-06-05 📅 Creato 2020-03-25
14
coleam00/mcp-crawl4ai-rag

Web Crawling e Capacità RAG per Agenti AI e Assistenti alla Programmazione AI

coleam00
⭐ 2,224 Python 👤 coleam00 User 🕐 Aggiornato 2025-07-25 📅 Creato 2025-05-03
15
zhegexiaohuozi/SeimiCrawler

Un framework di crawling Java semplice, agile e distribuito che supporta Spring Boot; Un framework di crawling agile e distribuito.

zhegexiaohuozi
⭐ 1,984 Java 👤 zhegexiaohuozi User 🕐 Aggiornato 2026-11-17 📅 Creato 2015-11-06
16
firecrawl/fireplexity

🔥 Motore di ricerca AI open source simile a Perplexity con citazioni in tempo reale, risposte in streaming e dati live basato su Firecrawl

firecrawl
⭐ 1,956 TypeScript 👤 firecrawl Organization 🕐 Aggiornato 2025-08-22 📅 Creato 2025-06-19
17
DanMcInerney/xsscrapy

XSS spider - 66/66 wavsep XSS rilevato

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 Aggiornato 2024-06-13 📅 Creato 2014-06-23
18
xnl-h4ck3r/xnLinkFinder

Uno strumento Python usato per scoprire endpoint, parametri potenziali, una lista di parole specifica per un obiettivo e segreti.

xnl-h4ck3r
⭐ 1,599 Python 👤 xnl-h4ck3r User 🕐 Aggiornato 2026-03-08 📅 Creato 2022-04-14
19
submato/xhscrawl

dati di Xiaohongshu, raccolta di dati XHS, reverse engineering di Xiaohongshu, reverse engineering XS di Xiaohongshu, scraper di Xiaohongshu, dati di Xiaohongshu

submato
⭐ 1,533 👤 submato User 🕐 Aggiornato 2026-11-02 📅 Creato 2023-07-05
20
ShilongLee/Crawler

Server API open source per lo scraping di piattaforme come Douyin (a_bogus ultima versione), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo, ecc. Rapida implementazione con Docker in un clic.

ShilongLee
⭐ 1,490 JavaScript 👤 ShilongLee User 🕐 Aggiornato 2026-10-19 📅 Creato 2024-05-24
21
wummel/linkchecker

controllare i link in documenti web o siti web completi

wummel
⭐ 1,433 Python 👤 wummel User 🕐 Aggiornato 2024-11-07 📅 Creato 2012-12-19
22
regenrek/deepwiki-mcp

📖 Server MCP per recuperare deepwiki.com e ottenere le ultime conoscenze in Cursor e altri editor di codice

regenrek
⭐ 1,393 TypeScript 👤 regenrek User 🕐 Aggiornato 2026-03-20 📅 Creato 2025-04-28
23
mvdbos/php-spider

Un spider web PHP configurabile ed estensibile

mvdbos
⭐ 1,338 PHP 👤 mvdbos User 🕐 Aggiornato 2026-11-02 📅 Creato 2013-02-25
24
scrapinghub/frontera

Un confine scalabile per i crawler web

scrapinghub
⭐ 1,329 Python 👤 scrapinghub Organization 🕐 Aggiornato 2025-06-06 📅 Creato 2014-11-22
25
Darwin-lfl/langmanus

Un framework di automazione AI guidato dalla community che si basa sull'incredibile lavoro della comunità open source. Il nostro obiettivo è combinare modelli linguistici con strumenti specializzati per attività come la ricerca sul web, il crawling e l'esecuzione di codice Python, restituendo alla community che ha reso possibile tutto ciò.

Darwin-lfl
⭐ 1,317 👤 Darwin-lfl User 🕐 Aggiornato 2025-03-17 📅 Creato 2025-03-18
26
harlan-zw/mdream

☁️ Il convertitore da HTML a markdown più veloce su GitHub. Ottimizzato per LLM e supporta lo streaming.

harlan-zw
⭐ 1,032 TypeScript 👤 harlan-zw User 🕐 Aggiornato 2026-11-21 📅 Creato 2025-04-16
27
changfengoss/pub

Strumenti per la navigazione scientifica in Internet

changfengoss
⭐ 1,007 👤 changfengoss User 🕐 Aggiornato 2026-10-22 📅 Creato 2021-08-30
28
tiliondev/fortress

Motore Chromium stealth che impedisce a scraper e agenti del browser di essere bloccati con una sola modifica a una riga di codice.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 Aggiornato 2026-11-03 📅 Creato 2026-07-02
29
hyperbrowserai/mcp

Un'implementazione del server MCP per hyperbrowser

hyperbrowserai
⭐ 795 TypeScript 👤 hyperbrowserai Organization 🕐 Aggiornato 2025-11-20 📅 Creato 2025-02-25
30
rubycdp/vessel

Framework Ruby veloce per il web crawling di alto livello

rubycdp
⭐ 725 Ruby 👤 rubycdp Organization 🕐 Aggiornato 2026-11-03 📅 Creato 2019-09-17
31
spatie/laravel-export

Crea un bundle di sito statico da un'app Laravel

spatie
⭐ 701 PHP 👤 spatie Organization 🕐 Aggiornato 2026-11-06 📅 Creato 2019-03-18
32
muratcankoylan/AI-Investigator

Un sistema AI automatizzato (framework Python) progettato per analizzare qualsiasi tipo di contenuto di siti web e generare report strutturati utilizzando l'API Claude 3.5 Sonnet e Firecrawl. Sebbene attualmente configurata per studi di casi AI aziendali, l'architettura può essere adattata a varie esigenze di analisi dei contenuti.

muratcankoylan
⭐ 679 Python 👤 muratcankoylan User 🕐 Aggiornato 2024-11-05 📅 Creato 2024-11-04
33
cxcscmu/Craw4LLM

Repository ufficiale per "Craw4LLM: Web Crawling efficiente per il pre-addestramento LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Aggiornato 2025-02-24 📅 Creato 2025-02-17
34
ArchiveTeam/wpull

Downloader e crawler web compatibile con Wget.

ArchiveTeam
⭐ 595 HTML 👤 ArchiveTeam Organization 🕐 Aggiornato 2024-04-29 📅 Creato 2013-12-07
35
unconv/gpt4v-browsing

Web Scraping con GPT-4 Vision API e Puppeteer

unconv
⭐ 563 JavaScript 👤 unconv User 🕐 Aggiornato 2024-01-31 📅 Creato 2023-11-24
36
detectify/page-fetch

Recupera pagine web utilizzando Headless Chrome, archiviando tutte le risorse recuperate incluse i file JavaScript. Esegui codice JavaScript arbitrario su molte pagine web e visualizza i valori restituiti

detectify
⭐ 530 Go 👤 detectify Organization 🕐 Aggiornato 2026-07-03 📅 Creato 2021-06-03
37
firecrawl/llmstxt-generator

🔥 Genera i file llms.txt e llms-full.txt per qualsiasi sito web!

firecrawl
⭐ 528 TypeScript 👤 firecrawl Organization 🕐 Aggiornato 2025-06-17 📅 Creato 2024-11-19
38
brave-people/Dev-Event-Subscribe

🎉🎈 Il ≪ 📧 Servizio di abbonamento via e-mail Dev Event ≫ che ricevi ogni settimana via e-mail

brave-people
⭐ 512 👤 brave-people Organization 🕐 Aggiornato 2024-06-07 📅 Creato 2021-02-08

Domande frequenti

1

Qual è il repository #web-crawling più popolare su GitHub?

Il progetto open source #web-crawling più alto in classifica su GitHub è unclecode/crawl4ai, con 87,627 stelle. Crawl4AI Cloud ufficiale: un’API ospitata per scraping web, estrazione e ricerca destinata agli agenti IA. Chiave API gratuita, 1.000 crediti al mese, senza carta di credito. Completamente open source: questo repository contiene il crawler Apache-2.0 che lo alimenta e può essere ospitato autonomamente.

2

Quali linguaggi di programmazione sono più utilizzati nei repository #web-crawling?

Tra i progetti #web-crawling più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, JavaScript, Go.

3

Come viene calcolata la classifica dei repository #web-crawling?

Monitoriamo 38 repository open source attivi contrassegnati con #web-crawling (500+ stelle), per un totale di 211,837 stelle e una media di 5,574 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.