Git Stars Git Stars

#web-crawler Repository

Scopri 39 repository GitHub open source attivi contrassegnati con #web-crawler, che raccolgono un totale di 470,326 stelle (con una media di 12,059 stelle per progetto). Il progetto leader di questo argomento è firecrawl/firecrawl, con 205,758 stelle.

39
Totale Repository
470,326
Totale stelle
12,059
Media Stelle/Repo

39 repository in totale

1
firecrawl/firecrawl

Infrastruttura di conoscenza per rendere più intelligenti i tuoi agenti. Cerca, estrai e accedi a oltre 550 fornitori di dati tramite un’unica API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-04-15
2
unclecode/crawl4ai

Crawl4AI Cloud ufficiale: un’API ospitata per scraping web, estrazione e ricerca destinata agli agenti IA. Chiave API gratuita, 1.000 crediti al mese, senza carta di credito. Completamente open source: questo repository contiene il crawler Apache-2.0 che lo alimenta e può essere ospitato autonomamente.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Aggiornato 2026-11-20 📅 Creato 2024-05-09
3
ScrapeGraphAI/Scrapegraph-ai

Scraper Python basato sull'IA

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Aggiornato 2026-10-06 📅 Creato 2024-01-27
4
apify/crawlee

Crawlee—Una libreria per web scraping e automazione del browser per Node.js per creare crawler affidabili. In JavaScript e TypeScript. Estrazione dati per AI, LLMs, RAG o GPTs. Download di HTML, PDF, JPG, PNG e altri file da siti web. Funziona con Puppeteer, Playwright, Cheerio, JSDOM e HTTP raw. Sia in modalità headful che headless. Con rotazione proxy.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2016-08-26
5
lexmount/moli

Il miglior browser headless per gli agenti IA. Leggero, veloce e altamente compatibile. Sviluppato in Rust

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-08-10
6
crawlab-team/crawlab

Piattaforma di amministrazione distribuita per crawler web per la gestione di spider indipendentemente da linguaggi e framework. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Aggiornato 2026-02-10 📅 Creato 2019-02-10
7
apify/crawlee-python

Crawlee: una libreria Python per il web scraping e l’automazione del browser, pensata per creare crawler affidabili. Estrai dati strutturati con gli LLM tramite Pydantic AI oppure controlla il browser in linguaggio naturale con Stagehand. Compatibile con BeautifulSoup, Parsel, Playwright e HTTP grezzo. Scarica HTML, PDF, immagini e altri file. Rotazione dei proxy inclusa.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-01-10
8
adithya-s-k/omniparse

Acquisisci, analizza e ottimizza qualsiasi formato di dati ➡️ dai documenti al multimedia ➡️ per una migliore compatibilità con i framework GenAI

adithya-s-k
⭐ 7,935 Python 👤 adithya-s-k User 🕐 Aggiornato 2025-12-12 📅 Creato 2024-06-04
9
firecrawl/firecrawl-mcp-server

Server MCP ufficiale di Firecrawl, l’API di contesto per gli agenti IA: cerca, estrai contenuti e interagisci con il web, oltre a eseguire parsing, crawling e mappatura e a usare Agent e Monitor da qualsiasi client MCP.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-12-06
10
BruceDone/awesome-crawler

Una collezione di eccellenti web crawler e spider in diverse lingue

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Aggiornato 2024-06-16 📅 Creato 2016-10-10
11
KnockOutEZ/wigolo

Il web di riferimento per il tuo agente di codifica AI — ricerca locale, recupero, crawling e ricerca tramite MCP. Nessuna chiave API, nessun cloud, $0/query. Beta pubblica.

KnockOutEZ
⭐ 5,560 TypeScript 👤 KnockOutEZ User 🕐 Aggiornato 2026-11-21 📅 Creato 2026-04-12
12
divinelabio/Argus

Il toolkit definitivo per la raccolta di informazioni

divinelabio
⭐ 4,348 Python 👤 divinelabio User 🕐 Aggiornato 2025-12-10 📅 Creato 2024-10-01
13
Anakin-Inc/anakin

API di web scraping open source. Trasforma qualsiasi sito web in Markdown pulito o JSON strutturato. Browser anti-rilevamento, selezione automatica dei proxy, self-hosted. Un solo comando: make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 Aggiornato 2026-08-18 📅 Creato 2026-03-17
14
apache/nutch

Apache Nutch è un web crawler estensibile e scalabile

apache
⭐ 3,311 Java 👤 apache Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2009-05-21
15
oxylabs/ai-crawler-py

Scansiona un sito web partendo da un URL, trova le pagine pertinenti ed estrai i dati – tutto guidato dal tuo prompt in linguaggio naturale.

oxylabs
⭐ 3,264 👤 oxylabs Organization 🕐 Aggiornato 2026-08-21 📅 Creato 2025-09-17
16
spider-rs/spider

Raccolta di dati web a bassa latenza di base in Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2018-01-07
17
0xMassi/webclaw

Estrazione rapida di contenuti web local-first per LLM. Scraping, crawling, estrazione dati strutturati — tutto da Rust. CLI, REST API e server MCP.

0xMassi
⭐ 2,440 Rust 👤 0xMassi User 🕐 Aggiornato 2026-11-21 📅 Creato 2026-03-10
18
sjdirect/abot

Framework per web crawler C# multipiattaforma costruito per velocità e flessibilità. Per favore, metti una stella a questo progetto! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 Aggiornato 2026-07-17 📅 Creato 2013-08-08
19
MarginaliaSearch/MarginaliaSearch

Motore di ricerca Internet per siti web orientati al testo. Indicizzazione del web piccolo, vecchio e bizzarro.

MarginaliaSearch
⭐ 2,241 Java 👤 MarginaliaSearch Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2023-03-20
20
gildas-lormeau/single-file-cli

Strumento CLI per salvare una copia fedele di una pagina web completa in un singolo file HTML (basato su SingleFile)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 Aggiornato 2026-11-18 📅 Creato 2022-05-31
21
gigablast/open-source-search-engine

20 nov 2017 -- Un motore di ricerca distribuito open source e spider/crawler scritto in C/C++ per Linux su Intel/AMD. Da gigablast dot com, che ha binari da scaricare. Vedi il file README.md in fondo a questa pagina per le istruzioni.

gigablast
⭐ 1,599 C++ 👤 gigablast User 🕐 Aggiornato 2024-01-10 📅 Creato 2013-08-02
22
GBSOSS/skill-from-masters

Stai sulle spalle dei giganti — Crea competenze AI basate su metodologie provate da esperti di settore.

GBSOSS
⭐ 1,592 👤 GBSOSS Organization 🕐 Aggiornato 2026-02-16 📅 Creato 2026-01-08
23
JustinBeckwith/linkinator

Verifica link non validi che esegue la scansione dei siti Web e convalida i collegamenti. Trova link non funzionanti, link morti e URL non validi in siti Web, documentazione e file locali. Perfetto per audit SEO e CI/CD.

JustinBeckwith
⭐ 1,290 TypeScript 👤 JustinBeckwith User 🕐 Aggiornato 2026-11-20 📅 Creato 2019-02-12
24
fastcrw/crw

Alternativa veloce e leggera a Firecrawl/Tavily scritta in Rust. API di web scraping, crawler e ricerca con server MCP per agenti IA. API compatibile con Firecrawl (/scrape, /crawl, /search). 2,3 volte più veloce di Tavily, 1,5 volte più veloce di Firecrawl in benchmark su 1K URL. 6 MB di RAM, binario singolo. Self-hosting o cloud gestito.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-03-02
25
webrecorder/browsertrix-crawler

Esegui un crawler di archiviazione web basato su browser ad alta fedeltà in un singolo container Docker

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2020-11-02
26
PhialsBasement/LibreCrawl

Crawler SEO per desktop gratuito - alternativa open source a Screaming Frog e strumenti simili. Crawla siti web, analizza link, estrai dati SEO ed esporta risultati senza costi di abbonamento. Completamente personalizzabile ed estensibile!

PhialsBasement
⭐ 1,133 Python 👤 PhialsBasement User 🕐 Aggiornato 2026-11-10 📅 Creato 2025-09-27
27
scrapfly/scrapfly-scrapers

Script Python scalabili per il web scraping di oltre 80 domini popolari

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-05-22
28
apache/stormcrawler

Un web crawler scalabile, maturo e versatile basato su Apache Storm

apache
⭐ 1,014 Java 👤 apache Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2013-04-12
29
RimoChan/sese-engine

【sese-engine】Il motore di ricerca di una nuova era!

RimoChan
⭐ 952 Python 👤 RimoChan User 🕐 Aggiornato 2025-05-10 📅 Creato 2022-01-09
30
firecrawl/firecrawl-app-examples

🔥 Questo repository contiene esempi completi di applicazioni, inclusi siti Web e altri progetti, sviluppati utilizzando Firecrawl.

firecrawl
⭐ 847 Jupyter Notebook 👤 firecrawl Organization 🕐 Aggiornato 2026-01-13 📅 Creato 2024-06-22
31
postmodern/spidr

Una libreria Ruby versatile per il web spidering che può spiderare un sito, più domini, determinati link o infinitamente. Spidr è progettato per essere veloce e facile da usare.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Aggiornato 2026-01-12 📅 Creato 2009-03-08
32
johnlui/DIYSearchEngine

🔍 Motore di ricerca Internet open-source sviluppato in Go, con il tutorial "Costruisci il tuo motore di ricerca Internet"

johnlui
⭐ 706 Go 👤 johnlui User 🕐 Aggiornato 2026-08-27 📅 Creato 2023-07-01
33
Team-intN18-SoybeanSeclab/Phantom

Un'estensione del browser progettata per scenari di raccolta informazioni dalle pagine nella scoperta di vulnerabilità SRC, che raccoglie automaticamente informazioni sensibili e indizi sospetti da pagine e risorse correlate, supportando la scansione di base, la scansione ricorsiva profonda, il testing API di massa, l'esportazione dei risultati e la configurazione di espressioni regolari personalizzate.

Team-intN18-SoybeanSeclab
⭐ 696 JavaScript 👤 Team-intN18-SoybeanSeclab Organization 🕐 Aggiornato 2026-09-16 📅 Creato 2025-08-21
34
Madi-S/Lead-Generation

Script Python che consente a persone senza conoscenze di programmazione di generare lead di qualità su larga scala. Questo repository comprenderà diverse tecniche versatili utilizzate nella generazione di lead.

Madi-S
⭐ 693 Python 👤 Madi-S User 🕐 Aggiornato 2026-09-23 📅 Creato 2020-12-14
35
cxcscmu/Craw4LLM

Repository ufficiale per "Craw4LLM: Web Crawling efficiente per il pre-addestramento LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Aggiornato 2025-02-24 📅 Creato 2025-02-17
36
vakra-dev/reader

Infrastruttura web open source per l'IA. Esegui lo scraping, il crawling e l'automazione del web, pulisci markdown, sessioni del browser, pronta per i tuoi agenti.

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 Aggiornato 2026-10-06 📅 Creato 2026-01-07
37
jpjacobpadilla/Stealth-Requests

Web-scraping non rilevabile e parsing HTML fluido in Python!

jpjacobpadilla
⭐ 570 Python 👤 jpjacobpadilla User 🕐 Aggiornato 2026-09-19 📅 Creato 2024-08-04
38
lefterisloukas/edgar-crawler

L'unico toolkit open-source che può scaricare i report finanziari SEC EDGAR ed estrarre dati testuali da sezioni di elementi specifici in file JSON strutturati, belli e puliti. Presentato a WWW 2025 @ Sydney, Australia (https://dl.acm.org/doi/10.1145/3701716.3715289)

lefterisloukas
⭐ 535 Python 👤 lefterisloukas User 🕐 Aggiornato 2025-07-18 📅 Creato 2021-09-24
39
erevus-cn/pocscan

Volontà di essere un framework di scansione niubility

erevus-cn
⭐ 520 Python 👤 erevus-cn User 🕐 Aggiornato 2025-07-01 📅 Creato 2016-02-02

Domande frequenti

1

Qual è il repository #web-crawler più popolare su GitHub?

Il progetto open source #web-crawler più alto in classifica su GitHub è firecrawl/firecrawl, con 205,758 stelle. Infrastruttura di conoscenza per rendere più intelligenti i tuoi agenti. Cerca, estrai e accedi a oltre 550 fornitori di dati tramite un’unica API.

2

Quali linguaggi di programmazione sono più utilizzati nei repository #web-crawler?

Tra i progetti #web-crawler più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, Rust, Go.

3

Come viene calcolata la classifica dei repository #web-crawler?

Monitoriamo 39 repository open source attivi contrassegnati con #web-crawler (500+ stelle), per un totale di 470,326 stelle e una media di 12,059 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.