Git Stars Git Stars

#web-scraping Repository

Scopri 381 repository GitHub open source attivi contrassegnati con #web-scraping, che raccolgono un totale di 2,147,590 stelle (con una media di 5,636 stelle per progetto). Il progetto leader di questo argomento è firecrawl/firecrawl, con 205,758 stelle.

381
Totale Repository
2.1M
Totale stelle
5,636
Media Stelle/Repo

382 repository in totale

1
firecrawl/firecrawl

Infrastruttura di conoscenza per rendere più intelligenti i tuoi agenti. Cerca, estrai e accedi a oltre 550 fornitori di dati tramite un’unica API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-04-15
2
jackfrued/Python-100-Days

Python - 100 giorni da principiante a maestro

jackfrued
⭐ 187,961 Jupyter Notebook 👤 jackfrued User 🕐 Aggiornato 2026-07-29 📅 Creato 2018-03-01
3
ytdl-org/youtube-dl

Programma da riga di comando per scaricare video da YouTube.com e altri siti video

ytdl-org
⭐ 141,627 Python 👤 ytdl-org Organization 🕐 Aggiornato 2026-11-06 📅 Creato 2010-10-31
4
browser-use/browser-use

Libreria Python open source per agenti IA che navigano sul web, oltre a Browser Use Cloud: browser stealth e un’API per agenti ospitata.

browser-use
⭐ 121,654 Python 👤 browser-use Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-10-31
5
D4Vinci/Scrapling

🕷️ Il MIGLIOR framework per il web scraping, in grado di gestire tutto, da una singola richiesta a una scansione su larga scala! Non essere timido: unisciti qui https://discord.gg/EMgGbDceNQ e seguici qui per consigli e trucchi quotidiani: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Aggiornato 2026-11-17 📅 Creato 2024-10-13
6
unclecode/crawl4ai

Crawl4AI Cloud ufficiale: un’API ospitata per scraping web, estrazione e ricerca destinata agli agenti IA. Chiave API gratuita, 1.000 crediti al mese, senza carta di credito. Completamente open source: questo repository contiene il crawler Apache-2.0 che lo alimenta e può essere ospitato autonomamente.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Aggiornato 2026-11-20 📅 Creato 2024-05-09
7
NanmiCoder/MediaCrawler

Nota Xiaohongshu | Commenti Crawler, Video Douyin | Commenti Crawler, Video Kuaishou | Commenti Crawler, Video Bilibili | Post Weibo | Commenti Crawler, Post Baidu Tieba | Crawler Risposte Commenti Baidu Tieba | Articolo Domande e Risposte Zhihu | Commenti Crawler

NanmiCoder
⭐ 71,528 Python 👤 NanmiCoder User 🕐 Aggiornato 2026-11-21 📅 Creato 2023-06-09
8
scrapy/scrapy

Scrapy, un framework veloce di alto livello per web crawling e scraping in Python.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2010-02-22
9
soimort/you-get

:arrow_double_down: Downloader semplice che raschia il web

soimort
⭐ 56,851 Python 👤 soimort User 🕐 Aggiornato 2026-11-15 📅 Creato 2012-08-20
10
gedoor/legado

Legado 3.0 Book Reader con controlli potenti e funzioni complete ❤️ Lettura 3.0, Lettura è uno strumento che consente fonti personalizzate per leggere contenuti online, fornendo agli amanti della letteratura di rete un'esperienza di lettura di prova comoda, rapida e confortevole.

gedoor
⭐ 47,268 Kotlin 👤 gedoor User 🕐 Aggiornato 2026-05-27 📅 Creato 2019-05-22
11
JCodesMore/ai-website-cloner-template

Clona qualsiasi sito web con un solo comando usando agenti di codifica IA

JCodesMore
⭐ 39,582 TypeScript 👤 JCodesMore User 🕐 Aggiornato 2026-11-10 📅 Creato 2026-03-13
12
dgtlmoon/changedetection.io

Lo strumento migliore e più semplice per rilevare modifiche ai siti web, monitorare le pagine e ricevere avvisi sulle modifiche. Perfetto per tenere traccia di cambiamenti nei contenuti, ribassi di prezzo, avvisi di riassortimento e manomissioni dei siti web. MCP incluso! Tutto gratis oppure scegli il nostro piano SaaS!

dgtlmoon
⭐ 35,939 Python 👤 dgtlmoon User 🕐 Aggiornato 2026-11-20 📅 Creato 2021-01-27
13
CloakHQ/CloakBrowser

Chromium stealth che supera tutti i test di rilevamento dei bot. Sostituto diretto di Playwright con patch per l’impronta digitale a livello di codice sorgente. Oltre 50 test superati.

CloakHQ
⭐ 33,007 Python 👤 CloakHQ Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2026-02-22
14
ScrapeGraphAI/Scrapegraph-ai

Scraper Python basato sull'IA

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Aggiornato 2026-10-06 📅 Creato 2024-01-27
15
apify/crawlee

Crawlee—Una libreria per web scraping e automazione del browser per Node.js per creare crawler affidabili. In JavaScript e TypeScript. Estrazione dati per AI, LLMs, RAG o GPTs. Download di HTML, PDF, JPG, PNG e altri file da siti web. Funziona con Puppeteer, Playwright, Cheerio, JSDOM e HTTP raw. Sia in modalità headful che headless. Con rotazione proxy.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2016-08-26
16
browserbase/stagehand

L’SDK per estrarre dati e interagire con qualsiasi sito sul web. Inizia con Claude Code, Codex, Eve, Mastra e molto altro.

browserbase
⭐ 26,109 TypeScript 👤 browserbase Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-03-24
17
lexmount/moli

Il miglior browser headless per gli agenti IA. Leggero, veloce e altamente compatibile. Sviluppato in Rust

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-08-10
18
Evil0ctal/Douyin_TikTok_Download_API

🚀 API self-hosted per raccogliere dati da Douyin, TikTok e Bilibili e scaricare video senza filigrana. Supporta le chiamate degli agenti IA tramite MCP e la trascrizione vocale offline. Distribuzione Docker con un clic. | Scraper self-hosted per TikTok, Douyin e Bilibili e downloader di video senza filigrana: API REST asincrona, server MCP per agenti IA, CLI e console web, oltre alla trascrizione vocale offline dei video scaricati. Pool di identità autoriparante, archivio PostgreSQL e avvio con un solo `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Aggiornato 2026-11-20 📅 Creato 2021-11-07
19
getmaxun/maxun

Trasforma qualsiasi sito web in un’API strutturata. Estrai, automatizza, cerca e monitora il web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2023-10-23
20
MODSetter/SurfSense

Alternativa open source a NotebookLM, isolata dalle reti e attenta alla privacy. Un agente IA che ricerca, trasforma e modifica i tuoi documenti. Unisciti al nostro Discord: https://discord.gg/ejRNvftDp9

MODSetter
⭐ 16,907 Python 👤 MODSetter User 🕐 Aggiornato 2026-11-14 📅 Creato 2024-07-30
21
yusufkaraaslan/Skill_Seekers

Converti siti web di documentazione, repository GitHub e PDF in skill di Claude AI con rilevamento automatico dei conflitti

yusufkaraaslan
⭐ 15,351 Python 👤 yusufkaraaslan User 🕐 Aggiornato 2026-11-16 📅 Creato 2025-10-17
22
pjialin/py12306

🚂 Assistente per l'acquisto di biglietti 12306, supporta cluster, più account, acquisto biglietti multitask e gestione pagine web

pjialin
⭐ 14,960 Python 👤 pjialin User 🕐 Aggiornato 2026-10-01 📅 Creato 2019-01-07
23
nanobrowser/nanobrowser

Agente IA open source per l’automazione web. Usa il tuo browser reale con la sessione già avviata per automatizzare le attività quotidiane.

nanobrowser
⭐ 14,359 TypeScript 👤 nanobrowser Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2024-12-31
24
seleniumbase/SeleniumBase

Automazione del browser veloce e affidabile per test end-to-end, scraping e navigazione furtiva. Elude il rilevamento dei bot con la modalità CDP. Si integra con pytest, Playwright e MCP.

seleniumbase
⭐ 13,272 Python 👤 seleniumbase Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2014-03-04
25
jiji262/douyin-downloader

Un pratico downloader di Douyin per scaricare singoli elementi o tutti i contenuti di un profilo in batch, con visualizzazione dell’avanzamento, nuovi tentativi, deduplicazione tramite SQLite e supporto di fallback del browser. Strumento per il download in batch da Douyin, compatibile con video, album di immagini, raccolte e musica (audio originale).

jiji262
⭐ 12,644 Python 👤 jiji262 User 🕐 Aggiornato 2026-11-21 📅 Creato 2023-05-25
26
jo-inc/camofox-browser

Browser headless stealth per agenti AI — bypassa Cloudflare, rilevamento bot e anti-scraping. Sostituto drop-in di Puppeteer/Playwright.

jo-inc
⭐ 12,437 JavaScript 👤 jo-inc Organization 🕐 Aggiornato 2026-11-10 📅 Creato 2026-01-26
27
jhy/jsoup

jsoup: il parser HTML per Java, costruito per l'editing HTML, la pulizia, lo scraping e la sicurezza XSS.

jhy
⭐ 11,418 Java 👤 jhy User 🕐 Aggiornato 2026-11-18 📅 Creato 2009-12-19
28
NopeCHALLC/nopecha-extension

Risolutore CAPTCHA automatizzato per il tuo browser. Funziona con Selenium, Puppeteer, Playwright e altro ancora.

NopeCHALLC
⭐ 11,140 👤 NopeCHALLC User 🕐 Aggiornato 2026-10-02 📅 Creato 2023-03-23
29
pinchtab/pinchtab

Ponticello di automazione browser ad alte prestazioni e orchestratore multi‑istanza con iniezione stealth avanzata e cruscotto in tempo reale.

pinchtab
⭐ 10,599 Go 👤 pinchtab Organization 🕐 Aggiornato 2026-11-10 📅 Creato 2026-02-15
30
apify/crawlee-python

Crawlee: una libreria Python per il web scraping e l’automazione del browser, pensata per creare crawler affidabili. Estrai dati strutturati con gli LLM tramite Pydantic AI oppure controlla il browser in linguaggio naturale con Stagehand. Compatibile con BeautifulSoup, Parsel, Playwright e HTTP grezzo. Scarica HTML, PDF, immagini e altri file. Rotazione dei proxy inclusa.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-01-10
31
scrapinghub/portia

Scraping visivo per Scrapy

scrapinghub
⭐ 9,479 Python 👤 scrapinghub Organization 🕐 Aggiornato 2024-06-26 📅 Creato 2014-03-21
32
nashsu/FreeAskInternet

FreeAskInternet è un aggregatore di ricerca e generatore di risposte completamente gratuito, PRIVATO e in esecuzione LOCALMENTE, che utilizza LLM MULTIPLI, senza la necessità di GPU. L'utente può porre una domanda e il sistema effettuerà una ricerca multi-motore e combinerà il risultato della ricerca con LLM per generare la risposta basata sui risultati della ricerca. È tutto GRATUITO da usare.

nashsu
⭐ 8,734 Python 👤 nashsu User 🕐 Aggiornato 2024-04-18 📅 Creato 2024-04-05
33
cv-cat/Spider_XHS

Raccolta dati tramite crawler Xiaohongshu (RED), reverse engineering di Xiaohongshu, messaggi privati, streaming live e soluzioni di gestione integrale su Xiaohongshu

cv-cat
⭐ 8,542 Python 👤 cv-cat User 🕐 Aggiornato 2026-10-22 📅 Creato 2023-08-08
34
cporter202/API-mega-list

Questa repository GitHub è una potente collezione di API che puoi iniziare a usare immediatamente per costruire qualsiasi cosa, dalle semplici automazioni alle applicazioni su vasta scala. Una delle liste API più preziose su GitHub, punto. 💪

cporter202
⭐ 8,406 JavaScript 👤 cporter202 User 🕐 Aggiornato 2026-11-19 📅 Creato 2025-12-09
35
ericchiang/pup

Parsing HTML dalla riga di comando

ericchiang
⭐ 8,372 HTML 👤 ericchiang User 🕐 Aggiornato 2024-05-02 📅 Creato 2014-09-01
36
mherrmann/helium

Automazione web più leggera con Python

mherrmann
⭐ 8,333 Python 👤 mherrmann User 🕐 Aggiornato 2026-10-22 📅 Creato 2019-11-26
37
gosom/google-maps-scraper

scraping dati da Google Maps. Estrae dati come nome, indirizzo, numero di telefono, URL del sito web, valutazione, numero di recensioni, latitudine e longitudine, recensioni, email e altro per ogni luogo

gosom
⭐ 8,291 Go 👤 gosom User 🕐 Aggiornato 2026-11-21 📅 Creato 2023-04-22
38
lorien/awesome-web-scraping

Elenco di librerie, strumenti e API per web scraping ed elaborazione dati.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Aggiornato 2026-11-21 📅 Creato 2015-08-12
39
alirezamika/autoscraper

Uno scraper web intelligente, automatico, veloce e leggero per Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Aggiornato 2026-07-29 📅 Creato 2020-08-31
40
firecrawl/firecrawl-mcp-server

Server MCP ufficiale di Firecrawl, l’API di contesto per gli agenti IA: cerca, estrai contenuti e interagisci con il web, oltre a eseguire parsing, crawling e mappatura e a usare Agent e Monitor da qualsiasi client MCP.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-12-06
41
WECENG/ticket-purchase

Acquisto automatico biglietti d'orzo, supporta selezione di personale, città, fasce di date e prezzi

WECENG
⭐ 7,844 Python 👤 WECENG User 🕐 Aggiornato 2026-05-14 📅 Creato 2023-10-12
42
mgdm/htmlq

Come jq, ma per HTML.

mgdm
⭐ 7,591 Rust 👤 mgdm User 🕐 Aggiornato 2026-05-27 📅 Creato 2019-05-07
43
go-rod/rod

Un driver del protocollo Chrome DevTools per l'automazione web e lo scraping.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 Aggiornato 2026-08-11 📅 Creato 2020-01-21
44
adbar/trafilatura

Strumento Python e da riga di comando per raccogliere testo e metadati sul Web: Crawling, scraping, estrazione, output come CSV, JSON, HTML, MD, TXT, XML

adbar
⭐ 7,157 Python 👤 adbar User 🕐 Aggiornato 2026-11-20 📅 Creato 2019-04-08
45
autoscrape-labs/pydoll

Pydoll è una libreria per automatizzare browser basati su Chromium senza WebDriver, offrendo interazioni realistiche.

autoscrape-labs
⭐ 7,145 HTML 👤 autoscrape-labs Organization 🕐 Aggiornato 2026-11-08 📅 Creato 2024-10-27
46
lexiforest/curl_cffi

Binding Python per il fork di curl-impersonate tramite cffi. Un client http che può impersonare le impronte digitali TLS/JA3/HTTP2 del browser.

lexiforest
⭐ 6,909 Python 👤 lexiforest User 🕐 Aggiornato 2026-11-21 📅 Creato 2022-03-10
47
browser-act/skills

CLI di automazione del browser costruita per agenti AI. Supera le barriere anti-bot, passa agli umani su più piattaforme quando sei bloccato. Esecuzione parallela di più attività, operazione indipendente di più sessioni, navigazione isolata di più account.

browser-act
⭐ 6,385 Python 👤 browser-act Organization 🕐 Aggiornato 2026-11-04 📅 Creato 2026-02-06
48
nickscamara/open-deep-research

Un clone di ricerca approfondita open source. Agente AI che ragiona su grandi quantità di dati web estratti con Firecrawl.

nickscamara
⭐ 6,242 TypeScript 👤 nickscamara User 🕐 Aggiornato 2025-05-07 📅 Creato 2025-02-03
49
MontFerret/ferret

Linguaggio di automazione dei dati dichiarativo e runtime Go per flussi di lavoro di estrazione strutturata.

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2018-08-23
50
RedSiege/EyeWitness

EyeWitness è progettato per acquisire screenshot di siti Web, fornire informazioni sulle intestazioni del server e identificare le credenziali predefinite, se possibile.

RedSiege
⭐ 5,906 Python 👤 RedSiege Organization 🕐 Aggiornato 2026-01-05 📅 Creato 2014-02-26

Domande frequenti

1

Qual è il repository #web-scraping più popolare su GitHub?

Il progetto open source #web-scraping più alto in classifica su GitHub è firecrawl/firecrawl, con 205,758 stelle. Infrastruttura di conoscenza per rendere più intelligenti i tuoi agenti. Cerca, estrai e accedi a oltre 550 fornitori di dati tramite un’unica API.

2

Quali linguaggi di programmazione sono più utilizzati nei repository #web-scraping?

Tra i progetti #web-scraping più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, JavaScript, Go.

3

Come viene calcolata la classifica dei repository #web-scraping?

Monitoriamo 381 repository open source attivi contrassegnati con #web-scraping (500+ stelle), per un totale di 2,147,590 stelle e una media di 5,636 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.