Git Stars Git Stars

#crawling Repository

Scopri 39 repository GitHub open source attivi contrassegnati con #crawling, che raccolgono un totale di 335,438 stelle (con una media di 8,600 stelle per progetto). Il progetto leader di questo argomento è D4Vinci/Scrapling, con 104,760 stelle.

39
Totale Repository
335,438
Totale stelle
8,600
Media Stelle/Repo

39 repository in totale

1
D4Vinci/Scrapling

🕷️ Il MIGLIOR framework per il web scraping, in grado di gestire tutto, da una singola richiesta a una scansione su larga scala! Non essere timido: unisciti qui https://discord.gg/EMgGbDceNQ e seguici qui per consigli e trucchi quotidiani: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Aggiornato 2026-11-17 📅 Creato 2024-10-13
2
scrapy/scrapy

Scrapy, un framework veloce di alto livello per web crawling e scraping in Python.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2010-02-22
3
apify/crawlee

Crawlee—Una libreria per web scraping e automazione del browser per Node.js per creare crawler affidabili. In JavaScript e TypeScript. Estrazione dati per AI, LLMs, RAG o GPTs. Download di HTML, PDF, JPG, PNG e altri file da siti web. Funziona con Puppeteer, Playwright, Cheerio, JSDOM e HTTP raw. Sia in modalità headful che headless. Con rotazione proxy.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2016-08-26
4
gocolly/colly

Framework elegante per scraping e crawling in Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Aggiornato 2026-10-16 📅 Creato 2017-09-29
5
getmaxun/maxun

Trasforma qualsiasi sito web in un’API strutturata. Estrai, automatizza, cerca e monitora il web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2023-10-23
6
codelucas/newspaper

newspaper3k è un'estrazione di notizie, full-text e metadati di articoli in Python 3. Documentazione avanzata:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 Aggiornato 2026-10-26 📅 Creato 2013-11-25
7
apify/crawlee-python

Crawlee: una libreria Python per il web scraping e l’automazione del browser, pensata per creare crawler affidabili. Estrai dati strutturati con gli LLM tramite Pydantic AI oppure controlla il browser in linguaggio naturale con Stagehand. Compatibile con BeautifulSoup, Parsel, Playwright e HTTP grezzo. Scarica HTML, PDF, immagini e altri file. Rotazione dei proxy inclusa.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-01-10
8
lorien/awesome-web-scraping

Elenco di librerie, strumenti e API per web scraping ed elaborazione dati.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Aggiornato 2026-11-21 📅 Creato 2015-08-12
9
go-rod/rod

Un driver del protocollo Chrome DevTools per l'automazione web e lo scraping.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 Aggiornato 2026-08-11 📅 Creato 2020-01-21
10
exa-labs/exa-mcp-server

Exa MCP per la ricerca sul web e il crawling del web!

exa-labs
⭐ 5,250 TypeScript 👤 exa-labs Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-11-27
11
hakluke/hakrawler

Crawler web semplice e veloce progettato per la scoperta facile e rapida di endpoint e asset all'interno di un'applicazione web

hakluke
⭐ 5,171 Go 👤 hakluke User 🕐 Aggiornato 2026-08-05 📅 Creato 2019-12-15
12
ai-robots-txt/ai.robots.txt

Un elenco di agenti e robot AI da bloccare.

ai-robots-txt
⭐ 4,265 Python 👤 ai-robots-txt Organization 🕐 Aggiornato 2026-11-16 📅 Creato 2024-03-27
13
hardkoded/puppeteer-sharp

API .NET Chrome headless

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2017-09-30
14
edoardottt/cariddi

Esegui una scansione di URL da un elenco di domini e cerca endpoint, segreti, chiavi API, estensioni di file, token e altro.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Aggiornato 2026-11-19 📅 Creato 2021-04-27
15
apache/nutch

Apache Nutch è un web crawler estensibile e scalabile

apache
⭐ 3,311 Java 👤 apache Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2009-05-21
16
transitive-bullshit/awesome-puppeteer

Un elenco curato di risorse fantastiche per Puppeteer.

transitive-bullshit
⭐ 2,528 👤 transitive-bullshit User 🕐 Aggiornato 2024-07-19 📅 Creato 2018-05-07
17
lorien/grab

Framework per Web Scraping

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Aggiornato 2025-09-19 📅 Creato 2013-05-01
18
NateScarlet/holiday-cn

📅🇨🇳 Dati sulle festività legali cinesi Estratti automaticamente quotidianamente dagli annunci del Consiglio di Stato

NateScarlet
⭐ 2,293 Python 👤 NateScarlet User 🕐 Aggiornato 2026-11-21 📅 Creato 2019-03-05
19
zorlan/skycaiji

Blue Sky Collector è un sistema di scraping open source e gratuito, che richiede solo il clic e la modifica delle regole per raccogliere dati. Può essere eseguito localmente, su hosting virtuale o su server cloud, ed è in grado di raccogliere quasi tutti i tipi di pagine web. Si integra perfettamente con vari programmi di creazione di siti web basati su CMS, pubblica dati in tempo reale senza login e senza intervento umano! È un sistema di scraping cloud completamente multipiattaforma nel software di raccolta di big data del web.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 Aggiornato 2026-10-07 📅 Creato 2018-02-26
20
rebrowser/rebrowser-patches

Raccolta di patch per puppeteer e playwright per evitare il rilevamento dell'automazione e le perdite. Aiuta a evitare le pagine CAPTCHA di Cloudflare e DataDome. Facile da patchare/unpatchare, può essere abilitato/disabilitato su richiesta.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 Aggiornato 2026-11-02 📅 Creato 2024-08-06
21
roach-php/core

Il toolkit completo di web scraping per PHP.

roach-php
⭐ 1,456 PHP 👤 roach-php Organization 🕐 Aggiornato 2025-10-27 📅 Creato 2021-08-17
22
lorey/mlscraper

🤖 Esegui lo scraping dei dati dai siti web HTML automaticamente fornendo solo esempi

lorey
⭐ 1,370 Python 👤 lorey User 🕐 Aggiornato 2024-03-17 📅 Creato 2020-07-30
23
webrecorder/browsertrix-crawler

Esegui un crawler di archiviazione web basato su browser ad alta fedeltà in un singolo container Docker

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2020-11-02
24
needleworm/bhban_rpa

Questo è il codice di esempio di <6개월 치 업무를 하루 만에 끝내는 업무 자동화(생능출판사, 2020)>. È un esempio pensato per chi non abbia mai imparato Python e offre esempi in vari campi relativi all'automazione dei compiti, dall'Excel al design, dai macro al crawling.

needleworm
⭐ 1,153 Python 👤 needleworm User 🕐 Aggiornato 2026-10-25 📅 Creato 2020-02-11
25
dondai44423/donsetch

Recupero, ricerca e crawling web per agenti IA. Creato da zero in Rust. Senza chiavi, senza account. AGPL v3.

dondai44423
⭐ 1,138 Rust 👤 dondai44423 User 🕐 Aggiornato 2026-11-21 📅 Creato 2026-08-07
26
scrapfly/scrapfly-scrapers

Script Python scalabili per il web scraping di oltre 80 domini popolari

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-05-22
27
elixir-crawly/crawly

Crawly, un framework di alto livello per web crawling e scraping per Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2019-03-09
28
janreges/siteone-crawler

SiteOne Crawler è un crawler e analizzatore di siti web multipiattaforma per l'ottimizzazione di SEO, sicurezza, accessibilità e prestazioni, ideale per sviluppatori, DevOps, ingegneri QA e consulenti. Supporta Windows, macOS e Linux (x64 e arm64).

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 Aggiornato 2026-09-27 📅 Creato 2023-10-04
29
clemfromspace/scrapy-selenium

Middleware Scrapy per gestire pagine JavaScript usando Selenium

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 Aggiornato 2026-04-13 📅 Creato 2018-02-11
30
mishakorzik/AdminHack

oggi hackeremo il pannello di amministrazione del sito.

mishakorzik
⭐ 932 Shell 👤 mishakorzik User 🕐 Aggiornato 2026-09-10 📅 Creato 2021-05-16
31
scrapinghub/scrapyrt

API HTTP per gli spider di Scrapy

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 Aggiornato 2026-10-13 📅 Creato 2015-01-06
32
StJudeWasHere/seonaut

Strumento di audit SEO open source.

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 Aggiornato 2026-10-08 📅 Creato 2022-03-02
33
MorvanZhou/easy-scraping-tutorial

Codice di tutorial semplice ma utile per il web scraping in Python.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Aggiornato 2024-04-07 📅 Creato 2017-12-29
34
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ Scraper di profili LinkedIn che restituisce dati di profilo strutturati in JSON.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Aggiornato 2024-04-05 📅 Creato 2018-12-21
35
lumpinif/deepcrawl

100% gratuito e alternativa open-source completa a Firecrawl edge con estrazione link migliore per agenti - che puoi deployare su Cloudflare o Vercel da solo.

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 Aggiornato 2026-08-24 📅 Creato 2025-05-22
36
cxcscmu/Craw4LLM

Repository ufficiale per "Craw4LLM: Web Crawling efficiente per il pre-addestramento LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Aggiornato 2025-02-24 📅 Creato 2025-02-17
37
l4rm4nd/LinkedInDumper

Script Python 3 per scaricare/eseguire lo scraping/estrarre dipendenti aziendali dall'API di LinkedIn

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 Aggiornato 2026-08-21 📅 Creato 2022-10-17
38
scrapinghub/spidermon

Estensione Scrapy per il monitoraggio dell'esecuzione dei spider.

scrapinghub
⭐ 563 Python 👤 scrapinghub Organization 🕐 Aggiornato 2026-10-20 📅 Creato 2015-11-17
39
zhuyingda/webster

Un framework affidabile di alto livello per il web crawling e scraping per Node.js.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 Aggiornato 2025-03-12 📅 Creato 2017-11-04

Domande frequenti

1

Qual è il repository #crawling più popolare su GitHub?

Il progetto open source #crawling più alto in classifica su GitHub è D4Vinci/Scrapling, con 104,760 stelle. 🕷️ Il MIGLIOR framework per il web scraping, in grado di gestire tutto, da una singola richiesta a una scansione su larga scala! Non essere timido: unisciti qui https://discord.gg/EMgGbDceNQ e seguici qui per consigli e trucchi quotidiani: https://x.com/Scrapling_dev

2

Quali linguaggi di programmazione sono più utilizzati nei repository #crawling?

Tra i progetti #crawling più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, Go, JavaScript.

3

Come viene calcolata la classifica dei repository #crawling?

Monitoriamo 39 repository open source attivi contrassegnati con #crawling (500+ stelle), per un totale di 335,438 stelle e una media di 8,600 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.