Git Stars Git Stars

#crawler Repository

Scopri 162 repository GitHub open source attivi contrassegnati con #crawler, che raccolgono un totale di 1,111,814 stelle (con una media di 6,863 stelle per progetto). Il progetto leader di questo argomento è firecrawl/firecrawl, con 205,758 stelle.

162
Totale Repository
1.1M
Totale stelle
6,863
Media Stelle/Repo

162 repository in totale

1
firecrawl/firecrawl

Infrastruttura di conoscenza per rendere più intelligenti i tuoi agenti. Cerca, estrai e accedi a oltre 550 fornitori di dati tramite un’unica API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-04-15
2
D4Vinci/Scrapling

🕷️ Il MIGLIOR framework per il web scraping, in grado di gestire tutto, da una singola richiesta a una scansione su larga scala! Non essere timido: unisciti qui https://discord.gg/EMgGbDceNQ e seguici qui per consigli e trucchi quotidiani: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Aggiornato 2026-11-17 📅 Creato 2024-10-13
3
unclecode/crawl4ai

Crawl4AI Cloud ufficiale: un’API ospitata per scraping web, estrazione e ricerca destinata agli agenti IA. Chiave API gratuita, 1.000 crediti al mese, senza carta di credito. Completamente open source: questo repository contiene il crawler Apache-2.0 che lo alimenta e può essere ospitato autonomamente.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Aggiornato 2026-11-20 📅 Creato 2024-05-09
4
scrapy/scrapy

Scrapy, un framework veloce di alto livello per web crawling e scraping in Python.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2010-02-22
5
NaiboWang/EasySpider

Un crawler/spider web visuale no-code: un software di automazione del browser, raccolta dati e web scraping che consente di progettare ed eseguire attività di crawling in modo grafico senza scrivere codice. Alias: ServiceWrapper, un sistema intelligente di incapsulamento dei servizi per applicazioni web.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Aggiornato 2026-11-16 📅 Creato 2020-07-18
6
ScrapeGraphAI/Scrapegraph-ai

Scraper Python basato sull'IA

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Aggiornato 2026-10-06 📅 Creato 2024-01-27
7
iawia002/lux

👾 Libreria e tool CLI per il download di video veloce e semplice, scritto in Go

iawia002
⭐ 31,854 Go 👤 iawia002 User 🕐 Aggiornato 2026-03-29 📅 Creato 2018-02-24
8
apify/crawlee

Crawlee—Una libreria per web scraping e automazione del browser per Node.js per creare crawler affidabili. In JavaScript e TypeScript. Estrazione dati per AI, LLMs, RAG o GPTs. Download di HTML, PDF, JPG, PNG e altri file da siti web. Funziona con Puppeteer, Playwright, Cheerio, JSDOM e HTTP raw. Sia in modalità headful che headless. Con rotazione proxy.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2016-08-26
9
gocolly/colly

Framework elegante per scraping e crawling in Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Aggiornato 2026-10-16 📅 Creato 2017-09-29
10
jhao104/proxy_pool

Python ProxyPool per web spider

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 Aggiornato 2026-06-15 📅 Creato 2016-11-25
11
Evil0ctal/Douyin_TikTok_Download_API

🚀 API self-hosted per raccogliere dati da Douyin, TikTok e Bilibili e scaricare video senza filigrana. Supporta le chiamate degli agenti IA tramite MCP e la trascrizione vocale offline. Distribuzione Docker con un clic. | Scraper self-hosted per TikTok, Douyin e Bilibili e downloader di video senza filigrana: API REST asincrona, server MCP per agenti IA, CLI e console web, oltre alla trascrizione vocale offline dei video scaricati. Pool di identità autoriparante, archivio PostgreSQL e avvio con un solo `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Aggiornato 2026-11-20 📅 Creato 2021-11-07
12
getmaxun/maxun

Trasforma qualsiasi sito web in un’API strutturata. Estrai, automatizza, cerca e monitora il web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2023-10-23
13
projectdiscovery/katana

Un framework di nuova generazione per il crawling e lo spidering.

projectdiscovery
⭐ 17,878 Go 👤 projectdiscovery Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2021-01-02
14
codelucas/newspaper

newspaper3k è un'estrazione di notizie, full-text e metadati di articoli in Python 3. Documentazione avanzata:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 Aggiornato 2026-10-26 📅 Creato 2013-11-25
15
shengqiangzhang/examples-of-web-crawlers

Alcuni esempi molto interessanti di crawler Python, amichevoli per i principianti, principalmente per il crawling di siti web come Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, ecc. (Some interesting examples of python crawlers that are friendly to beginners.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 Aggiornato 2025-06-28 📅 Creato 2019-03-13
16
s0md3v/Photon

Crawler incredibilmente veloce progettato per OSINT.

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 Aggiornato 2026-10-17 📅 Creato 2018-03-30
17
crawlab-team/crawlab

Piattaforma di amministrazione distribuita per crawler web per la gestione di spider indipendentemente da linguaggi e framework. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Aggiornato 2026-02-10 📅 Creato 2019-02-10
18
code4craft/webmagic

Un framework scalabile per crawler web in Java.

code4craft
⭐ 11,660 Java 👤 code4craft User 🕐 Aggiornato 2025-12-20 📅 Creato 2013-04-23
19
injetlee/Python

Script Python. Simulare l'accesso a Zhihu, crawling, operare Excel, account pubblico WeChat, accensione remota.

injetlee
⭐ 10,920 Python 👤 injetlee User 🕐 Aggiornato 2026-05-09 📅 Creato 2016-06-23
20
guyueyingmu/avbook

Sistema di gestione film AV, avmoo, javbus, javlibrary Crawler, Libreria di film AV online, Database di link magnetici AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 Aggiornato 2024-06-01 📅 Creato 2017-02-19
21
apify/crawlee-python

Crawlee: una libreria Python per il web scraping e l’automazione del browser, pensata per creare crawler affidabili. Estrai dati strutturati con gli LLM tramite Pydantic AI oppure controlla il browser in linguaggio naturale con Stagehand. Compatibile con BeautifulSoup, Parsel, Playwright e HTTP grezzo. Scarica HTML, PDF, immagini e altri file. Rotazione dei proxy inclusa.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-01-10
22
TeamWiseFlow/xiaobei

Agente di acquisizione clienti tramite self-media su misura per OPC e PMI

TeamWiseFlow
⭐ 8,743 Python 👤 TeamWiseFlow Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-04-24
23
lorien/awesome-web-scraping

Elenco di librerie, strumenti e API per web scraping ed elaborazione dati.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Aggiornato 2026-11-21 📅 Creato 2015-08-12
24
hect0x7/JMComic-Crawler-Python

API Python per JMComic | Fornisce accesso API Python a JinManTiantang, supporta sia la versione web che quella mobile | JinManTiantang GitHub Actions Downloader🚀

hect0x7
⭐ 8,148 Python 👤 hect0x7 User 🕐 Aggiornato 2026-11-13 📅 Creato 2023-04-02
25
alirezamika/autoscraper

Uno scraper web intelligente, automatico, veloce e leggero per Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Aggiornato 2026-07-29 📅 Creato 2020-08-31
26
mvdctop/Movie_Data_Capture

Il crawler IA dei metadati dei media locali

mvdctop
⭐ 7,449 Python 👤 mvdctop User 🕐 Aggiornato 2026-11-17 📅 Creato 2019-05-26
27
adbar/trafilatura

Strumento Python e da riga di comando per raccogliere testo e metadati sul Web: Crawling, scraping, estrazione, output come CSV, JSON, HTML, MD, TXT, XML

adbar
⭐ 7,157 Python 👤 adbar User 🕐 Aggiornato 2026-11-20 📅 Creato 2019-04-08
28
BruceDone/awesome-crawler

Una collezione di eccellenti web crawler e spider in diverse lingue

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Aggiornato 2024-06-16 📅 Creato 2016-10-10
29
bda-research/node-crawler

Web Crawler/Spider per NodeJS + jQuery lato server ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 Aggiornato 2026-06-18 📅 Creato 2010-11-25
30
chyroc/WechatSogou

Interfaccia crawler account pubblici WeChat basata sulla ricerca WeChat di Sogou

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 Aggiornato 2026-10-23 📅 Creato 2016-05-09
31
rmax/scrapy-redis

Componenti basati su Redis per Scrapy.

rmax
⭐ 5,648 Python 👤 rmax User 🕐 Aggiornato 2026-11-21 📅 Creato 2011-08-29
32
DropsDevopsOrg/ECommerceCrawlers

Pratica 🐍 di molteplici siti web, crawler di dati e-commerce 🕷. Include 🕸: Prodotti Taobao, account pubblici WeChat, Dianping, Qichacha, siti di lavoro, Xianyu, compiti Ali, Cnblogs, Weibo, Baidu Tieba, film Douban, Baotu.com, Quan jing wang, musica Douban, ufficio di sorveglianza farmaceutica di una provincia, notizie Sohu, raccolta testo machine learning, raccolta asset fofa, Autohome, Ufficio Nazionale di Statistica, conteggio inclusioni parole chiave Baidu, directory generale ragni, Toutiao, recensioni film Douban, Ctrip, negozio app Xiaomi, Anjuke, alloggi Tujia ❤️❤️❤️. Progetto di dimostrazione crawler WeChat:

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 Aggiornato 2024-05-22 📅 Creato 2019-03-29
33
DedSecInside/TorBot

Strumento OSINT per il Dark Web

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 Aggiornato 2026-11-12 📅 Creato 2017-05-17
34
niespodd/browser-fingerprinting

Analisi dei sistemi di protezione dai bot con contromisure disponibili 🚿. Come sconfiggere i sistemi anti-bot 👻 e aggirare gli script di fingerprinting del browser 🕵️‍♂️ durante lo scraping del web?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 Aggiornato 2026-07-27 📅 Creato 2021-01-23
35
hiddendevj/Crawler_Illegal_Cases_In_China

Questo progetto è destinato a raccogliere tutte le notizie, i documenti e i regolamenti legali relativi a cause legali e violazioni che coinvolgono gli sviluppatori di crawler in Cina continentale. Mira ad aiutare i professionisti del settore crawler in Cina a comprendere le leggi pertinenti e a evitare di incorrere in violazioni delle norme di conformità dei dati.

hiddendevj
⭐ 4,759 HTML 👤 hiddendevj User 🕐 Aggiornato 2026-03-12 📅 Creato 2019-09-29
36
dataabc/weibo-crawler

Crawler di Sina Weibo, usando Python per estrarre dati da Sina Weibo e scaricare immagini e video di Weibo

dataabc
⭐ 4,705 Python 👤 dataabc User 🕐 Aggiornato 2026-11-06 📅 Creato 2019-06-25
37
myreader-io/myGPTReader

Un modo guidato dalla community per leggere e chattare con i bot AI, alimentato da chatGPT.

myreader-io
⭐ 4,416 Python 👤 myreader-io Organization 🕐 Aggiornato 2026-02-05 📅 Creato 2023-03-08
38
kanasimi/work_crawler

Strumento di download per fumetti e romanzi:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.

kanasimi
⭐ 4,391 JavaScript 👤 kanasimi User 🕐 Aggiornato 2026-10-12 📅 Creato 2016-11-02
39
dotnetcore/DotnetSpider

DotnetSpider, una libreria di web crawling standard .NET. È un framework di web crawling e scraping di alto livello, leggero, efficiente e veloce.

dotnetcore
⭐ 4,142 C# 👤 dotnetcore Organization 🕐 Aggiornato 2026-04-03 📅 Creato 2016-03-21
40
constverum/ProxyBroker

Proxy [Finder | Verificatore | Server]. HTTP(S) & SOCKS :performing_arts:

constverum
⭐ 4,084 Python 👤 constverum User 🕐 Aggiornato 2024-03-18 📅 Creato 2015-10-11
41
MikeChongCan/scylla

Pool di proxy intelligenti per umani™ per estrarre contenuti da internet e costruire i tuoi Large Language Models in questa nuova era dell'IA

MikeChongCan
⭐ 4,021 Python 👤 MikeChongCan User 🕐 Aggiornato 2026-11-03 📅 Creato 2018-04-10
42
Arachni/arachni

Framework Scanner di Sicurezza per Applicazioni Web

Arachni
⭐ 4,020 Ruby 👤 Arachni Organization 🕐 Aggiornato 2026-04-22 📅 Creato 2010-08-25
43
hardkoded/puppeteer-sharp

API .NET Chrome headless

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2017-09-30
44
edoardottt/cariddi

Esegui una scansione di URL da un elenco di domini e cerca endpoint, segreti, chiavi API, estensioni di file, token e altro.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Aggiornato 2026-11-19 📅 Creato 2021-04-27
45
3441293738/creatorhub

Monitoraggio · raccolta · ripubblicazione dei contenuti su più piattaforme. Un’unica dashboard web per gestire Douyin / Xiaohongshu / Kuaishou / Canali WeChat / TikTok / Bilibili / Instagram / Xiaohongshu internazionale (rednote)

3441293738
⭐ 3,774 Python 👤 3441293738 User 🕐 Aggiornato 2026-11-21 📅 Creato 2026-07-03
46
Boris-code/feapder

🚀🚀🚀feapder è un framework di crawler facile da usare e potente | feapder è un framework di crawler Python facile da usare e potente. Sono integrati quattro tipi di spider: AirSpider, Spider, TaskSpider e BatchSpider per soddisfare le esigenze di diversi scenari. Supporta funzioni come il riavvio da checkpoint, il monitoraggio e gli allarmi, il rendering del browser e la deduplicazione di grandi quantità di dati. Inoltre, il potente sistema di gestione dei crawler feaplat offre comodità di distribuzione e pianificazione.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 Aggiornato 2026-08-21 📅 Creato 2021-02-08
47
sqzw-x/mdcx

Estrattore di metadati di film

sqzw-x
⭐ 3,727 Python 👤 sqzw-x User 🕐 Aggiornato 2026-08-23 📅 Creato 2023-11-06
48
elliotgao2/toapi

Ogni sito web fornisce API.

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 Aggiornato 2026-08-27 📅 Creato 2017-11-27
49
Tuhinshubhra/RED_HAWK

Strumento tutto in uno per la raccolta di informazioni, scansione delle vulnerabilità e crawling. Uno strumento indispensabile per tutti i penetration tester

Tuhinshubhra
⭐ 3,491 PHP 👤 Tuhinshubhra User 🕐 Aggiornato 2024-07-31 📅 Creato 2017-06-11
50
CharlesPikachu/videodl

Videodl: Un downloader video leggero scritto in puro Python. (Un downloader video leggero che dà la priorità alla alta definizione senza watermark e supporta piattaforme come Douyin, Kuaishou, Xiaohongshu, Bilibili, TikTok, YouTube, FIFA+, Youku, Tencent Video, iQIYI, 1905 Movie Network, LeTV, Mango TV, Migu, PPTV, Sohu, Facebook, Twitter, Sina Weibo, Today’s Headlines, NetEase Open Classes, 全民K歌, CCTV, Kugou MV, New Film, Zhihu, Baidu Tieba, TED e altre vaste piattaforme di streaming.)

CharlesPikachu
⭐ 3,294 Python 👤 CharlesPikachu User 🕐 Aggiornato 2026-11-21 📅 Creato 2018-07-10

Domande frequenti

1

Qual è il repository #crawler più popolare su GitHub?

Il progetto open source #crawler più alto in classifica su GitHub è firecrawl/firecrawl, con 205,758 stelle. Infrastruttura di conoscenza per rendere più intelligenti i tuoi agenti. Cerca, estrai e accedi a oltre 550 fornitori di dati tramite un’unica API.

2

Quali linguaggi di programmazione sono più utilizzati nei repository #crawler?

Tra i progetti #crawler più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Go, TypeScript, JavaScript.

3

Come viene calcolata la classifica dei repository #crawler?

Monitoriamo 162 repository open source attivi contrassegnati con #crawler (500+ stelle), per un totale di 1,111,814 stelle e una media di 6,863 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.