Git Stars Git Stars

#scrapy Repository

Scopri 38 repository GitHub open source attivi contrassegnati con #scrapy, che raccolgono un totale di 84,191 stelle (con una media di 2,215 stelle per progetto). Il progetto leader di questo argomento è crawlab-team/crawlab, con 12,301 stelle.

38
Totale Repository
84,191
Totale stelle
2,215
Media Stelle/Repo

38 repository in totale

1
crawlab-team/crawlab

Piattaforma di amministrazione distribuita per crawler web per la gestione di spider indipendentemente da linguaggi e framework. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Aggiornato 2026-02-10 📅 Creato 2019-02-10
2
chyroc/WechatSogou

Interfaccia crawler account pubblici WeChat basata sulla ricerca WeChat di Sogou

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 Aggiornato 2026-10-23 📅 Creato 2016-05-09
3
rmax/scrapy-redis

Componenti basati su Redis per Scrapy.

rmax
⭐ 5,648 Python 👤 rmax User 🕐 Aggiornato 2026-11-21 📅 Creato 2011-08-29
4
DropsDevopsOrg/ECommerceCrawlers

Pratica 🐍 di molteplici siti web, crawler di dati e-commerce 🕷. Include 🕸: Prodotti Taobao, account pubblici WeChat, Dianping, Qichacha, siti di lavoro, Xianyu, compiti Ali, Cnblogs, Weibo, Baidu Tieba, film Douban, Baotu.com, Quan jing wang, musica Douban, ufficio di sorveglianza farmaceutica di una provincia, notizie Sohu, raccolta testo machine learning, raccolta asset fofa, Autohome, Ufficio Nazionale di Statistica, conteggio inclusioni parole chiave Baidu, directory generale ragni, Toutiao, recensioni film Douban, Ctrip, negozio app Xiaomi, Anjuke, alloggi Tujia ❤️❤️❤️. Progetto di dimostrazione crawler WeChat:

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 Aggiornato 2024-05-22 📅 Creato 2019-03-29
5
nghuyong/WeiboSpider

Strumento di raccolta Sina Weibo mantenuto continuamente🚀🚀🚀

nghuyong
⭐ 4,125 Python 👤 nghuyong User 🕐 Aggiornato 2026-06-30 📅 Creato 2017-10-29
6
Boris-code/feapder

🚀🚀🚀feapder è un framework di crawler facile da usare e potente | feapder è un framework di crawler Python facile da usare e potente. Sono integrati quattro tipi di spider: AirSpider, Spider, TaskSpider e BatchSpider per soddisfare le esigenze di diversi scenari. Supporta funzioni come il riavvio da checkpoint, il monitoraggio e gli allarmi, il rendering del browser e la deduplicazione di grandi quantità di dati. Inoltre, il potente sistema di gestione dei crawler feaplat offre comodità di distribuzione e pianificazione.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 Aggiornato 2026-08-21 📅 Creato 2021-02-08
7
Gerapy/Gerapy

Framework di Gestione Crawler Distribuito Basato su Scrapy, Scrapyd, Django e Vue.js

Gerapy
⭐ 3,518 Python 👤 Gerapy Organization 🕐 Aggiornato 2026-07-04 📅 Creato 2017-06-30
8
my8100/scrapydweb

App web per la gestione del cluster Scrapyd, analisi e visualizzazione dei log Scrapy, imballaggio automatico, attività timer, monitoraggio e avvisi, e UI mobile. Docs documentazione :point_right:

my8100
⭐ 3,403 Python 👤 my8100 User 🕐 Aggiornato 2025-02-19 📅 Creato 2018-09-30
9
scrapy-plugins/scrapy-splash

Scrapy+Splash per l'integrazione JavaScript

scrapy-plugins
⭐ 3,230 Python 👤 scrapy-plugins Organization 🕐 Aggiornato 2025-02-11 📅 Creato 2013-05-13
10
scrapy/scrapyd

Un demone di servizio per eseguire spider di Scrapy

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 Aggiornato 2026-10-23 📅 Creato 2013-02-01
11
RayXBuilds/Movie_Recommend

Progetto didattico storico: consigli cinematografici con Spark, web scraping, applicazione web e backend. Lo sviluppo continuo della nuova versione è disponibile su cinematch-recommender.

RayXBuilds
⭐ 3,007 Java 👤 RayXBuilds User 🕐 Aggiornato 2026-10-21 📅 Creato 2018-04-18
12
dataabc/weibo-search

Ottieni informazioni sui risultati della ricerca di Weibo, la ricerca può essere una ricerca per parola chiave di Weibo o una ricerca per argomento di Weibo

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 Aggiornato 2026-06-05 📅 Creato 2020-03-25
13
QianyanTech/Image-Downloader

Scarica immagini da Google, Bing, Baidu. Download di immagini da Google, Baidu, Bing.

QianyanTech
⭐ 2,331 Python 👤 QianyanTech Organization 🕐 Aggiornato 2024-07-07 📅 Creato 2016-07-17
14
ictar/python-doc

Tradurre i documenti Python in cinese per un comodo riferimento In poche parole, questo è il posto dove vengono conservati quei cari documenti Python, e faremo del nostro meglio per tradurli in cinese ~~

ictar
⭐ 1,942 👤 ictar User 🕐 Aggiornato 2024-05-17 📅 Creato 2015-12-18
15
DanMcInerney/xsscrapy

XSS spider - 66/66 wavsep XSS rilevato

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 Aggiornato 2024-06-13 📅 Creato 2014-06-23
16
TheWebScrapingClub/webscraping-from-0-to-hero

Il repository open project per il web scraping mira a condividere conoscenze ed esperienze sullo scraping web con Python.

TheWebScrapingClub
⭐ 1,695 👤 TheWebScrapingClub Organization 🕐 Aggiornato 2024-05-27 📅 Creato 2022-05-26
17
eliasdabbas/advertools

advertools - strumenti di produttività e analisi per il marketing online

eliasdabbas
⭐ 1,508 Python 👤 eliasdabbas User 🕐 Aggiornato 2026-06-30 📅 Creato 2017-05-14
18
scrapy-plugins/scrapy-playwright

Integrazione Playwright per Scrapy

scrapy-plugins
⭐ 1,469 Python 👤 scrapy-plugins Organization 🕐 Aggiornato 2026-11-02 📅 Creato 2020-11-10
19
tb0hdan/domains

Il dataset di domini Internet più grande al mondo

tb0hdan
⭐ 1,181 Shell 👤 tb0hdan User 🕐 Aggiornato 2026-11-11 📅 Creato 2020-01-12
20
xingag/spider_python

web scraper Python

xingag
⭐ 1,165 Python 👤 xingag User 🕐 Aggiornato 2026-08-07 📅 Creato 2018-09-12
21
juancarlospaco/faster-than-requests

Richieste più veloci su Python 3

juancarlospaco
⭐ 1,131 Nim 👤 juancarlospaco User 🕐 Aggiornato 2026-11-19 📅 Creato 2018-11-13
22
vifreefly/kimuraframework

Scrivi web scraper in Ruby usando un DSL pulito e assistito da AI. Kimurai utilizza l'IA per capire dove risiedono i dati, poi mette in cache i selettori e esegue lo scraping con Ruby puro. Ottieni l'intelligenza di un LLM senza latenza per richiesta o costi di token.

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 Aggiornato 2026-01-27 📅 Creato 2018-08-23
23
moyada/stealer

Douyin, Kuaishou, Huoshan, Pipixia, programma per la rimozione delle filigrane video

moyada
⭐ 1,094 Python 👤 moyada User 🕐 Aggiornato 2024-05-21 📅 Creato 2020-04-07
24
clemfromspace/scrapy-selenium

Middleware Scrapy per gestire pagine JavaScript usando Selenium

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 Aggiornato 2026-04-13 📅 Creato 2018-02-11
25
TikHub/TikHub-API-Python-SDK

API (interfaccia) per la risoluzione asincrona ad alte prestazioni di Captcha (risolutore di codici di verifica) per Douyin (抖音), TikTok, Xiaohongshu (小红书), Kuaishou (快手), Weibo (微博), Instagram, YouTube (油管), Twitter (X) con Temp Mail (e-mail temporanea).

TikHub
⭐ 943 Python 👤 TikHub Organization 🕐 Aggiornato 2026-10-03 📅 Creato 2022-12-17
26
hellock/icrawler

Un framework di crawler multi-thread con molti crawler di immagini integrati forniti.

hellock
⭐ 936 Python 👤 hellock User 🕐 Aggiornato 2025-12-10 📅 Creato 2016-03-19
27
superboyyy/xianyu_spider

Web scraper per Xianyu, sviluppato sulla base del client web di Xianyu. Fornisce un'API per la ricerca di prodotti realizzata con FastAPI, che supporta richieste asincrone concorrenti e la deduplicazione e l'archiviazione automatizzate dei dati. Ora supporta anche l'accesso.

superboyyy
⭐ 922 Python 👤 superboyyy User 🕐 Aggiornato 2026-09-18 📅 Creato 2025-06-04
28
scrapinghub/scrapyrt

API HTTP per gli spider di Scrapy

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 Aggiornato 2026-10-13 📅 Creato 2015-01-06
29
alltheplaces/alltheplaces

Un insieme di spider e scraper per estrarre informazioni sulla posizione da luoghi che pubblicano la loro posizione su internet.

alltheplaces
⭐ 851 Python 👤 alltheplaces Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2016-06-15
30
MorvanZhou/easy-scraping-tutorial

Codice di tutorial semplice ma utile per il web scraping in Python.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Aggiornato 2024-04-07 📅 Creato 2017-12-29
31
unnohwn/telegram-scraper

Un potente script Python che ti permette di estrarre messaggi e media dai canali Telegram utilizzando la libreria Telethon. Le funzionalità includono lo scraping continuo in tempo reale, il download di media e le capacità di esportazione dei dati.

unnohwn
⭐ 797 Python 👤 unnohwn User 🕐 Aggiornato 2026-04-11 📅 Creato 2024-11-04
32
scrapy/scrapyd-client

Client da linea di comando per il server Scrapyd

scrapy
⭐ 773 Python 👤 scrapy Organization 🕐 Aggiornato 2026-02-27 📅 Creato 2015-03-27
33
TeamHG-Memex/scrapy-rotating-proxies

usa più proxy con Scrapy

TeamHG-Memex
⭐ 772 Python 👤 TeamHG-Memex Organization 🕐 Aggiornato 2026-04-08 📅 Creato 2017-02-01
34
casual-silva/NewsCrawl

Progetto open source aziendale di crawling di notizie sull'opinione pubblica: supporta l'esecuzione con un clic di un numero qualsiasi di crawler, attività pianificate dei crawler, eliminazione in batch dei crawler; distribuzione con un clic dei crawler; visualizzazione del monitoraggio dei crawler; configurazione della strategia di allocazione dei crawler in cluster; 👉 La documentazione di distribuzione Docker pronta ha già risolto i problemi per te.

casual-silva
⭐ 688 Python 👤 casual-silva User 🕐 Aggiornato 2026-05-23 📅 Creato 2022-07-08
35
lzjqsdd/NewsSpider

Crawling di notizie da Toutiao, NetEase, Tencent ecc. e creazione di un semplice motore di ricerca

lzjqsdd
⭐ 638 Python 👤 lzjqsdd User 🕐 Aggiornato 2024-05-14 📅 Creato 2016-04-19
36
mouday/spider-admin-pro

spider-admin-pro Uno strumento di gestione visiva per la visualizzazione di progetti di crawler Scrapy+Scrapyd e la pianificazione programmata di attività di crawler, la versione aggiornata di SpiderAdmin

mouday
⭐ 614 Python 👤 mouday User 🕐 Aggiornato 2026-06-15 📅 Creato 2021-01-25
37
spekulatius/PHPScraper

Un utility web universale per PHP.

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 Aggiornato 2026-09-08 📅 Creato 2020-04-21
38
AlexMathew/scrapple

Un framework per la creazione di estrattori di contenuti web semi-automatici

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 Aggiornato 2026-01-16 📅 Creato 2014-12-13

Domande frequenti

1

Qual è il repository #scrapy più popolare su GitHub?

Il progetto open source #scrapy più alto in classifica su GitHub è crawlab-team/crawlab, con 12,301 stelle. Piattaforma di amministrazione distribuita per crawler web per la gestione di spider indipendentemente da linguaggi e framework. 分布式爬虫管理平台,支持任何语言和框架

2

Quali linguaggi di programmazione sono più utilizzati nei repository #scrapy?

Tra i progetti #scrapy più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Go, Java, Shell.

3

Come viene calcolata la classifica dei repository #scrapy?

Monitoriamo 38 repository open source attivi contrassegnati con #scrapy (500+ stelle), per un totale di 84,191 stelle e una media di 2,215 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.