Git Stars Git Stars

#scrapy 仓库

探索 38 个标记为 #scrapy 的活跃开源 GitHub 仓库,它们累计获得 84,191 个 Star(平均每个项目 2,215 个)。该主题的领先项目是 crawlab-team/crawlab,拥有 12,301 个 Star。

38
仓库总数
84,191
总星标数
2,215
平均每个仓库星标数
1
crawlab-team/crawlab

分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 已更新 2026-02-10 📅 创建时间 2019-02-10
2
chyroc/WechatSogou

基于搜狗微信搜索的微信公众号爬虫接口

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 已更新 2026-10-23 📅 创建时间 2016-05-09
3
rmax/scrapy-redis

基于 Redis 的 Scrapy 组件。

rmax
⭐ 5,648 Python 👤 rmax User 🕐 已更新 2026-11-21 📅 创建时间 2011-08-29
4
DropsDevopsOrg/ECommerceCrawlers

实战🐍多种网站、电商数据爬虫🕷。包含🕸:淘宝商品、微信公众号、大众点评、企查查、招聘网站、闲鱼、阿里任务、博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评、携程、小米应用商店、安居客、途家民宿❤️❤️❤️。微信爬虫展示项目:

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 已更新 2024-05-22 📅 创建时间 2019-03-29
5
nghuyong/WeiboSpider

持续维护的新浪微博采集工具🚀🚀🚀

nghuyong
⭐ 4,125 Python 👤 nghuyong User 🕐 已更新 2026-06-30 📅 创建时间 2017-10-29
6
Boris-code/feapder

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单,功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 已更新 2026-08-21 📅 创建时间 2021-02-08
7
Gerapy/Gerapy

基于 Scrapy、Scrapyd、Django 和 Vue.js 的分布式爬虫管理框架

Gerapy
⭐ 3,518 Python 👤 Gerapy Organization 🕐 已更新 2026-07-04 📅 创建时间 2017-06-30
8
my8100/scrapydweb

用于 Scrapyd 集群管理、Scrapy 日志分析与可视化、自动打包、定时任务、监控与告警以及移动 UI 的 Web 应用。文档 Docs :point_right:

my8100
⭐ 3,403 Python 👤 my8100 User 🕐 已更新 2025-02-19 📅 创建时间 2018-09-30
9
scrapy-plugins/scrapy-splash

Scrapy+Splash 用于 JavaScript 集成

scrapy-plugins
⭐ 3,230 Python 👤 scrapy-plugins Organization 🕐 已更新 2025-02-11 📅 创建时间 2013-05-13
10
scrapy/scrapyd

一个运行 Scrapy 蜘蛛的服务守护进程

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 已更新 2026-10-23 📅 创建时间 2013-02-01
11
RayXBuilds/Movie_Recommend

历史学习项目:Spark 电影推荐、爬虫、Web 与后台。新版持续开发见 cinematch-recommender。

RayXBuilds
⭐ 3,007 Java 👤 RayXBuilds User 🕐 已更新 2026-10-21 📅 创建时间 2018-04-18
12
dataabc/weibo-search

获取微博搜索结果信息,搜索即可以是微博关键词搜索,也可以是微博话题搜索

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 已更新 2026-06-05 📅 创建时间 2020-03-25
13
QianyanTech/Image-Downloader

从谷歌、必应、百度下载图片。谷歌、百度、必应图片下载。

QianyanTech
⭐ 2,331 Python 👤 QianyanTech Organization 🕐 已更新 2024-07-07 📅 创建时间 2016-07-17
14
ictar/python-doc

简而言之,这里用来存放那些Python文档君们,并且尽力将其翻译成中文~~

ictar
⭐ 1,942 👤 ictar User 🕐 已更新 2024-05-17 📅 创建时间 2015-12-18
15
DanMcInerney/xsscrapy

XSS爬虫 - 66/66 wavsep XSS已检测

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 已更新 2024-06-13 📅 创建时间 2014-06-23
16
TheWebScrapingClub/webscraping-from-0-to-hero

Web Scraping 开源项目仓库旨在分享有关使用 Python 进行 Web Scraping 的知识和经验。

TheWebScrapingClub
⭐ 1,695 👤 TheWebScrapingClub Organization 🕐 已更新 2024-05-27 📅 创建时间 2022-05-26
17
eliasdabbas/advertools

advertools - 在线营销生产力和分析工具

eliasdabbas
⭐ 1,508 Python 👤 eliasdabbas User 🕐 已更新 2026-06-30 📅 创建时间 2017-05-14
18
scrapy-plugins/scrapy-playwright

Scrapy 的 Playwright 集成

scrapy-plugins
⭐ 1,469 Python 👤 scrapy-plugins Organization 🕐 已更新 2026-11-02 📅 创建时间 2020-11-10
19
tb0hdan/domains

世界上最大的单一互联网域名数据集

tb0hdan
⭐ 1,181 Shell 👤 tb0hdan User 🕐 已更新 2026-11-11 📅 创建时间 2020-01-12
⭐ 1,165 Python 👤 xingag User 🕐 已更新 2026-08-07 📅 创建时间 2018-09-12
21
juancarlospaco/faster-than-requests

在 Python 3 上更快的请求

juancarlospaco
⭐ 1,131 Nim 👤 juancarlospaco User 🕐 已更新 2026-11-19 📅 创建时间 2018-11-13
22
vifreefly/kimuraframework

使用干净、AI 辅助的 DSL 在 Ruby 中编写网络爬虫。Kimurai 使用 AI 来确定数据的位置,然后缓存选择器并使用纯 Ruby 进行爬取。无需每次请求的延迟或令牌成本,即可获取 LLM 的智能。

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 已更新 2026-01-27 📅 创建时间 2018-08-23
23
moyada/stealer

抖音、快手、火山、皮皮虾,视频去水印程序

moyada
⭐ 1,094 Python 👤 moyada User 🕐 已更新 2024-05-21 📅 创建时间 2020-04-07
24
clemfromspace/scrapy-selenium

使用 Selenium 处理 JavaScript 页面的 Scrapy 中间件

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 已更新 2026-04-13 📅 创建时间 2018-02-11
25
TikHub/TikHub-API-Python-SDK

适用于Douyin(抖音), TikTok, Xiaohongshu(小红书), Kuaishou(快手), Weibo(微博), Instagram, YouTube(油管), Twitter(X)的高性能异步验证码解决器(Captcha Solver)和临时邮箱(Temp Mail)API(接口)。

TikHub
⭐ 943 Python 👤 TikHub Organization 🕐 已更新 2026-10-03 📅 创建时间 2022-12-17
26
hellock/icrawler

一个提供许多内置图像爬虫的多线程爬虫框架。

hellock
⭐ 936 Python 👤 hellock User 🕐 已更新 2025-12-10 📅 创建时间 2016-03-19
27
superboyyy/xianyu_spider

闲鱼爬虫,基于闲鱼网页端开发,使用 FastAPI 构建的闲鱼商品搜索接口,支持异步并发请求和自动化数据去重存储。现已支持登录。

superboyyy
⭐ 922 Python 👤 superboyyy User 🕐 已更新 2026-09-18 📅 创建时间 2025-06-04
28
scrapinghub/scrapyrt

Scrapy爬虫的HTTP API

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 已更新 2026-10-13 📅 创建时间 2015-01-06
29
alltheplaces/alltheplaces

一组网络爬虫和抓取器,用于从在互联网上发布位置的地点提取位置信息。

alltheplaces
⭐ 851 Python 👤 alltheplaces Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-06-15
30
MorvanZhou/easy-scraping-tutorial

简单但有用的 Python 网页抓取教程代码。

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 已更新 2024-04-07 📅 创建时间 2017-12-29
31
unnohwn/telegram-scraper

一个强大的Python脚本,允许您使用Telethon库从Telegram频道抓取消息和媒体。功能包括实时连续抓取、媒体下载和数据导出功能。

unnohwn
⭐ 797 Python 👤 unnohwn User 🕐 已更新 2026-04-11 📅 创建时间 2024-11-04
32
scrapy/scrapyd-client

Scrapyd 服务器的命令行客户端

scrapy
⭐ 773 Python 👤 scrapy Organization 🕐 已更新 2026-02-27 📅 创建时间 2015-03-27
33
TeamHG-Memex/scrapy-rotating-proxies

使用 Scrapy 的多个代理

TeamHG-Memex
⭐ 772 Python 👤 TeamHG-Memex Organization 🕐 已更新 2026-04-08 📅 创建时间 2017-02-01
34
casual-silva/NewsCrawl

狠心开源企业级舆情新闻爬虫项目:支持任意数量爬虫一键运行、爬虫定时任务、爬虫批量删除;爬虫一键部署;爬虫监控可视化;配置集群爬虫分配策略;👉 现成的docker一键部署文档已为大家踩坑

casual-silva
⭐ 688 Python 👤 casual-silva User 🕐 已更新 2026-05-23 📅 创建时间 2022-07-08
35
lzjqsdd/NewsSpider

爬取今日头条,网易,腾讯等新闻,并建立简单的搜索引擎

lzjqsdd
⭐ 638 Python 👤 lzjqsdd User 🕐 已更新 2024-05-14 📅 创建时间 2016-04-19
36
mouday/spider-admin-pro

spider-admin-pro 一个集爬虫Scrapy+Scrapyd爬虫项目查看 和 爬虫任务定时调度的可视化管理工具,SpiderAdmin的升级版

mouday
⭐ 614 Python 👤 mouday User 🕐 已更新 2026-06-15 📅 创建时间 2021-01-25
37
spekulatius/PHPScraper

PHP 的通用 Web 工具。

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 已更新 2026-09-08 📅 创建时间 2020-04-21
38
AlexMathew/scrapple

用于创建半自动网页内容提取器的框架

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 已更新 2026-01-16 📅 创建时间 2014-12-13

常见问题解答

1

GitHub 上最受欢迎的 #scrapy 仓库是什么?

GitHub 上排名第一的开源 #scrapy 项目是 crawlab-team/crawlab,拥有 12,301 个 Star。分布式爬虫管理平台,支持任何语言和框架

2

#scrapy 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #scrapy 项目中,最常见的编程语言是 Python, Go, Java, Shell。

3

#scrapy 仓库的排名是如何计算的?

我们跟踪了 38 个标记为 #scrapy 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 84,191 个 Star,平均每个仓库拥有 2,215 个 Star。排名每日根据 GitHub API 更新。