#scrapy 仓库
探索 38 个标记为 #scrapy 的活跃开源 GitHub 仓库,它们累计获得 84,191 个 Star(平均每个项目 2,215 个)。该主题的领先项目是 crawlab-team/crawlab,拥有 12,301 个 Star。
共 38 个仓库
实战🐍多种网站、电商数据爬虫🕷。包含🕸:淘宝商品、微信公众号、大众点评、企查查、招聘网站、闲鱼、阿里任务、博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评、携程、小米应用商店、安居客、途家民宿❤️❤️❤️。微信爬虫展示项目:
🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单,功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度
用于 Scrapyd 集群管理、Scrapy 日志分析与可视化、自动打包、定时任务、监控与告警以及移动 UI 的 Web 应用。文档 Docs :point_right:
Web Scraping 开源项目仓库旨在分享有关使用 Python 进行 Web Scraping 的知识和经验。
使用干净、AI 辅助的 DSL 在 Ruby 中编写网络爬虫。Kimurai 使用 AI 来确定数据的位置,然后缓存选择器并使用纯 Ruby 进行爬取。无需每次请求的延迟或令牌成本,即可获取 LLM 的智能。
适用于Douyin(抖音), TikTok, Xiaohongshu(小红书), Kuaishou(快手), Weibo(微博), Instagram, YouTube(油管), Twitter(X)的高性能异步验证码解决器(Captcha Solver)和临时邮箱(Temp Mail)API(接口)。
狠心开源企业级舆情新闻爬虫项目:支持任意数量爬虫一键运行、爬虫定时任务、爬虫批量删除;爬虫一键部署;爬虫监控可视化;配置集群爬虫分配策略;👉 现成的docker一键部署文档已为大家踩坑
spider-admin-pro 一个集爬虫Scrapy+Scrapyd爬虫项目查看 和 爬虫任务定时调度的可视化管理工具,SpiderAdmin的升级版
常见问题解答
GitHub 上最受欢迎的 #scrapy 仓库是什么?
GitHub 上排名第一的开源 #scrapy 项目是 crawlab-team/crawlab,拥有 12,301 个 Star。分布式爬虫管理平台,支持任何语言和框架
#scrapy 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #scrapy 项目中,最常见的编程语言是 Python, Go, Java, Shell。
#scrapy 仓库的排名是如何计算的?
我们跟踪了 38 个标记为 #scrapy 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 84,191 个 Star,平均每个仓库拥有 2,215 个 Star。排名每日根据 GitHub API 更新。