Git Stars Git Stars

#crawler 仓库

探索 162 个标记为 #crawler 的活跃开源 GitHub 仓库,它们累计获得 1,111,814 个 Star(平均每个项目 6,863 个)。该主题的领先项目是 firecrawl/firecrawl,拥有 205,758 个 Star。

162
仓库总数
1.1M
总星标数
6,863
平均每个仓库星标数

共 162 个仓库

1
firecrawl/firecrawl

让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-04-15
2
D4Vinci/Scrapling

🕷️ 最强大的网页抓取框架,无论是单个请求还是大规模爬取,都能轻松应对!别害羞,加入我们的 Discord:https://discord.gg/EMgGbDceNQ,并关注我们的账号,每天获取实用技巧:https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 已更新 2026-11-17 📅 创建时间 2024-10-13
3
unclecode/crawl4ai

官方 Crawl4AI Cloud:为 AI 智能体提供的托管式网页抓取、内容提取和搜索 API。免费 API 密钥,每月 1,000 个额度,无需信用卡。完全开源:本仓库提供为其提供支持的 Apache-2.0 爬虫,你也可以自行托管。

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 已更新 2026-11-20 📅 创建时间 2024-05-09
4
scrapy/scrapy

Scrapy,一个快速的高级 Python Web 爬虫和抓取框架。

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 已更新 2026-11-19 📅 创建时间 2010-02-22
5
NaiboWang/EasySpider

易采集:一个可视化浏览器自动化测试/数据采集/网页爬虫软件,可以无代码图形化的设计和执行爬虫任务。别名:ServiceWrapper面向Web应用的智能化服务封装系统。

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 已更新 2026-11-16 📅 创建时间 2020-07-18
6
ScrapeGraphAI/Scrapegraph-ai

基于AI的Python爬虫

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 已更新 2026-10-06 📅 创建时间 2024-01-27
7
iawia002/lux

👾 用 Go 编写的快速简单的视频下载库和 CLI 工具

iawia002
⭐ 31,854 Go 👤 iawia002 User 🕐 已更新 2026-03-29 📅 创建时间 2018-02-24
8
apify/crawlee

Crawlee——一个用于 Node.js 的网络抓取和浏览器自动化库,用于构建可靠的爬虫。用 JavaScript 和 TypeScript 编写。为 AI、LLMs、RAG 或 GPTs 提取数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。支持 Puppeteer、Playwright、Cheerio、JSDOM 和原始 HTTP。既支持有头模式,也支持无头模式。带有代理轮换。

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-08-26
9
gocolly/colly

优雅的Golang爬虫与抓取框架

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 已更新 2026-10-16 📅 创建时间 2017-09-29
10
jhao104/proxy_pool

Python ProxyPool 用于网络爬虫

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 已更新 2026-06-15 📅 创建时间 2016-11-25
11
Evil0ctal/Douyin_TikTok_Download_API

🚀 自托管的抖音、TikTok、B 站数据采集与无水印视频下载 API,支持 AI agent 通过 MCP 调用及离线语音转文字,Docker 一键部署。| 自托管的 TikTok、抖音和 B 站数据采集器及无水印视频下载器——异步 REST API、面向 AI agent 的 MCP 服务器、CLI 和 Web 控制台,另支持对已下载视频进行离线语音转文字。身份池可自动修复,使用 PostgreSQL 归档,一条 `docker compose up` 命令即可启动。

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 已更新 2026-11-20 📅 创建时间 2021-11-07
12
getmaxun/maxun

将任何网站转化为结构化 API。提取、自动化、搜索并监控网络内容。

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-10-23
13
projectdiscovery/katana

下一代爬行和爬虫框架。

projectdiscovery
⭐ 17,878 Go 👤 projectdiscovery Organization 🕐 已更新 2026-11-21 📅 创建时间 2021-01-02
14
codelucas/newspaper

newspaper3k 是一个用于 Python 3 的新闻、全文和文章元数据提取器。高级文档:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 已更新 2026-10-26 📅 创建时间 2013-11-25
15
shengqiangzhang/examples-of-web-crawlers

一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 已更新 2025-06-28 📅 创建时间 2019-03-13
16
s0md3v/Photon

专为OSINT设计的超快爬虫。

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 已更新 2026-10-17 📅 创建时间 2018-03-30
17
crawlab-team/crawlab

分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 已更新 2026-02-10 📅 创建时间 2019-02-10
18
code4craft/webmagic

一个可扩展的Java网络爬虫框架。

code4craft
⭐ 11,660 Java 👤 code4craft User 🕐 已更新 2025-12-20 📅 创建时间 2013-04-23
19
injetlee/Python

Python脚本。模拟登录知乎, 爬虫,操作excel,微信公众号,远程开机

injetlee
⭐ 10,920 Python 👤 injetlee User 🕐 已更新 2026-05-09 📅 创建时间 2016-06-23
20
guyueyingmu/avbook

AV 电影管理系统, avmoo , javbus , javlibrary 爬虫,线上 AV 影片图书馆,AV 磁力链接数据库,Japanese Adult Video Library,Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 已更新 2024-06-01 📅 创建时间 2017-02-19
21
apify/crawlee-python

Crawlee——一个用于 Python 的网页抓取和浏览器自动化库,助您构建可靠的爬虫。通过 Pydantic AI 使用大语言模型提取结构化数据,或使用 Stagehand 以自然语言控制浏览器。支持 BeautifulSoup、Parsel、Playwright 和原始 HTTP。可下载 HTML、PDF、图片及其他文件。内置代理轮换功能。

apify
⭐ 9,679 Python 👤 apify Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-01-10
22
TeamWiseFlow/xiaobei

为OPC/中小微企业量身打造的自媒体获客智能体

TeamWiseFlow
⭐ 8,743 Python 👤 TeamWiseFlow Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-04-24
23
lorien/awesome-web-scraping

用于网络抓取和数据处理的库、工具和 API 列表。

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 已更新 2026-11-21 📅 创建时间 2015-08-12
24
hect0x7/JMComic-Crawler-Python

Python API for JMComic | 提供Python API访问禁漫天堂,同时支持网页端和移动端 | 禁漫天堂GitHub Actions下载器🚀

hect0x7
⭐ 8,148 Python 👤 hect0x7 User 🕐 已更新 2026-11-13 📅 创建时间 2023-04-02
25
alirezamika/autoscraper

一款针对 Python 的智能、自动、快速且轻量级的网页抓取器

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 已更新 2026-07-29 📅 创建时间 2020-08-31
26
mvdctop/Movie_Data_Capture

AI本地媒体元数据爬虫

mvdctop
⭐ 7,449 Python 👤 mvdctop User 🕐 已更新 2026-11-17 📅 创建时间 2019-05-26
27
adbar/trafilatura

Python 和命令行工具,用于从网络上收集文本和元数据:爬取、抓取、提取,以 CSV、JSON、HTML、MD、TXT、XML 输出

adbar
⭐ 7,157 Python 👤 adbar User 🕐 已更新 2026-11-20 📅 创建时间 2019-04-08
28
BruceDone/awesome-crawler

各种语言中优秀的网络爬虫和蜘蛛的合集

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 已更新 2024-06-16 📅 创建时间 2016-10-10
29
bda-research/node-crawler

NodeJS 的 Web 爬虫/蜘蛛 + 服务器端 jQuery ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 已更新 2026-06-18 📅 创建时间 2010-11-25
30
chyroc/WechatSogou

基于搜狗微信搜索的微信公众号爬虫接口

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 已更新 2026-10-23 📅 创建时间 2016-05-09
31
rmax/scrapy-redis

基于 Redis 的 Scrapy 组件。

rmax
⭐ 5,648 Python 👤 rmax User 🕐 已更新 2026-11-21 📅 创建时间 2011-08-29
32
DropsDevopsOrg/ECommerceCrawlers

实战🐍多种网站、电商数据爬虫🕷。包含🕸:淘宝商品、微信公众号、大众点评、企查查、招聘网站、闲鱼、阿里任务、博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评、携程、小米应用商店、安居客、途家民宿❤️❤️❤️。微信爬虫展示项目:

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 已更新 2024-05-22 📅 创建时间 2019-03-29
33
DedSecInside/TorBot

暗网 OSINT 工具

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 已更新 2026-11-12 📅 创建时间 2017-05-17
34
niespodd/browser-fingerprinting

可用对策 🚿 下的机器人保护系统分析。在抓取网络时,如何击败反机器人系统 👻 并绕过浏览器指纹识别脚本 🕵️‍♂️?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 已更新 2026-07-27 📅 创建时间 2021-01-23
35
hiddendevj/Crawler_Illegal_Cases_In_China

本项目用来整理所有中国大陆爬虫开发者涉诉与违规相关的新闻、资料与法律法规。致力于帮助在中国大陆工作的爬虫行业从业者了解我国相关法律,避免触碰数据合规红线。

hiddendevj
⭐ 4,759 HTML 👤 hiddendevj User 🕐 已更新 2026-03-12 📅 创建时间 2019-09-29
36
dataabc/weibo-crawler

新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频

dataabc
⭐ 4,705 Python 👤 dataabc User 🕐 已更新 2026-11-06 📅 创建时间 2019-06-25
37
myreader-io/myGPTReader

一种由社区驱动的方式,可以阅读和聊天AI机器人 - 由chatGPT提供动力。

myreader-io
⭐ 4,416 Python 👤 myreader-io Organization 🕐 已更新 2026-02-05 📅 创建时间 2023-03-08
38
kanasimi/work_crawler

小说漫画下载工具:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 动漫伊甸园 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 无限动漫 动漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;阿尔法波利斯 角川文库 哈梅伦 小说家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.

kanasimi
⭐ 4,391 JavaScript 👤 kanasimi User 🕐 已更新 2026-10-12 📅 创建时间 2016-11-02
39
dotnetcore/DotnetSpider

DotnetSpider,一个 .NET 标准 Web 爬虫库。它是一个轻量、高效且快速的高级 Web 爬虫和抓取框架。

dotnetcore
⭐ 4,142 C# 👤 dotnetcore Organization 🕐 已更新 2026-04-03 📅 创建时间 2016-03-21
40
constverum/ProxyBroker

代理 [查找器 | 检查器 | 服务器]. HTTP(S) & SOCKS :performing_arts:

constverum
⭐ 4,084 Python 👤 constverum User 🕐 已更新 2024-03-18 📅 创建时间 2015-10-11
41
MikeChongCan/scylla

专为人类设计的智能代理池™,用于从互联网提取内容,并在新时代AI中构建您自己的大型语言模型

MikeChongCan
⭐ 4,021 Python 👤 MikeChongCan User 🕐 已更新 2026-11-03 📅 创建时间 2018-04-10
42
Arachni/arachni

Web 应用程序安全扫描器框架

Arachni
⭐ 4,020 Ruby 👤 Arachni Organization 🕐 已更新 2026-04-22 📅 创建时间 2010-08-25
43
hardkoded/puppeteer-sharp

无头 Chrome .NET API

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 已更新 2026-11-21 📅 创建时间 2017-09-30
44
edoardottt/cariddi

获取域名列表,抓取URL,并扫描端点、密钥、API密钥、文件扩展名、令牌等。

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 已更新 2026-11-19 📅 创建时间 2021-04-27
45
3441293738/creatorhub

多平台内容监控·采集·搬运 一个 Web 面板管起抖音 / 小红书 / 快手 / 视频号 / TikTok / 哔哩哔哩 / Instagram / 海外小红书(rednote)

3441293738
⭐ 3,774 Python 👤 3441293738 User 🕐 已更新 2026-11-21 📅 创建时间 2026-07-03
46
Boris-code/feapder

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单,功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 已更新 2026-08-21 📅 创建时间 2021-02-08
47
sqzw-x/mdcx

电影元数据抓取器

sqzw-x
⭐ 3,727 Python 👤 sqzw-x User 🕐 已更新 2026-08-23 📅 创建时间 2023-11-06
48
elliotgao2/toapi

每个网站都提供 API。

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 已更新 2026-08-27 📅 创建时间 2017-11-27
49
Tuhinshubhra/RED_HAWK

信息收集、漏洞扫描和爬取的一体化工具。所有渗透测试人员必备工具

Tuhinshubhra
⭐ 3,491 PHP 👤 Tuhinshubhra User 🕐 已更新 2024-07-31 📅 创建时间 2017-06-11
50
CharlesPikachu/videodl

Videodl: 一款轻量级视频下载器,纯用Python编写。(一款轻量级视频下载器,优先提供高清、无水印下载,支持抖音、快手、小红书、B站、TikTok、YouTube、FIFA+、优酷、腾讯视频、爱奇艺、1905电影网、乐视、芒果TV、咪咕、PPTV、搜狐、Facebook、Twitter、新浪微博、今日头条、网易公开课、全民K歌、央视央视频、酷狗音乐MV、新片场、知乎、百度贴吧、TED等海量流媒体平台。)

CharlesPikachu
⭐ 3,294 Python 👤 CharlesPikachu User 🕐 已更新 2026-11-21 📅 创建时间 2018-07-10

常见问题解答

1

GitHub 上最受欢迎的 #crawler 仓库是什么?

GitHub 上排名第一的开源 #crawler 项目是 firecrawl/firecrawl,拥有 205,758 个 Star。让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。

2

#crawler 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #crawler 项目中,最常见的编程语言是 Python, Go, TypeScript, JavaScript。

3

#crawler 仓库的排名是如何计算的?

我们跟踪了 162 个标记为 #crawler 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 1,111,814 个 Star,平均每个仓库拥有 6,863 个 Star。排名每日根据 GitHub API 更新。