Git Stars Git Stars

#scraper 仓库

探索 128 个标记为 #scraper 的活跃开源 GitHub 仓库,它们累计获得 792,441 个 Star(平均每个项目 6,190 个)。该主题的领先项目是 firecrawl/firecrawl,拥有 205,758 个 Star。

128
仓库总数
792,441
总星标数
6,190
平均每个仓库星标数

共 128 个仓库

1
firecrawl/firecrawl

让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-04-15
2
unclecode/crawl4ai

官方 Crawl4AI Cloud:为 AI 智能体提供的托管式网页抓取、内容提取和搜索 API。免费 API 密钥,每月 1,000 个额度,无需信用卡。完全开源:本仓库提供为其提供支持的 Apache-2.0 爬虫,你也可以自行托管。

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 已更新 2026-11-20 📅 创建时间 2024-05-09
3
huginn/huginn

创建代理来监控并代表您行动。您的代理随时待命!

huginn
⭐ 50,601 Ruby 👤 huginn Organization 🕐 已更新 2026-11-21 📅 创建时间 2013-03-10
4
NaiboWang/EasySpider

易采集:一个可视化浏览器自动化测试/数据采集/网页爬虫软件,可以无代码图形化的设计和执行爬虫任务。别名:ServiceWrapper面向Web应用的智能化服务封装系统。

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 已更新 2026-11-16 📅 创建时间 2020-07-18
5
iawia002/lux

👾 用 Go 编写的快速简单的视频下载库和 CLI 工具

iawia002
⭐ 31,854 Go 👤 iawia002 User 🕐 已更新 2026-03-29 📅 创建时间 2018-02-24
6
cheeriojs/cheerio

用于解析和操作 HTML 和 XML 的快速、灵活且优雅的库。

cheeriojs
⭐ 30,552 TypeScript 👤 cheeriojs Organization 🕐 已更新 2026-11-20 📅 创建时间 2011-10-09
7
apify/crawlee

Crawlee——一个用于 Node.js 的网络抓取和浏览器自动化库,用于构建可靠的爬虫。用 JavaScript 和 TypeScript 编写。为 AI、LLMs、RAG 或 GPTs 提取数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。支持 Puppeteer、Playwright、Cheerio、JSDOM 和原始 HTTP。既支持有头模式,也支持无头模式。带有代理轮换。

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-08-26
8
gocolly/colly

优雅的Golang爬虫与抓取框架

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 已更新 2026-10-16 📅 创建时间 2017-09-29
9
Evil0ctal/Douyin_TikTok_Download_API

🚀 自托管的抖音、TikTok、B 站数据采集与无水印视频下载 API,支持 AI agent 通过 MCP 调用及离线语音转文字,Docker 一键部署。| 自托管的 TikTok、抖音和 B 站数据采集器及无水印视频下载器——异步 REST API、面向 AI agent 的 MCP 服务器、CLI 和 Web 控制台,另支持对已下载视频进行离线语音转文字。身份池可自动修复,使用 PostgreSQL 归档,一条 `docker compose up` 命令即可启动。

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 已更新 2026-11-20 📅 创建时间 2021-11-07
10
getmaxun/maxun

将任何网站转化为结构化 API。提取、自动化、搜索并监控网络内容。

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-10-23
11
codelucas/newspaper

newspaper3k 是一个用于 Python 3 的新闻、全文和文章元数据提取器。高级文档:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 已更新 2026-10-26 📅 创建时间 2013-11-25
12
NopeCHALLC/nopecha-extension

您的浏览器的自动化验证码破解器。支持 Selenium、Puppeteer、Playwright 等。

NopeCHALLC
⭐ 11,140 👤 NopeCHALLC User 🕐 已更新 2026-10-02 📅 创建时间 2023-03-23
13
guyueyingmu/avbook

AV 电影管理系统, avmoo , javbus , javlibrary 爬虫,线上 AV 影片图书馆,AV 磁力链接数据库,Japanese Adult Video Library,Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 已更新 2024-06-01 📅 创建时间 2017-02-19
14
apify/crawlee-python

Crawlee——一个用于 Python 的网页抓取和浏览器自动化库,助您构建可靠的爬虫。通过 Pydantic AI 使用大语言模型提取结构化数据,或使用 Stagehand 以自然语言控制浏览器。支持 BeautifulSoup、Parsel、Playwright 和原始 HTTP。可下载 HTML、PDF、图片及其他文件。内置代理轮换功能。

apify
⭐ 9,679 Python 👤 apify Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-01-10
15
alirezamika/autoscraper

一款针对 Python 的智能、自动、快速且轻量级的网页抓取器

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 已更新 2026-07-29 📅 创建时间 2020-08-31
16
go-rod/rod

用于网页自动化和抓取的 Chrome DevTools 协议驱动程序。

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 已更新 2026-08-11 📅 创建时间 2020-01-21
17
BruceDone/awesome-crawler

各种语言中优秀的网络爬虫和蜘蛛的合集

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 已更新 2024-06-16 📅 创建时间 2016-10-10
18
mishushakov/llm-scraper

使用LLM将任何网页转换为结构化数据

mishushakov
⭐ 6,956 TypeScript 👤 mishushakov User 🕐 已更新 2026-10-26 📅 创建时间 2024-04-20
19
AhmadIbrahiim/Website-downloader

💡 使用 Node.js 下载任何网站的完整源代码(包括所有资源)。[ Javascripts, Stylesheets, Images ]

AhmadIbrahiim
⭐ 6,206 HTML 👤 AhmadIbrahiim User 🕐 已更新 2026-08-12 📅 创建时间 2019-10-26
20
niespodd/browser-fingerprinting

可用对策 🚿 下的机器人保护系统分析。在抓取网络时,如何击败反机器人系统 👻 并绕过浏览器指纹识别脚本 🕵️‍♂️?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 已更新 2026-07-27 📅 创建时间 2021-01-23
21
d60/twikit

Twitter API 爬虫 | 无需 API 密钥 | Twitter 内部 API | 免费 | Twitter 爬虫 | Twitter 机器人

d60
⭐ 4,785 Python 👤 d60 User 🕐 已更新 2026-03-10 📅 创建时间 2024-01-20
22
fent/node-ytdl-core

JavaScript 写的 YouTube 视频下载器。

fent
⭐ 4,732 JavaScript 👤 fent User 🕐 已更新 2026-11-10 📅 创建时间 2014-06-29
23
joeyism/linkedin_scraper

一个刮取 LinkedIn 用户数据的库

joeyism
⭐ 4,699 Python 👤 joeyism User 🕐 已更新 2026-04-10 📅 创建时间 2017-10-27
24
bjesus/pipet

用于抓取和提取在线资产数据的瑞士军刀工具,专为黑客打造

bjesus
⭐ 4,610 Go 👤 bjesus User 🕐 已更新 2024-10-12 📅 创建时间 2024-08-31
25
myreader-io/myGPTReader

一种由社区驱动的方式,可以阅读和聊天AI机器人 - 由chatGPT提供动力。

myreader-io
⭐ 4,416 Python 👤 myreader-io Organization 🕐 已更新 2026-02-05 📅 创建时间 2023-03-08
26
UltimaHoarder/UltimaScraper

目前专注于成人内容(OnlyFans 等)的数据抓取工具——定期更新

UltimaHoarder
⭐ 4,302 TypeScript 👤 UltimaHoarder User 🕐 已更新 2026-11-21 📅 创建时间 2019-06-24
27
IonicaBizau/scrape-it

🔮 一个面向人类的 Node.js 爬虫。

IonicaBizau
⭐ 4,069 JavaScript 👤 IonicaBizau User 🕐 已更新 2026-11-20 📅 创建时间 2016-04-28
28
edoardottt/cariddi

获取域名列表,抓取URL,并扫描端点、密钥、API密钥、文件扩展名、令牌等。

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 已更新 2026-11-19 📅 创建时间 2021-04-27
29
Anakin-Inc/anakin

开源网页抓取 API。将任何网站转换为整洁的 Markdown 或结构化 JSON。具备反检测浏览器、自动代理选择、支持自托管。一条命令即可:make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 已更新 2026-08-18 📅 创建时间 2026-03-17
30
sqzw-x/mdcx

电影元数据抓取器

sqzw-x
⭐ 3,727 Python 👤 sqzw-x User 🕐 已更新 2026-08-23 📅 创建时间 2023-11-06
31
JavScraper/Emby.Plugins.JavScraper

Emby/Jellyfin 的一个日本电影刮削器插件,可以从某些网站抓取影片信息。

JavScraper
⭐ 3,709 C# 👤 JavScraper User 🕐 已更新 2024-07-08 📅 创建时间 2020-01-20
32
itsOwen/CyberScraper-2077

由LLM驱动的强大网络爬虫 | OpenAI, Gemini & Ollama

itsOwen
⭐ 3,302 Python 👤 itsOwen User 🕐 已更新 2026-10-12 📅 创建时间 2024-08-17
33
aapatre/Automatic-Udemy-Course-Enroller-GET-PAID-UDEMY-COURSES-for-FREE

想免费学习新知识吗?别担心,借助网络抓取和自动化的强大功能,此脚本将为您查找必要的 Udemy 优惠券,并免费为您报名参加付费 Udemy 课程!

aapatre
⭐ 3,289 Python 👤 aapatre User 🕐 已更新 2026-04-28 📅 创建时间 2020-09-12
34
facundoolano/google-play-scraper

从 Google Play 获取数据的 Node.js 爬虫

facundoolano
⭐ 3,005 JavaScript 👤 facundoolano User 🕐 已更新 2026-10-17 📅 创建时间 2015-04-07
35
vladkens/twscrape

用于X/Twitter数据抓取的Python库和命令行工具,支持多账户轮换和内置速率限制处理。

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 已更新 2026-11-19 📅 创建时间 2023-05-05
36
oxylabs/how-to-scrape-google-trends

学习如何使用 Python 和 Oxylabs SERP API 一步步抓取 Google 趋势数据并进行结果比较。提取关键词、它们的热度、按地区细分、相关查询等信息。

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-08-06
37
geziyor/geziyor

Geziyor,Go 的超高速网络爬虫和抓取框架。支持 JS 渲染。

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 已更新 2026-07-02 📅 创建时间 2019-06-06
38
microlinkhq/metascraper

使用 Open Graph、JSON-LD、HTML 元标签和智能回退机制从任何 URL 抓取元数据。

microlinkhq
⭐ 2,754 HTML 👤 microlinkhq Organization 🕐 已更新 2026-11-19 📅 创建时间 2016-05-25
39
jae-jae/QueryList

:spider: 优雅的渐进式PHP采集框架!

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 已更新 2026-10-20 📅 创建时间 2015-12-20
40
Serene-Arc/bulk-downloader-for-reddit

从 Reddit 下载并归档内容

Serene-Arc
⭐ 2,631 Python 👤 Serene-Arc User 🕐 已更新 2026-04-12 📅 创建时间 2018-06-14
41
zerodytrash/TikTok-Live-Connector

适用于 Node.js 的 TikTok LIVE API:一个非官方库,可从 TikTok LIVE 实时接收直播事件(评论、礼物等)。

zerodytrash
⭐ 2,332 TypeScript 👤 zerodytrash User 🕐 已更新 2026-11-11 📅 创建时间 2022-02-04
42
watercrawl/WaterCrawl

将网页内容转换为LLM就绪数据

watercrawl
⭐ 2,244 TypeScript 👤 watercrawl Organization 🕐 已更新 2026-08-17 📅 创建时间 2024-12-15
43
cyberagiinc/DevDocs

完全免费、私有的、基于UI的技术文档MCP服务器。专为编码人员和软件开发人员设计。轻松集成到Cursor, Windsurf, Cline, Roo Code, Claude Desktop App中

cyberagiinc
⭐ 2,106 TypeScript 👤 cyberagiinc Organization 🕐 已更新 2026-02-04 📅 创建时间 2025-01-15
44
PaulMcInnis/JobFunnel

将招聘网站刮取到单个电子表格中,无重复项。

PaulMcInnis
⭐ 2,103 Python 👤 PaulMcInnis User 🕐 已更新 2025-12-04 📅 创建时间 2017-08-25
45
TeamNewPipe/NewPipeExtractor

NewPipe 用于从流媒体网站提取数据的核心库

TeamNewPipe
⭐ 2,070 Java 👤 TeamNewPipe Organization 🕐 已更新 2026-11-19 📅 创建时间 2017-03-01
46
KatrielMoses/MailAccess

免费电子邮件 OSINT 工具,支持 5000 多个平台、身份聚类和数据泄露检测。无需 API 密钥。使用 pip install mailaccess 安装

KatrielMoses
⭐ 1,824 Python 👤 KatrielMoses User 🕐 已更新 2026-11-17 📅 创建时间 2026-05-18
47
eatmoreduck/boss-zhipin-scraper

Boss直聘爬虫 / BOSS直聘职位数据抓取工具,基于 Chrome CDP 协议复用真实登录态,绕过字体反爬,输出明文薪资 JSON/CSV + 薪资技能分析。

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 已更新 2026-11-03 📅 创建时间 2026-06-11
48
website-scraper/node-website-scraper

将网站下载到本地目录(包括所有 CSS、图像、JS 等)

website-scraper
⭐ 1,773 JavaScript 👤 website-scraper Organization 🕐 已更新 2026-11-11 📅 创建时间 2014-09-04
49
oxylabs/how-to-scrape-google-jobs

了解如何使用 Python 和 Oxylabs 的 Google Jobs Scraper API 构建您自己的 Google Jobs Scraper,该工具可以同时为多个搜索查询和地理位置抓取 Google Jobs。https://oxylabs.io/blog/how-to-scrape-google-jobs

oxylabs
⭐ 1,761 Python 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-02-08
50
oxylabs/google-play-scraper

Google Play 抓取工具,用于收集有关应用程序、游戏、电影和电视节目、书籍等的公共详细信息。

oxylabs
⭐ 1,746 Python 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2023-09-01

常见问题解答

1

GitHub 上最受欢迎的 #scraper 仓库是什么?

GitHub 上排名第一的开源 #scraper 项目是 firecrawl/firecrawl,拥有 205,758 个 Star。让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。

2

#scraper 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #scraper 项目中,最常见的编程语言是 Python, TypeScript, Go, JavaScript。

3

#scraper 仓库的排名是如何计算的?

我们跟踪了 128 个标记为 #scraper 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 792,441 个 Star,平均每个仓库拥有 6,190 个 Star。排名每日根据 GitHub API 更新。