Git Stars Git Stars

#webscraping 仓库

探索 50 个标记为 #webscraping 的活跃开源 GitHub 仓库,它们累计获得 581,593 个 Star(平均每个项目 11,631 个)。该主题的领先项目是 firecrawl/firecrawl,拥有 205,758 个 Star。

50
仓库总数
581,593
总星标数
11,631
平均每个仓库星标数
1
firecrawl/firecrawl

让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-04-15
2
D4Vinci/Scrapling

🕷️ 最强大的网页抓取框架,无论是单个请求还是大规模爬取,都能轻松应对!别害羞,加入我们的 Discord:https://discord.gg/EMgGbDceNQ,并关注我们的账号,每天获取实用技巧:https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 已更新 2026-11-17 📅 创建时间 2024-10-13
3
huginn/huginn

创建代理来监控并代表您行动。您的代理随时待命!

huginn
⭐ 50,601 Ruby 👤 huginn Organization 🕐 已更新 2026-11-21 📅 创建时间 2013-03-10
4
CloakHQ/CloakBrowser

能够通过所有机器人检测测试的隐身版 Chromium。可直接替代 Playwright,并包含源码级指纹补丁。已通过 50 多项测试。

CloakHQ
⭐ 33,007 Python 👤 CloakHQ Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-02-22
5
ScrapeGraphAI/Scrapegraph-ai

基于AI的Python爬虫

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 已更新 2026-10-06 📅 创建时间 2024-01-27
6
assafelovic/gpt-researcher

一个使用任何LLM提供商对任何数据进行深度研究的自主代理

assafelovic
⭐ 30,810 Python 👤 assafelovic User 🕐 已更新 2026-11-12 📅 创建时间 2023-05-12
7
getmaxun/maxun

将任何网站转化为结构化 API。提取、自动化、搜索并监控网络内容。

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-10-23
8
pystardust/ani-cli

一个用于浏览和播放动漫的命令行工具

pystardust
⭐ 14,142 Shell 👤 pystardust User 🕐 已更新 2026-11-20 📅 创建时间 2021-06-09
9
daijro/camoufox

🦊 反检测浏览器

daijro
⭐ 13,533 C 👤 daijro User 🕐 已更新 2026-11-19 📅 创建时间 2024-07-26
10
lorien/awesome-web-scraping

用于网络抓取和数据处理的库、工具和 API 列表。

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 已更新 2026-11-21 📅 创建时间 2015-08-12
11
alirezamika/autoscraper

一款针对 Python 的智能、自动、快速且轻量级的网页抓取器

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 已更新 2026-07-29 📅 创建时间 2020-08-31
12
Kaliiiiiiiiii-Vinyzu/patchright

Playwright 测试和自动化库的未检测版本。

Kaliiiiiiiiii-Vinyzu
⭐ 5,227 TypeScript 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 已更新 2026-11-13 📅 创建时间 2023-11-07
13
niespodd/browser-fingerprinting

可用对策 🚿 下的机器人保护系统分析。在抓取网络时,如何击败反机器人系统 👻 并绕过浏览器指纹识别脚本 🕵️‍♂️?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 已更新 2026-07-27 📅 创建时间 2021-01-23
14
jaypyles/Scraperr

自托管网页抓取器。

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 已更新 2025-10-12 📅 创建时间 2024-07-06
15
itsOwen/CyberScraper-2077

由LLM驱动的强大网络爬虫 | OpenAI, Gemini & Ollama

itsOwen
⭐ 3,302 Python 👤 itsOwen User 🕐 已更新 2026-10-12 📅 创建时间 2024-08-17
16
GodsScion/Auto_job_applier_linkedIn

使用此自动申请工具通过自动化申请流程,让您的求职过程更轻松。

GodsScion
⭐ 3,049 Python 👤 GodsScion User 🕐 已更新 2026-11-08 📅 创建时间 2023-06-17
17
oss-invisible/playwright

隐形 Playwright:反机器人系统无法检测到的 Playwright,因此不会触发验证码:相同的 API、反检测隐身无头 Firefox、无法被检测到的指纹、绕过机器人检测,适用于 Python 网页抓取和浏览器自动化。

oss-invisible
⭐ 2,612 Python 👤 oss-invisible Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-05-13
18
scrapoxy/scrapoxy

Scrapoxy 已停止提供服务。

scrapoxy
⭐ 2,402 👤 scrapoxy User 🕐 已更新 2026-02-07 📅 创建时间 2015-08-28
19
anaskhan96/soup

Go 语言编写的网页抓取工具,类似于 BeautifulSoup

anaskhan96
⭐ 2,302 Go 👤 anaskhan96 User 🕐 已更新 2026-10-24 📅 创建时间 2017-02-23
20
reworkd/tarsier

用于 Web 交互代理的视觉实用工具 👀

reworkd
⭐ 1,746 Jupyter Notebook 👤 reworkd Organization 🕐 已更新 2024-11-25 📅 创建时间 2023-11-09
21
ProxyShard/ShardBrowser

免费、开源的反检测浏览器启动器,适用于网页抓取和多账号管理。由 ShardX 团队开发(前身为 ProxyShard)。在 Chromium 158 中实现引擎级指纹伪装(WebGL / WebGPU / Client Hints / 字体 / TLS),内置 220 多种设备配置文件,并支持通过 SOCKS5 运行稳定的 QUIC + WebRTC。

ProxyShard
⭐ 1,735 TypeScript 👤 ProxyShard User 🕐 已更新 2026-11-21 📅 创建时间 2026-05-30
22
TheWebScrapingClub/webscraping-from-0-to-hero

Web Scraping 开源项目仓库旨在分享有关使用 Python 进行 Web Scraping 的知识和经验。

TheWebScrapingClub
⭐ 1,695 👤 TheWebScrapingClub Organization 🕐 已更新 2024-05-27 📅 创建时间 2022-05-26
23
zohaibbashir/Google-Maps-Scrapper

此代码用于从 Google Maps 执行网络抓取和数据提取。它特别设计用于获取企业信息,包括名称、地址、网站、电话号码、评论等。

zohaibbashir
⭐ 1,651 Python 👤 zohaibbashir User 🕐 已更新 2026-05-18 📅 创建时间 2023-10-17
24
Kaliiiiiiiiii-Vinyzu/patchright-python

Playwright 测试与自动化库的未检测到的 Python 版本。

Kaliiiiiiiiii-Vinyzu
⭐ 1,603 Python 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 已更新 2026-11-10 📅 创建时间 2024-11-02
25
requests-cache/requests-cache

Python requests 的持久 HTTP 缓存

requests-cache
⭐ 1,511 Python 👤 requests-cache Organization 🕐 已更新 2026-11-20 📅 创建时间 2012-04-12
26
cdpdriver/zendriver

基于 ultrafunkamsterdam/nodriver 的闪电般快速、异步优先、不可检测的 Web 抓取/Web 自动化框架。现在支持 Docker!

cdpdriver
⭐ 1,483 Python 👤 cdpdriver Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-10-19
27
m8sec/CrossLinked

通过搜索引擎抓取从LinkedIn提取组织有效员工名称的LinkedIn枚举工具

m8sec
⭐ 1,455 Python 👤 m8sec User 🕐 已更新 2024-11-26 📅 创建时间 2019-05-16
28
jamesturk/scrapeghost

👻 使用 OpenAI 的 GPT API 抓取网站的实验性库。

jamesturk
⭐ 1,439 Python 👤 jamesturk User 🕐 已更新 2026-01-14 📅 创建时间 2023-03-18
29
feder-cr/invisible_puppeteer

让反机器人系统无法检测到的 Python 版 Puppeteer,因此不会遇到验证码:相同的 API、反检测隐身无头 Firefox、无法被检测到的指纹、绕过机器人检测、网页抓取和浏览器自动化。

feder-cr
⭐ 1,403 Python 👤 feder-cr User 🕐 已更新 2026-10-19 📅 创建时间 2024-09-01
30
raznem/parsera

使用LLM抓取网站的轻量级库

raznem
⭐ 1,372 Python 👤 raznem User 🕐 已更新 2025-12-17 📅 创建时间 2024-08-12
31
mov-cli/mov-cli

从您的终端观看所有内容。

mov-cli
⭐ 1,313 Python 👤 mov-cli Organization 🕐 已更新 2025-10-05 📅 创建时间 2022-03-11
32
ovobrowsersupport/ovobrowser

源码级 Chromium 指纹内核,检测站按普通 Chrome 评分。能够通过机器人检测测试的源码级 Chromium 指纹内核。不是 JS 注入,而是编译进二进制文件的 C++ 补丁。

ovobrowsersupport
⭐ 1,277 👤 ovobrowsersupport User 🕐 已更新 2026-11-16 📅 创建时间 2026-08-23
33
scrapfly/scrapfly-scrapers

适用于 80 多个热门网站的可扩展 Python 网页抓取脚本

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-05-22
34
openzim/zimit

从任何网站制作 ZIM 文件,离线冲浪!

openzim
⭐ 872 Python 👤 openzim Organization 🕐 已更新 2026-11-18 📅 创建时间 2016-06-21
35
oss-invisible/playwright_mcp

隐形 Playwright MCP:不会被反机器人系统和验证码检测到的 Playwright MCP 服务器:AI 智能体使用反检测隐身版 Firefox、Python、隐蔽式浏览器自动化、网页抓取和计算机操作来浏览互联网。

oss-invisible
⭐ 869 Python 👤 oss-invisible Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-09-29
36
vil/H4X-Tools

一种模块化、基于终端的 OSINT、勘察和抓取工具包——用 Python 编写,可在 Linux 和 Windows 上运行。

vil
⭐ 857 Python 👤 vil User 🕐 已更新 2026-10-17 📅 创建时间 2022-04-18
37
wodsuz/EasyApplyJobsBot

一个 Python 机器人,可根据您的偏好自动申请 LinkedIn、Glassdoor 等平台的所有“轻松申请”职位。自动登录、自动填写附加问题、自动申请!

wodsuz
⭐ 838 Python 👤 wodsuz User 🕐 已更新 2026-05-18 📅 创建时间 2021-08-09
38
benibela/xidel

命令行工具,用于从 HTML/XML 页面或 JSON-API 下载并提取数据,使用 CSS、XPath 3.0、XQuery 3.0、JSONiq 或模式匹配。它还可以创建新的或转换后的 XML/HTML/JSON 文档。

benibela
⭐ 836 Pascal 👤 benibela User 🕐 已更新 2025-02-22 📅 创建时间 2015-06-11
39
tiliondev/fortress

隐身 Chromium 引擎,只需更改一行代码,即可防止爬虫和浏览器代理被拦截。

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 已更新 2026-11-03 📅 创建时间 2026-07-02
40
Kaliiiiiiiiii-Vinyzu/patchright-nodejs

Playwright 测试和自动化库的未检测到的 NodeJS 版本。

Kaliiiiiiiiii-Vinyzu
⭐ 813 TypeScript 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 已更新 2026-11-10 📅 创建时间 2024-11-02
41
Skallwar/suckit

吸取InTernet

Skallwar
⭐ 812 Rust 👤 Skallwar User 🕐 已更新 2026-03-12 📅 创建时间 2019-10-29
42
feder-cr/invisible_selenium

反机器人系统看不见的 Selenium,因此无需验证码:相同的 API、反检测隐身无头 Firefox、无法被检测到的指纹、绕过机器人检测,以及 Python 网页抓取和浏览器自动化。

feder-cr
⭐ 808 Python 👤 feder-cr User 🕐 已更新 2026-10-19 📅 创建时间 2024-08-16
43
hitarth-gg/zenshin

🔖 基于 Web & Electron 的动漫流媒体应用 for 🐈s

hitarth-gg
⭐ 784 JavaScript 👤 hitarth-gg User 🕐 已更新 2026-05-24 📅 创建时间 2024-08-14
44
ZacharyHampton/HomeHarvest

用于抓取房地产数据的 Python 包

ZacharyHampton
⭐ 764 Python 👤 ZacharyHampton User 🕐 已更新 2025-12-26 📅 创建时间 2023-09-15
45
z0m31en7/Uscrapper

Uscrapper Vanta:使用这款强大的开源工具深入探索网络。轻松高效地从表面网络和深度网络来源提取宝贵见解。利用 Vanta 的高级功能赋能您的数据挖掘和分析。Uscrapper Vanta 快速、可靠且用户友好,是研究人员和分析师的终极选择。

z0m31en7
⭐ 740 Python 👤 z0m31en7 User 🕐 已更新 2024-11-24 📅 创建时间 2023-05-31
46
ScrapeGraphAI/scrapecraft

由 AI 驱动的网页抓取编辑器,内置可视化工作流构建器。使用自然语言构建、测试和部署网页抓取器。由 ScrapeGraphAI 和 LangGraph 提供支持。

ScrapeGraphAI
⭐ 731 Python 👤 ScrapeGraphAI Organization 🕐 已更新 2025-12-26 📅 创建时间 2025-07-01
47
scrapfly/Antibot-Detector

实时检测反机器人系统、验证码和指纹识别技术。可识别 Cloudflare、Akamai、DataDome、reCAPTCHA、hCaptcha、Shape Security 等,并提供置信度评分和高级捕获工具。

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 已更新 2026-11-17 📅 创建时间 2025-09-03
48
adrianhajdin/pricewise

在单个视频中深入了解网页抓取,并构建一个 Next.js 13 电子商务价格跟踪器,该视频将教您数据抓取、cron 作业、发送电子邮件、部署等。

adrianhajdin
⭐ 583 TypeScript 👤 adrianhajdin User 🕐 已更新 2024-07-06 📅 创建时间 2023-09-29
49
jpjacobpadilla/Stealth-Requests

Python 中难以被检测的网页抓取与无缝 HTML 解析!

jpjacobpadilla
⭐ 570 Python 👤 jpjacobpadilla User 🕐 已更新 2026-09-19 📅 创建时间 2024-08-04
50
oxylabs/oxylabs-ai-studio-openclaw

官方 Oxylabs AI-Studio Openclaw 插件

oxylabs
⭐ 549 TypeScript 👤 oxylabs Organization 🕐 已更新 2026-09-16 📅 创建时间 2026-02-26

常见问题解答

1

GitHub 上最受欢迎的 #webscraping 仓库是什么?

GitHub 上排名第一的开源 #webscraping 项目是 firecrawl/firecrawl,拥有 205,758 个 Star。让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。

2

#webscraping 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #webscraping 项目中,最常见的编程语言是 Python, TypeScript, JavaScript, Ruby。

3

#webscraping 仓库的排名是如何计算的?

我们跟踪了 50 个标记为 #webscraping 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 581,593 个 Star,平均每个仓库拥有 11,631 个 Star。排名每日根据 GitHub API 更新。