Git Stars Git Stars

#web-scraping 仓库

381
仓库总数
2.1M
总星标数
5,636
平均每个仓库星标数

共 382 个仓库

151
Nutlope/turboseek

受Perplexity启发的AI搜索引擎

Nutlope
⭐ 1,660 TypeScript 👤 Nutlope User 🕐 已更新 2026-10-23 📅 创建时间 2024-05-26
152
oxylabs/ai-map-py

AI Map 是 Oxylabs AI Studio 推出的一款人工智能驱动的网站地图工具,它使用自然语言提示来智能地发现和提取任何网站上的相关 URL。

oxylabs
⭐ 1,651 👤 oxylabs Organization 🕐 已更新 2026-04-02 📅 创建时间 2025-10-29
153
orangecoding/fredy

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y](轻松寻找真正的房产)- Fredy 会持续在 ImmoScout24、Immowelt、eBay Kleinanzeigen 等平台上搜索欧洲的新公寓、住宅和房源,并通过 Slack、Telegram、电子邮件、Discord 或 ntfy 将结果即时发送给你,让你可以专注于生活中更重要的事情 ;)

orangecoding
⭐ 1,648 JavaScript 👤 orangecoding User 🕐 已更新 2026-11-19 📅 创建时间 2018-01-15
154
Xetera/ghost-cursor

🖱️ 使用 Puppeteer 或在任何 2D 平面上生成类人鼠标移动

Xetera
⭐ 1,634 TypeScript 👤 Xetera User 🕐 已更新 2026-11-04 📅 创建时间 2019-10-15
155
justmarkham/DAT8

华盛顿特区的 General Assembly 2015 数据科学课程

justmarkham
⭐ 1,622 Jupyter Notebook 👤 justmarkham User 🕐 已更新 2024-06-05 📅 创建时间 2015-08-07
156
karust/openserp

面向 AI 智能体和 SEO 的自托管网页搜索。支持 Google、Bing、Yandex、百度、DuckDuckGo 和 Ecosia,并在真实浏览器中渲染:提供排名结果和整洁的网页 Markdown。API、CLI、MCP 🎉

karust
⭐ 1,605 Go 👤 karust User 🕐 已更新 2026-11-19 📅 创建时间 2023-06-23
157
Kaliiiiiiiiii-Vinyzu/patchright-python

Playwright 测试与自动化库的未检测到的 Python 版本。

Kaliiiiiiiiii-Vinyzu
⭐ 1,603 Python 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 已更新 2026-11-10 📅 创建时间 2024-11-02
158
ulixee/hero

专为爬虫设计的网页浏览器

ulixee
⭐ 1,557 TypeScript 👤 ulixee Organization 🕐 已更新 2026-05-16 📅 创建时间 2021-07-28
159
dteviot/WebToEpub

一个简单的 Chrome(和 Firefox)扩展,将网络小说(和其他网页)转换为 EPUB。

dteviot
⭐ 1,544 JavaScript 👤 dteviot User 🕐 已更新 2026-11-20 📅 创建时间 2015-11-23
160
headzoo/surf

Go 中的有状态程序化网页浏览。

headzoo
⭐ 1,533 Go 👤 headzoo User 🕐 已更新 2024-01-24 📅 创建时间 2014-08-25
161
0x676e67/wreq-python

一款符合人体工程学、注重隐私的Python HTTP客户端

0x676e67
⭐ 1,526 Python 👤 0x676e67 User 🕐 已更新 2026-11-15 📅 创建时间 2025-02-10
162
tidyverse/rvest

R 的简单网页抓取

tidyverse
⭐ 1,524 R 👤 tidyverse Organization 🕐 已更新 2026-10-27 📅 创建时间 2014-07-23
163
tinyfish-io/agentql

AgentQL 是一套将您的 AI 连接到网络的工具集。拥有查询语言和 Playwright 集成,可用于快速、精确、大规模地与元素交互和提取数据。包括 REST API、Python 和 JavaScript SDK、浏览器调试器。

tinyfish-io
⭐ 1,510 Python 👤 tinyfish-io Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-02-20
164
liguobao/HouseSearch

地图搜租房:满大街找租房心力交瘁?试试换个方式直接在地图上搜租房!【微信公众号、小程序:人生删除指南】

liguobao
⭐ 1,495 JavaScript 👤 liguobao User 🕐 已更新 2026-11-14 📅 创建时间 2016-08-07
165
antonmedv/finder

CSS 选择器生成器 🗺

antonmedv
⭐ 1,491 HTML 👤 antonmedv User 🕐 已更新 2025-11-20 📅 创建时间 2018-02-20
166
rebrowser/rebrowser-patches

用于 puppeteer 和 playwright 的补丁集合,以避免自动化检测和泄露。有助于绕过 Cloudflare 和 DataDome CAPTCHA 页面。易于打补丁/取消补丁,可按需启用/禁用。

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 已更新 2026-11-02 📅 创建时间 2024-08-06
167
ScrapingBee/chatgpt-scraper-api

通过发送带有有效ChatGPT抓取API凭据的提示,从ChatGPT抓取器中收集结构化响应。启用实时搜索,注入HTML上下文,并仅用几个参数自动化智能抓取器ChatGPT工作流。

ScrapingBee
⭐ 1,465 👤 ScrapingBee Organization 🕐 已更新 2026-07-15 📅 创建时间 2026-03-12
168
Surfer-Org/Protocol

用于导出您个人数据的开源框架。

Surfer-Org
⭐ 1,462 TypeScript 👤 Surfer-Org Organization 🕐 已更新 2024-12-25 📅 创建时间 2024-08-09
169
austin-weeks/miasma

将AI网络爬虫困在无尽的毒坑中。

austin-weeks
⭐ 1,459 Rust 👤 austin-weeks User 🕐 已更新 2026-11-05 📅 创建时间 2026-03-18
170
roach-php/core

PHP 的完整网络抓取工具包。

roach-php
⭐ 1,456 PHP 👤 roach-php Organization 🕐 已更新 2025-10-27 📅 创建时间 2021-08-17
171
wordware-ai/twitter

Twitter个性分析AI代理

wordware-ai
⭐ 1,446 TypeScript 👤 wordware-ai Organization 🕐 已更新 2026-08-02 📅 创建时间 2024-06-03
172
mattsse/chromiumoxide

Chrome Devtools Protocol Rust API

mattsse
⭐ 1,437 Rust 👤 mattsse User 🕐 已更新 2026-04-03 📅 创建时间 2020-11-28
173
Miserlou/SoundScrape

Python 中的 SoundCloud (以及 Bandcamp 和 Mixcloud) 下载器。

Miserlou
⭐ 1,436 Python 👤 Miserlou User 🕐 已更新 2024-06-23 📅 创建时间 2013-12-29
174
foxhui/WebAI2API

WebAI2API:基于 Camoufox 的网页 AI 转 API 工具,支持 LMArena/Gemini 等,多窗口并发与账号隔离。 | Web AI to OpenAI API via Camoufox. Supports LMArena/Gemini and more, multi-window concurrency & account isolation.

foxhui
⭐ 1,429 JavaScript 👤 foxhui User 🕐 已更新 2026-07-10 📅 创建时间 2025-11-23
175
oxylabs/how-to-scrape-google-finance

使用 Web Scraper API 从 Google 财经提取数据,包括股票名称、定价和百分比价格变动。

oxylabs
⭐ 1,403 Python 👤 oxylabs Organization 🕐 已更新 2025-09-23 📅 创建时间 2024-09-25
176
feder-cr/invisible_puppeteer

让反机器人系统无法检测到的 Python 版 Puppeteer,因此不会遇到验证码:相同的 API、反检测隐身无头 Firefox、无法被检测到的指纹、绕过机器人检测、网页抓取和浏览器自动化。

feder-cr
⭐ 1,403 Python 👤 feder-cr User 🕐 已更新 2026-10-19 📅 创建时间 2024-09-01
177
mckaywrigley/clarity-ai

Perplexity的克隆。

mckaywrigley
⭐ 1,401 TypeScript 👤 mckaywrigley User 🕐 已更新 2024-03-28 📅 创建时间 2023-02-19
178
facundoolano/app-store-scraper

从 iTunes App Store 抓取数据

facundoolano
⭐ 1,396 JavaScript 👤 facundoolano User 🕐 已更新 2025-07-27 📅 创建时间 2016-05-31
179
regenrek/deepwiki-mcp

📖 MCP 服务器,用于获取 deepwiki.com 并获取 Cursor 及其他代码编辑器中的最新知识

regenrek
⭐ 1,393 TypeScript 👤 regenrek User 🕐 已更新 2026-03-20 📅 创建时间 2025-04-28
180
sardanioss/httpcloak

Go HTTP 客户端可实现与浏览器完全相同的 TLS/HTTP2 指纹。通过以加密级别(JA3/JA4、Akamai 指纹、头部顺序)完美模拟 Chrome、Firefox 和 Safari,绕过机器人检测。支持 HTTP/1.1、HTTP/2、HTTP/3、会话、Cookies 和代理。

sardanioss
⭐ 1,387 Go 👤 sardanioss User 🕐 已更新 2026-11-14 📅 创建时间 2025-12-28
181
MiniGlome/Archive.org-Downloader

用于下载archive.org图书(PDF格式)的Python3脚本

MiniGlome
⭐ 1,385 Python 👤 MiniGlome User 🕐 已更新 2026-09-27 📅 创建时间 2021-02-17
182
fugary/calibre-douban

Calibre 新的豆瓣元数据源插件。豆瓣不再向公众提供图书 API,因此只能通过网页爬取来获取数据。这是一个基于网页爬取的 Calibre 豆瓣插件。

fugary
⭐ 1,382 Python 👤 fugary User 🕐 已更新 2025-11-08 📅 创建时间 2021-12-12
183
firecrawl/open-scouts

🔥 AI驱动的网络监测平台。创建自动侦察员,在网络上搜索并在发现所需内容时发送电子邮件提醒。

firecrawl
⭐ 1,372 TypeScript 👤 firecrawl Organization 🕐 已更新 2026-11-13 📅 创建时间 2025-11-28
184
sourcegraph/webloop

WebLoop: 具有 Go API 的可脚本化、无头 WebKit。类似于 PhantomJS,但适用于 Go。

sourcegraph
⭐ 1,366 Go 👤 sourcegraph Organization 🕐 已更新 2024-04-01 📅 创建时间 2013-10-27
185
philippta/flyscrape

Flyscrape 是一款命令行网页抓取工具,专为不具备高级编程技能的用户设计。

philippta
⭐ 1,347 Go 👤 philippta User 🕐 已更新 2025-11-24 📅 创建时间 2023-08-28
186
Sniper970119/dianping_spider

大众点评爬虫(全站可爬,解决动态字体加密,非OCR)。持续更新

Sniper970119
⭐ 1,329 Python 👤 Sniper970119 User 🕐 已更新 2026-11-03 📅 创建时间 2021-01-22
187
firecrawl/fire-enrich

由 Firecrawl 和多代理 AI 驱动的 AI 数据增强工具,可将电子邮件转化为包含公司简介、融资数据、技术栈等丰富的数据库

firecrawl
⭐ 1,308 TypeScript 👤 firecrawl Organization 🕐 已更新 2026-10-26 📅 创建时间 2025-06-06
188
AI4Finance-Foundation/FinNLP

让互联网规模的金融数据民主化。

AI4Finance-Foundation
⭐ 1,292 Jupyter Notebook 👤 AI4Finance-Foundation Organization 🕐 已更新 2024-07-01 📅 创建时间 2023-02-07
189
kkangert/kspider

Kspider 是一个爬虫平台,以图形化方式定义爬虫流程,无需代码即可实现一个爬虫流程,Kspider不仅限爬虫,也可用于WEB自动化测试,更多功能等你探索。

kkangert
⭐ 1,285 Java 👤 kkangert User 🕐 已更新 2024-08-19 📅 创建时间 2024-07-07
190
fastcrw/crw

基于 Rust 的快速、轻量级 Firecrawl/Tavily 替代方案。包含用于 AI 代理的 MCP 服务器的网页抓取、爬虫和搜索 API。提供与 Firecrawl 兼容的直接替换 API(/scrape, /crawl, /search)。在 1K URL 基准测试中,速度比 Tavily 快 2.3 倍,比 Firecrawl 快 1.5 倍。仅需 6 MB 内存,单个二进制文件。支持自托管或使用托管云服务。

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-03-02
191
techwithtim/Price-Tracking-Web-Scraper

一个使用Bright Data、Playwright、React和Flask的自动化价格追踪器。

techwithtim
⭐ 1,284 Python 👤 techwithtim User 🕐 已更新 2024-10-17 📅 创建时间 2023-06-23
192
ovobrowsersupport/ovobrowser

源码级 Chromium 指纹内核,检测站按普通 Chrome 评分。能够通过机器人检测测试的源码级 Chromium 指纹内核。不是 JS 注入,而是编译进二进制文件的 C++ 补丁。

ovobrowsersupport
⭐ 1,277 👤 ovobrowsersupport User 🕐 已更新 2026-11-16 📅 创建时间 2026-08-23
193
raawaa/jav-scrapy

批量抓取AV磁链或封面的苦劳力

raawaa
⭐ 1,275 JavaScript 👤 raawaa User 🕐 已更新 2026-10-17 📅 创建时间 2015-10-31
194
TaxyAI/browser-extension

使用 GPT-4 自动化您的浏览器

TaxyAI
⭐ 1,269 TypeScript 👤 TaxyAI Organization 🕐 已更新 2025-01-15 📅 创建时间 2023-03-27
195
chromedp/examples

chromedp 代码示例。

chromedp
⭐ 1,265 Go 👤 chromedp Organization 🕐 已更新 2026-11-18 📅 创建时间 2017-12-26
196
Decodo/Decodo

HTTP(S)/SOCKS5 旋转住宅代理 - 代码示例和一般信息。

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 已更新 2026-11-11 📅 创建时间 2019-01-07
197
MarioVilas/googlesearch

从Python进行Google搜索(非官方)。

MarioVilas
⭐ 1,249 Python 👤 MarioVilas User 🕐 已更新 2025-11-11 📅 创建时间 2012-10-22
198
kairi003/Get-cookies.txt-LOCALLY

获取 cookies.txt,切勿将信息发送到外部。

kairi003
⭐ 1,230 JavaScript 👤 kairi003 User 🕐 已更新 2025-10-07 📅 创建时间 2023-03-01
199
mika-cn/maoxian-web-clipper

一个从网页剪辑信息的网页扩展。保存到您的本地机器以避免信息失效。不用无聊的注册,不收费。

mika-cn
⭐ 1,230 JavaScript 👤 mika-cn User 🕐 已更新 2026-08-23 📅 创建时间 2018-08-09
200
eooce/Auto-login-netlib

自动登录netlib.re网站保活域名

eooce
⭐ 1,220 JavaScript 👤 eooce User 🕐 已更新 2025-11-08 📅 创建时间 2025-11-06