Git Stars Git Stars

#web-scraping 仓库

381
仓库总数
2.1M
总星标数
5,636
平均每个仓库星标数

共 382 个仓库

301
z0m31en7/Uscrapper

Uscrapper Vanta:使用这款强大的开源工具深入探索网络。轻松高效地从表面网络和深度网络来源提取宝贵见解。利用 Vanta 的高级功能赋能您的数据挖掘和分析。Uscrapper Vanta 快速、可靠且用户友好,是研究人员和分析师的终极选择。

z0m31en7
⭐ 740 Python 👤 z0m31en7 User 🕐 已更新 2024-11-24 📅 创建时间 2023-05-31
302
djadmin/medium-cli

黑客的 Medium - :computer: Medium 故事的 CLI。

djadmin
⭐ 735 JavaScript 👤 djadmin User 🕐 已更新 2026-02-13 📅 创建时间 2016-01-21
303
drawrowfly/amazon-product-api

Amazon 爬虫。从 Amazon 搜索结果中爬取产品,或从特定产品中爬取评论

drawrowfly
⭐ 734 JavaScript 👤 drawrowfly User 🕐 已更新 2024-07-05 📅 创建时间 2019-10-06
304
ScrapeGraphAI/scrapecraft

由 AI 驱动的网页抓取编辑器,内置可视化工作流构建器。使用自然语言构建、测试和部署网页抓取器。由 ScrapeGraphAI 和 LangGraph 提供支持。

ScrapeGraphAI
⭐ 731 Python 👤 ScrapeGraphAI Organization 🕐 已更新 2025-12-26 📅 创建时间 2025-07-01
305
rubycdp/vessel

快速的高级 Web 爬取 Ruby 框架

rubycdp
⭐ 725 Ruby 👤 rubycdp Organization 🕐 已更新 2026-11-03 📅 创建时间 2019-09-17
306
MorganZhang100
⭐ 725 Python 👤 MorganZhang100 User 🕐 已更新 2024-01-17 📅 创建时间 2015-02-22
307
lzjun567/python_scripts

一些Python相关的演示代码

lzjun567
⭐ 715 HTML 👤 lzjun567 User 🕐 已更新 2024-07-21 📅 创建时间 2017-02-07
308
lhccong/fish-island-backend

摸鱼岛🎣后端 基于爬虫 ➕ Netty ➕ SpringBoot ➕Redis➕ MySQL 开源🌟一站式摸鱼网

lhccong
⭐ 710 Java 👤 lhccong User 🕐 已更新 2026-11-18 📅 创建时间 2025-02-20
309
kovidgoyal/html5-parser

Python 的快速 C 基于 HTML 5 解析

kovidgoyal
⭐ 710 C 👤 kovidgoyal User 🕐 已更新 2026-09-20 📅 创建时间 2017-06-03
310
lumpinif/deepcrawl

100% 免费且完全开源的 Firecrawl edge 替代品,具有更好的链接提取功能,适用于代理 - 您可以自行部署到 Cloudflare 或 Vercel。

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 已更新 2026-08-24 📅 创建时间 2025-05-22
311
maaaaz/webscreenshot

一个用于截取网站列表屏幕截图的简单脚本

maaaaz
⭐ 696 Python 👤 maaaaz User 🕐 已更新 2025-10-19 📅 创建时间 2014-01-12
312
only-cli/oc

将任何网站转换为专为 AI 代理打造的精简 CLI。只需几百个 token,而不是数万个,即可浏览网页。

only-cli
⭐ 694 JavaScript 👤 only-cli User 🕐 已更新 2026-11-17 📅 创建时间 2026-08-18
313
firecrawl/cli

Firecrawl CLI 和智能体技能:从终端或任何编程智能体搜索、抓取网页并与网页交互,还可解析、爬取、绘制站点地图,以及使用 Agent 和 Monitor。Firecrawl 是面向 AI 智能体的上下文 API。

firecrawl
⭐ 694 TypeScript 👤 firecrawl Organization 🕐 已更新 2026-11-19 📅 创建时间 2026-01-07
314
karpathy/hn-time-capsule

使用大型语言模型(LLM)回顾性分析十年前的 Hacker News 讨论

karpathy
⭐ 693 Python 👤 karpathy User 🕐 已更新 2025-12-10 📅 创建时间 2025-12-10
315
xiaosimao/IP_POOL

免费的IP代理池

xiaosimao
⭐ 686 Python 👤 xiaosimao User 🕐 已更新 2025-09-15 📅 创建时间 2017-09-22
316
perkeep/gphotos-cdp

此程序使用 Chrome DevTools Protocol 来驱动一个 Chrome 会话,该会话会下载您存储在 Google Photos 中的照片。

perkeep
⭐ 683 Go 👤 perkeep Organization 🕐 已更新 2024-06-30 📅 创建时间 2019-08-08
317
yixiu001/Free-SS-NODES

免费ss节点获取

yixiu001
⭐ 681 👤 yixiu001 User 🕐 已更新 2024-11-11 📅 创建时间 2024-11-11
318
everyinfra/everyinfra-agent-plugins

EveryInfra MCP 服务器和智能体插件:适用于 TikTok、Instagram、Amazon、YouTube、小红书和抖音的抓取 API。覆盖 106 个平台的 612 个数据 API,每 1,000 次调用低至 0.56 美元。适用于 Claude Code、Cursor 和 Codex。

everyinfra
⭐ 672 Python 👤 everyinfra Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-09-01
319
firecrawl/open-researcher

🔥 可视化 AI 研究助手,实时展示思考过程,提供分屏分析,并使用 Claude 和 Firecrawl 自动生成引用

firecrawl
⭐ 667 TypeScript 👤 firecrawl Organization 🕐 已更新 2025-07-02 📅 创建时间 2025-06-27
320
wimglenn/advent-of-code-data

使用单个 import 语句获取您的 Advent of Code 数据

wimglenn
⭐ 666 Python 👤 wimglenn User 🕐 已更新 2026-08-01 📅 创建时间 2016-12-03
321
oxylabs/Agent-browser

通过远程云会话执行复杂的自动化脚本,集成住宅代理、自动验证码识别以及针对最复杂动态网站的原生 JavaScript 渲染功能。

oxylabs
⭐ 663 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2026-04-17
322
adamschwartz/web.scraper.workers.dev

使用 CSS 选择器从网站抓取文本。

adamschwartz
⭐ 658 JavaScript 👤 adamschwartz User 🕐 已更新 2024-02-14 📅 创建时间 2019-10-10
323
asmcos/requests

一个 Golang HTTP 客户端库。向 python requests 致敬。

asmcos
⭐ 656 Go 👤 asmcos User 🕐 已更新 2026-10-09 📅 创建时间 2018-08-27
324
yanzhou/CnkiSpider

中国知网爬虫

yanzhou
⭐ 653 Python 👤 yanzhou User 🕐 已更新 2025-03-08 📅 创建时间 2014-11-05
325
11firefly11/fir-proxy

一个轮换代理的图形化代理池程序

11firefly11
⭐ 650 Python 👤 11firefly11 User 🕐 已更新 2025-12-04 📅 创建时间 2025-07-22
326
KNKPA/KNKPAnime

KNKPAnime:支持多番剧源与弹幕的看番软件。

KNKPA
⭐ 648 Dart 👤 KNKPA Organization 🕐 已更新 2025-02-01 📅 创建时间 2024-04-20
327
Threezh1/SiteCopy

sitecopy 是一个有助于个人网站备份和网络数据收集的工具

Threezh1
⭐ 647 Python 👤 Threezh1 User 🕐 已更新 2024-01-21 📅 创建时间 2019-12-12
328
ScrapingBee/google-hotels-api

通过集成 Google 酒店API,自动抓取酒店数据,包括价格、房态、评分和预订服务商。

ScrapingBee
⭐ 645 👤 ScrapingBee Organization 🕐 已更新 2026-04-08 📅 创建时间 2026-04-08
⭐ 640 CSS 👤 dreamsofcode-io Organization 🕐 已更新 2024-08-04 📅 创建时间 2024-07-26
330
cfinke/EpsteOut

查看您的LinkedIn联系人中哪些出现在Epstein文件中。

cfinke
⭐ 638 Python 👤 cfinke User 🕐 已更新 2026-10-17 📅 创建时间 2026-02-04
331
lzjqsdd/NewsSpider

爬取今日头条,网易,腾讯等新闻,并建立简单的搜索引擎

lzjqsdd
⭐ 638 Python 👤 lzjqsdd User 🕐 已更新 2024-05-14 📅 创建时间 2016-04-19
332
scrapfly/Antibot-Detector

实时检测反机器人系统、验证码和指纹识别技术。可识别 Cloudflare、Akamai、DataDome、reCAPTCHA、hCaptcha、Shape Security 等,并提供置信度评分和高级捕获工具。

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 已更新 2026-11-17 📅 创建时间 2025-09-03
333
ohyicong/Google-Image-Scraper

用于抓取谷歌图片的库

ohyicong
⭐ 636 Python 👤 ohyicong User 🕐 已更新 2025-02-16 📅 创建时间 2020-07-18
335
deedy5/primp

可以模拟 Web 浏览器的 HTTP 客户端

deedy5
⭐ 634 Rust 👤 deedy5 User 🕐 已更新 2026-09-13 📅 创建时间 2024-04-12
336
achuthasubhash
⭐ 631 👤 achuthasubhash User 🕐 已更新 2024-06-07 📅 创建时间 2020-09-02
337
eliemichel/LilySurfaceScraper

从单个 URL 在 Blender 中导入着色器和环境

eliemichel
⭐ 625 Cython 👤 eliemichel User 🕐 已更新 2026-06-19 📅 创建时间 2019-04-28
338
super-l/superl-url

根据关键词,对搜索引擎内容检索结果的网址内容进行采集的一款程序。可自动从多个搜索引擎采集相关网站的真实地址与标题等信息,可保存为文件,自动去除重复URL。同时,也可以自定义忽略多条域名等。

super-l
⭐ 621 Python 👤 super-l User 🕐 已更新 2025-04-12 📅 创建时间 2017-08-03
339
Lofter1/anyflip-downloader

以 PDF 格式下载 anyflip 图书

Lofter1
⭐ 619 Go 👤 Lofter1 User 🕐 已更新 2026-11-16 📅 创建时间 2023-02-05
340
chenluda/zhihu-download

将知乎专栏文章转换为 Markdown 文件保存到本地

chenluda
⭐ 613 Python 👤 chenluda User 🕐 已更新 2025-03-21 📅 创建时间 2023-05-12
341
liuda30201/AI-Coding

AI 编程福利导航:汇总 Claude Code、Codex、Cursor 中转站与公益站,整理免费额度、注册福利、签到活动和评测记录,提供可视化看板与 Python 数据采集工具。

liuda30201
⭐ 611 HTML 👤 liuda30201 User 🕐 已更新 2026-11-21 📅 创建时间 2026-10-15
342
alchaincyf/huashu-chrome

让任何 AI 智能体操控你自己的 Chrome——保留全部登录状态。MCP + Chrome 扩展,通用于 Claude Code / Codex / Cursor / Gemini CLI。

alchaincyf
⭐ 609 JavaScript 👤 alchaincyf User 🕐 已更新 2026-11-15 📅 创建时间 2026-08-26
343
testusyd/douyin_downloader

抖音福袋扭蛋机,抖音抢福袋工具,自己工作之余用VC++写的,功能还包含了一些其他小功能,抖音无水印视频下载器,抖音直播间录制下载器,抖音批量取消关注取关器

testusyd
⭐ 605 👤 testusyd User 🕐 已更新 2026-03-08 📅 创建时间 2025-05-22
344
ThinkerWen/TicketMonitoring

大麦、猫眼、纷玩岛,票星球,演唱会回流票监控

ThinkerWen
⭐ 605 Python 👤 ThinkerWen User 🕐 已更新 2025-01-24 📅 创建时间 2023-10-22
345
lunnar211/HackFacebokpass

使用 Termux 黑客 Facebook。此工具由 TecnicalDipesh 编码。您可以转储任何 Facebook ID 和密码。

lunnar211
⭐ 603 Python 👤 lunnar211 User 🕐 已更新 2026-03-26 📅 创建时间 2019-11-11
346
web-agent-master/google-search

一个基于 Playwright 的 Node.js 工具,用于绕过搜索引擎的反爬机制来执行 Google 搜索。它是 SERP API 的本地替代方案,并集成了 MCP 服务器。

web-agent-master
⭐ 598 TypeScript 👤 web-agent-master Organization 🕐 已更新 2025-04-06 📅 创建时间 2025-03-04
347
jiuzhi-1/meituan-shenquan

美团 天天神券 地区活动 自动化脚本

jiuzhi-1
⭐ 595 Python 👤 jiuzhi-1 User 🕐 已更新 2024-05-08 📅 创建时间 2021-10-15
348
ytdl-org/ytdl-nightly

youtube-dl 的每日构建。

ytdl-org
⭐ 593 Python 👤 ytdl-org Organization 🕐 已更新 2026-11-06 📅 创建时间 2023-07-02
349
shaikhsajid1111/social-media-profile-scrapers

获取跨社交媒体的用户数据

shaikhsajid1111
⭐ 588 Python 👤 shaikhsajid1111 User 🕐 已更新 2026-09-15 📅 创建时间 2020-04-26
350
spekulatius/PHPScraper

PHP 的通用 Web 工具。

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 已更新 2026-09-08 📅 创建时间 2020-04-21