Git Stars Git Stars

#scraping 仓库

109
仓库总数
768,143
总星标数
7,047
平均每个仓库星标数

共 109 个仓库

51
tinyfish-io/agentql

AgentQL 是一套将您的 AI 连接到网络的工具集。拥有查询语言和 Playwright 集成,可用于快速、精确、大规模地与元素交互和提取数据。包括 REST API、Python 和 JavaScript SDK、浏览器调试器。

tinyfish-io
⭐ 1,510 Python 👤 tinyfish-io Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-02-20
52
rebrowser/rebrowser-patches

用于 puppeteer 和 playwright 的补丁集合,以避免自动化检测和泄露。有助于绕过 Cloudflare 和 DataDome CAPTCHA 页面。易于打补丁/取消补丁,可按需启用/禁用。

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 已更新 2026-11-02 📅 创建时间 2024-08-06
53
ScrapingBee/chatgpt-scraper-api

通过发送带有有效ChatGPT抓取API凭据的提示,从ChatGPT抓取器中收集结构化响应。启用实时搜索,注入HTML上下文,并仅用几个参数自动化智能抓取器ChatGPT工作流。

ScrapingBee
⭐ 1,465 👤 ScrapingBee Organization 🕐 已更新 2026-07-15 📅 创建时间 2026-03-12
54
okfn-brasil/querido-diario

📰 巴西官方公报人人可及 | 📰 巴西政府公报,可供所有人访问。

okfn-brasil
⭐ 1,424 Python 👤 okfn-brasil Organization 🕐 已更新 2026-10-12 📅 创建时间 2018-04-01
55
feder-cr/invisible_puppeteer

让反机器人系统无法检测到的 Python 版 Puppeteer,因此不会遇到验证码:相同的 API、反检测隐身无头 Firefox、无法被检测到的指纹、绕过机器人检测、网页抓取和浏览器自动化。

feder-cr
⭐ 1,403 Python 👤 feder-cr User 🕐 已更新 2026-10-19 📅 创建时间 2024-09-01
56
raznem/parsera

使用LLM抓取网站的轻量级库

raznem
⭐ 1,372 Python 👤 raznem User 🕐 已更新 2025-12-17 📅 创建时间 2024-08-12
57
lorey/mlscraper

🤖 只需提供示例即可自动抓取 HTML 网站的数据

lorey
⭐ 1,370 Python 👤 lorey User 🕐 已更新 2024-03-17 📅 创建时间 2020-07-30
58
scrapy/parsel

Parsel 允许您使用 XPath 或 CSS 选择器从 XML/HTML 文档中提取数据

scrapy
⭐ 1,368 Python 👤 scrapy Organization 🕐 已更新 2026-11-12 📅 创建时间 2015-04-24
59
mov-cli/mov-cli

从您的终端观看所有内容。

mov-cli
⭐ 1,313 Python 👤 mov-cli Organization 🕐 已更新 2025-10-05 📅 创建时间 2022-03-11
60
daijro/browserforge

🎭 智能浏览器标头和指纹生成器

daijro
⭐ 1,298 Python 👤 daijro User 🕐 已更新 2026-10-29 📅 创建时间 2024-03-13
61
plabayo/rama

用于移动和转换网络数据包的模块化服务框架

plabayo
⭐ 1,273 Rust 👤 plabayo Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-08-07
62
Decodo/Decodo

HTTP(S)/SOCKS5 旋转住宅代理 - 代码示例和一般信息。

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 已更新 2026-11-11 📅 创建时间 2019-01-07
63
neon-mmd/websurfx

:rocket: searx 的开源替代品,提供外观现代 :sparkles:、闪电般快速 :zap:、尊重隐私 :disguised_face:、安全 :lock: 的元搜索引擎

neon-mmd
⭐ 1,231 Rust 👤 neon-mmd User 🕐 已更新 2026-11-06 📅 创建时间 2023-04-28
64
datawhores/OF-Scraper

基于原版 onlyfans-scraper,从头重新构想并彻底改进和重新设计的分支,支持 OnlyFans 和 Fansly。

datawhores
⭐ 1,219 Python 👤 datawhores User 🕐 已更新 2026-11-21 📅 创建时间 2023-03-22
65
germondai/trawl

自托管爬取引擎——绕过任何JS挑战和验证码:Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest。FlareSolverr和Byparr的替代品,可直接替换您的*arr堆栈。

germondai
⭐ 1,209 TypeScript 👤 germondai User 🕐 已更新 2026-11-16 📅 创建时间 2026-06-26
66
AndyTheFactory/newspaper4k

📰 Newspaper4k,是备受欢迎的Newspaper3k的一个分支。从新闻网站提取文章、标题和元数据。

AndyTheFactory
⭐ 1,170 Python 👤 AndyTheFactory User 🕐 已更新 2026-11-01 📅 创建时间 2023-10-22
67
bellingcat/auto-archiver

自动归档来自 Google 表格(及更多)的视频、图像和社交媒体内容的链接。

bellingcat
⭐ 1,158 Python 👤 bellingcat Organization 🕐 已更新 2026-11-18 📅 创建时间 2021-01-15
68
soxoj/socid-extractor

⛏️ Maigret背后的提取引擎:将任何个人资料URL转化为涵盖150多个网站的结构化OSINT记录

soxoj
⭐ 1,143 Python 👤 soxoj User 🕐 已更新 2026-11-20 📅 创建时间 2019-11-17
69
ai-to-ai/Auto-Gmail-Creator

使用 Selenium & Seleniumwire (Python) 的开源批量自动 Gmail 创建机器人。请随时就 Django/Flask、ML、AI、GPT、自动化、爬虫与我联系。

ai-to-ai
⭐ 1,138 Python 👤 ai-to-ai User 🕐 已更新 2024-09-26 📅 创建时间 2023-02-20
70
scrapfly/scrapfly-scrapers

适用于 80 多个热门网站的可扩展 Python 网页抓取脚本

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-05-22
71
elixir-crawly/crawly

Crawly,Elixir 的高级 Web 爬虫和抓取框架。

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-03-09
72
online-judge-tools/oj

适用于各种在线评判器的工具。下载样例用例,生成额外测试用例,测试您的代码并提交。

online-judge-tools
⭐ 1,128 Python 👤 online-judge-tools Organization 🕐 已更新 2024-05-03 📅 创建时间 2017-01-05
73
viu-media/viu

从终端获取浏览器动画体验

viu-media
⭐ 1,062 Python 👤 viu-media Organization 🕐 已更新 2026-05-06 📅 创建时间 2024-05-27
74
jfilter/clean-text

🧹 用于文本清理的Python包

jfilter
⭐ 1,031 Python 👤 jfilter User 🕐 已更新 2026-10-26 📅 创建时间 2018-12-06
75
daijro/hrequests

为人类设计的网页抓取

daijro
⭐ 976 Python 👤 daijro User 🕐 已更新 2024-12-01 📅 创建时间 2023-07-06
76
Krasjet/pdf.tocgen

一个用于自动生成 PDF 文件目录的 CLI 工具集。

Krasjet
⭐ 853 Python 👤 Krasjet User 🕐 已更新 2026-05-13 📅 创建时间 2020-07-28
77
leoncvlt/loconotion

📄 将 Notion.so 页面转换为轻量级、可定制的静态网站的 Python 工具

leoncvlt
⭐ 853 Python 👤 leoncvlt User 🕐 已更新 2024-07-22 📅 创建时间 2020-05-16
78
tiliondev/fortress

隐身 Chromium 引擎,只需更改一行代码,即可防止爬虫和浏览器代理被拦截。

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 已更新 2026-11-03 📅 创建时间 2026-07-02
79
MorvanZhou/easy-scraping-tutorial

简单但有用的 Python 网页抓取教程代码。

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 已更新 2024-04-07 📅 创建时间 2017-12-29
80
Lookyloo/lookyloo

Lookyloo 是一个 Web 接口,允许用户捕获网站页面,然后显示相互调用的域名的树状结构。

Lookyloo
⭐ 790 Python 👤 Lookyloo Organization 🕐 已更新 2026-11-20 📅 创建时间 2017-07-23
81
alpkeskin/rota

一个高性能的代理轮换引擎,具备自动IP管理和实时健康监控功能

alpkeskin
⭐ 775 Go 👤 alpkeskin User 🕐 已更新 2026-09-25 📅 创建时间 2024-06-02
82
ZacharyHampton/HomeHarvest

用于抓取房地产数据的 Python 包

ZacharyHampton
⭐ 764 Python 👤 ZacharyHampton User 🕐 已更新 2025-12-26 📅 创建时间 2023-09-15
83
serpapi/google-search-results-python

Google 搜索结果通过 SERP API pip Python 包

serpapi
⭐ 762 Python 👤 serpapi Organization 🕐 已更新 2026-08-18 📅 创建时间 2018-01-10
84
1broseidon/ketch

快速、无状态的网页搜索和抓取 CLI。专为 AI 代理构建。

1broseidon
⭐ 756 Go 👤 1broseidon User 🕐 已更新 2026-11-19 📅 创建时间 2026-03-25
85
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn 个人资料抓取器,返回 JSON 格式的结构化个人资料数据。

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 已更新 2024-04-05 📅 创建时间 2018-12-21
86
prescience-data/dark-knowledge

😈📚 为反侦测和网络隐私爱好者精选的研究论文和演示文稿库。

prescience-data
⭐ 715 JavaScript 👤 prescience-data User 🕐 已更新 2024-02-19 📅 创建时间 2021-04-15
87
Yuvi9587/Kemono-Downloader

Kemono pawchive Downloader 是一款基于 PyQt5 的快速应用程序,用于归档来自 Kemono、Coomer、Bunkr、Erome、Saint2.su、nhentai 和 Discord 等众多网站的内容。它具有创作者浏览器、更新检查器,并支持多线程、多部分下载。会话可以暂停、恢复或恢复过滤器。

Yuvi9587
⭐ 675 Python 👤 Yuvi9587 User 🕐 已更新 2026-11-12 📅 创建时间 2025-05-05
88
ScriptSmith/socialreaper

用于 Facebook、Twitter、Reddit、YouTube、Pinterest 和 Tumblr API 的社交媒体抓取/数据采集库

ScriptSmith
⭐ 668 Python 👤 ScriptSmith User 🕐 已更新 2026-09-29 📅 创建时间 2017-01-31
89
Xonshiz/comic-dl

Comic-dl 是一个命令行工具,用于从各种漫画和漫画面站下载漫画和连环画。支持的站点:readcomiconline.to, mangafox.me, comic naver 等更多。

Xonshiz
⭐ 667 Python 👤 Xonshiz User 🕐 已更新 2025-07-31 📅 创建时间 2016-11-13
90
freelawproject/juriscraper

一个用于抓取美国法院网站元数据的 API。

freelawproject
⭐ 664 HTML 👤 freelawproject Organization 🕐 已更新 2026-11-21 📅 创建时间 2014-08-08
91
AnonCatalyst/Ominis-OSINT

这个 Python 应用程序是一个名为“Ominis OSINT - Web Hunter”的 OSINT(开源情报)工具。它通过查询与用户输入的查询相关的 Google 搜索结果来执行在线信息收集。该工具会提取相关信息,例如标题、URL 以及查询在结果中可能被提及的地方。

AnonCatalyst
⭐ 655 Python 👤 AnonCatalyst User 🕐 已更新 2026-11-17 📅 创建时间 2023-10-09
92
gunkonchi/xscrape

用于收集 X(Twitter)公开数据的异步 Python 客户端——支持搜索、个人资料、话题串、回复和媒体内容。内置账号轮换、自适应速率限制,并可导出为 JSON/CSV/SQLite。

gunkonchi
⭐ 647 Python 👤 gunkonchi User 🕐 已更新 2026-10-20 📅 创建时间 2026-09-26
93
lorey/social-media-profiles-regexs

:card_index: 使用正则表达式提取社交媒体资料及其他

lorey
⭐ 642 Python 👤 lorey User 🕐 已更新 2024-01-11 📅 创建时间 2015-06-24
94
scrapfly/Antibot-Detector

实时检测反机器人系统、验证码和指纹识别技术。可识别 Cloudflare、Akamai、DataDome、reCAPTCHA、hCaptcha、Shape Security 等,并提供置信度评分和高级捕获工具。

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 已更新 2026-11-17 📅 创建时间 2025-09-03
95
l4rm4nd/LinkedInDumper

用于从 LinkedIn API 转储/抓取/提取公司员工的 Python 3 脚本

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 已更新 2026-08-21 📅 创建时间 2022-10-17
96
ksanjeev284/reddit-universal-scraper

Universal Reddit Scraper - 适用于任何 Subreddit 或用户

ksanjeev284
⭐ 620 Python 👤 ksanjeev284 User 🕐 已更新 2026-10-22 📅 创建时间 2025-12-13
97
umihico/docker-selenium-lambda

使用 Python 和 Selenium 在 AWS Lambda 中进行 Chrome 自动化的最简单演示

umihico
⭐ 614 Dockerfile 👤 umihico User 🕐 已更新 2026-11-12 📅 创建时间 2021-03-12
98
kr4ude/onlyfans-scraper

一个允许您从任何 Onlyfans 帐户及更多来源抓取媒体的工具

kr4ude
⭐ 605 Python 👤 kr4ude User 🕐 已更新 2025-11-25 📅 创建时间 2025-11-10
99
drudge/n8n-nodes-puppeteer

用于使用 Puppeteer 进行浏览器自动化的 n8n 节点

drudge
⭐ 589 TypeScript 👤 drudge User 🕐 已更新 2026-05-08 📅 创建时间 2022-05-07
100
spekulatius/PHPScraper

PHP 的通用 Web 工具。

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 已更新 2026-09-08 📅 创建时间 2020-04-21