Git Stars Git Stars

#scraper 仓库

128
仓库总数
792,441
总星标数
6,190
平均每个仓库星标数

共 128 个仓库

51
rushter/selectolax

Modest 和 Lexbor 引擎的 Python 绑定。适用于 Python 的带 CSS 选择器的快速 HTML5 解析器。

rushter
⭐ 1,717 Python 👤 rushter User 🕐 已更新 2026-11-10 📅 创建时间 2017-11-26
52
paulpierre/informer

Python 中的 Telegram 大规模监视机器人

paulpierre
⭐ 1,679 Python 👤 paulpierre User 🕐 已更新 2025-10-20 📅 创建时间 2019-12-09
53
consumet/api.consumet.org

现代化的动漫、电影/电视剧、图书、轻小说、漫画等搜索引擎API。

consumet
⭐ 1,623 TypeScript 👤 consumet Organization 🕐 已更新 2026-03-13 📅 创建时间 2022-05-22
54
GramAddict/bot

完全免费且开源的类人 Instagram 机器人。由 UIAutomator2 提供支持,并与几乎所有可以运行 Instagram 的 Android 5.0+ 设备兼容 - 真实的或模拟的。

GramAddict
⭐ 1,558 Python 👤 GramAddict Organization 🕐 已更新 2025-02-16 📅 创建时间 2020-10-29
55
0x676e67/wreq-python

一款符合人体工程学、注重隐私的Python HTTP客户端

0x676e67
⭐ 1,526 Python 👤 0x676e67 User 🕐 已更新 2026-11-15 📅 创建时间 2025-02-10
56
Nriver/Episode-ReName

电视剧/番剧自动化重命名工具, 一键批量改名. 可配合QBittorrent下载后自动重命名, 方便Emby自动刮削. 支持Windows, Linux, MacOS, Docker 和 群晖套件环境运行

Nriver
⭐ 1,488 Python 👤 Nriver User 🕐 已更新 2025-05-19 📅 创建时间 2021-10-19
57
th3unkn0n/osi.ig

信息收集 Instagram.

th3unkn0n
⭐ 1,447 Python 👤 th3unkn0n User 🕐 已更新 2024-02-01 📅 创建时间 2019-11-04
58
justfoolingaround/animdl

一款功能强大、速度快、性能高且轻量级的动漫下载与播放器,适用于您最喜爱的动漫。

justfoolingaround
⭐ 1,437 Python 👤 justfoolingaround User 🕐 已更新 2024-06-13 📅 创建时间 2021-04-15
59
yjl9903/AnimeGarden

动漫花园 镜像站 | 动画 BT 资源聚合站 | 动画 BT 资源开放接口

yjl9903
⭐ 1,414 TypeScript 👤 yjl9903 User 🕐 已更新 2026-11-21 📅 创建时间 2023-04-08
60
mariostoev/finviz

finviz.com 的非官方 API

mariostoev
⭐ 1,373 Python 👤 mariostoev User 🕐 已更新 2026-11-01 📅 创建时间 2017-11-15
61
lorey/mlscraper

🤖 只需提供示例即可自动抓取 HTML 网站的数据

lorey
⭐ 1,370 Python 👤 lorey User 🕐 已更新 2024-03-17 📅 创建时间 2020-07-30
62
felipecsl/wombat

轻量级 Ruby Web 爬虫/抓取器,具有优雅的 DSL,可从页面中提取结构化数据。

felipecsl
⭐ 1,360 Ruby 👤 felipecsl User 🕐 已更新 2026-10-27 📅 创建时间 2011-11-14
63
cinemagoer/cinemagoer

Cinemagoer 是一个 Python 软件包,用于检索和管理 IMDb(我们与其没有任何关联)电影数据库中关于电影、人物和角色的数据。

cinemagoer
⭐ 1,327 Python 👤 cinemagoer Organization 🕐 已更新 2026-11-10 📅 创建时间 2010-08-01
64
huaying/instagram-crawler

无需使用 Instagram API 获取 Instagram 帖子/个人资料/标签数据

huaying
⭐ 1,299 Python 👤 huaying User 🕐 已更新 2024-05-03 📅 创建时间 2017-09-15
65
datawhores/OF-Scraper

基于原版 onlyfans-scraper,从头重新构想并彻底改进和重新设计的分支,支持 OnlyFans 和 Fansly。

datawhores
⭐ 1,219 Python 👤 datawhores User 🕐 已更新 2026-11-21 📅 创建时间 2023-03-22
66
germondai/trawl

自托管爬取引擎——绕过任何JS挑战和验证码:Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest。FlareSolverr和Byparr的替代品,可直接替换您的*arr堆栈。

germondai
⭐ 1,209 TypeScript 👤 germondai User 🕐 已更新 2026-11-16 📅 创建时间 2026-06-26
67
AndyTheFactory/newspaper4k

📰 Newspaper4k,是备受欢迎的Newspaper3k的一个分支。从新闻网站提取文章、标题和元数据。

AndyTheFactory
⭐ 1,170 Python 👤 AndyTheFactory User 🕐 已更新 2026-11-01 📅 创建时间 2023-10-22
68
obitouka/InstagramPrivSniffer

首款匿名查看“Instagram 私密帖子”的工具

obitouka
⭐ 1,163 Python 👤 obitouka User 🕐 已更新 2026-09-18 📅 创建时间 2025-07-09
69
scrapfly/scrapfly-scrapers

适用于 80 多个热门网站的可扩展 Python 网页抓取脚本

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-05-22
70
elixir-crawly/crawly

Crawly,Elixir 的高级 Web 爬虫和抓取框架。

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-03-09
71
0x676e67/wreq

一个符合人体工程学且注重隐私的 Rust HTTP 客户端

0x676e67
⭐ 1,118 Rust 👤 0x676e67 User 🕐 已更新 2026-11-20 📅 创建时间 2024-09-19
72
vifreefly/kimuraframework

使用干净、AI 辅助的 DSL 在 Ruby 中编写网络爬虫。Kimurai 使用 AI 来确定数据的位置,然后缓存选择器并使用纯 Ruby 进行爬取。无需每次请求的延迟或令牌成本,即可获取 LLM 的智能。

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 已更新 2026-01-27 📅 创建时间 2018-08-23
73
jikan-me/jikan

非官方 MyAnimeList PHP+REST API,提供官方 API 以外的功能

jikan-me
⭐ 1,095 PHP 👤 jikan-me Organization 🕐 已更新 2026-11-20 📅 创建时间 2017-01-11
74
klsdf/GreenResourcesManager

一个管理电脑内资源,并提供游戏化的综合管理器

klsdf
⭐ 1,087 JavaScript 👤 klsdf User 🕐 已更新 2026-11-08 📅 创建时间 2025-06-20
75
JosephLai241/URS

通用 Reddit 抓取工具 - 一个全面的 Reddit 抓取/归档命令行工具。

JosephLai241
⭐ 1,048 Python 👤 JosephLai241 User 🕐 已更新 2026-07-11 📅 创建时间 2019-03-20
76
ythx-101/x-tweet-fetcher

无需登录或 API 密钥,即可抓取 X/Twitter 推文、回复、时间线、搜索结果、列表和 X Articles。供 AI 智能体使用的 Python CLI 和库:支持 FxTwitter、Nitter 和浏览器后端,自动回退,统一 JSON 格式,并可选使用 SQLite 存档。免登录免 API 抓取推特推文。

ythx-101
⭐ 1,012 Python 👤 ythx-101 User 🕐 已更新 2026-11-12 📅 创建时间 2026-02-14
77
fredwu/crawler

Elixir 实现的高性能 Web 爬虫/抓取器。

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 已更新 2026-11-21 📅 创建时间 2016-08-08
78
Solr159/JavBoss

开箱即用的本地 JAV/视频刮削、管理、播放软件,支持命令行一键安装和 Docker 部署。只需简单添加目录,即可打造你的私人 JAV/视频媒体库,带给你顶级的浏览体验,懒人必备。| Your local JAV/video manager.

Solr159
⭐ 955 Go 👤 Solr159 User 🕐 已更新 2026-11-15 📅 创建时间 2026-03-21
79
oxylabs/youtube-scraper

YouTube 爬虫,用于轻松收集公开的 YouTube 数据,包括视频和频道信息。

oxylabs
⭐ 937 Java 👤 oxylabs Organization 🕐 已更新 2025-09-23 📅 创建时间 2023-10-11
80
JoMingyu/google-play-scraper

受 <facundoolano/google-play-scraper> 启发的 Python Google Play 爬虫工具

JoMingyu
⭐ 930 Python 👤 JoMingyu User 🕐 已更新 2024-08-05 📅 创建时间 2019-06-04
⭐ 896 Shell 👤 justchokingaround User 🕐 已更新 2026-09-15 📅 创建时间 2022-07-20
82
scrapinghub/scrapyrt

Scrapy爬虫的HTTP API

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 已更新 2026-10-13 📅 创建时间 2015-01-06
83
opensanctions/opensanctions

国际制裁数据、感兴趣人员和政治暴露人员的开放数据库

opensanctions
⭐ 880 Python 👤 opensanctions Organization 🕐 已更新 2026-11-20 📅 创建时间 2015-12-05
84
skrapeit/skrape.it

一个基于 Kotlin 的测试/抓取/解析库,提供分析和从 HTML(服务器端和客户端渲染)中提取数据的能力。它特别强调易用性和高可读性,通过提供直观的 DSL。它旨在成为一个测试库,但也可以方便地用于抓取网站。

skrapeit
⭐ 874 Kotlin 👤 skrapeit User 🕐 已更新 2026-10-20 📅 创建时间 2019-01-14
85
openzim/zimit

从任何网站制作 ZIM 文件,离线冲浪!

openzim
⭐ 872 Python 👤 openzim Organization 🕐 已更新 2026-11-18 📅 创建时间 2016-06-21
86
HDoujinDownloader/HDoujinDownloader

通用同人志和图片画廊下载器

HDoujinDownloader
⭐ 861 Lua 👤 HDoujinDownloader User 🕐 已更新 2026-06-25 📅 创建时间 2019-10-01
87
maoserr/epublifier

将一些网络小说转换为epub格式

maoserr
⭐ 845 TypeScript 👤 maoserr User 🕐 已更新 2026-11-01 📅 创建时间 2020-05-09
88
benibela/xidel

命令行工具,用于从 HTML/XML 页面或 JSON-API 下载并提取数据,使用 CSS、XPath 3.0、XQuery 3.0、JSONiq 或模式匹配。它还可以创建新的或转换后的 XML/HTML/JSON 文档。

benibela
⭐ 836 Pascal 👤 benibela User 🕐 已更新 2025-02-22 📅 创建时间 2015-06-11
89
postmodern/spidr

一个多功能的 Ruby Web 爬虫库,可以爬取一个站点、多个域、特定链接或无限期。Spidr 设计为快速且易用。

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 已更新 2026-01-12 📅 创建时间 2009-03-08
90
kiryano/Scout

免费的潜在客户生成工具。抓取 Instagram、Twitch、TikTok 和 LinkedIn 个人资料。从个人简介中提取电子邮件,通过 SMTP 验证,并导出为 CSV。

kiryano
⭐ 824 Python 👤 kiryano User 🕐 已更新 2026-09-05 📅 创建时间 2026-02-06
91
fanyong920/jvppeteer

Chrome 和 Firefox 的 Java API

fanyong920
⭐ 805 Java 👤 fanyong920 User 🕐 已更新 2026-10-04 📅 创建时间 2020-03-11
92
unnohwn/telegram-scraper

一个强大的Python脚本,允许您使用Telethon库从Telegram频道抓取消息和媒体。功能包括实时连续抓取、媒体下载和数据导出功能。

unnohwn
⭐ 797 Python 👤 unnohwn User 🕐 已更新 2026-04-11 📅 创建时间 2024-11-04
93
Cybrarist/Discount-Bandit

一个用于亚马逊、速卖通、易趣以及更多商店和自定义商店的多用户自托管价格追踪器。当价格匹配用户设置的一个或多个条件时接收通知

Cybrarist
⭐ 765 PHP 👤 Cybrarist User 🕐 已更新 2026-10-26 📅 创建时间 2023-07-06
94
ZacharyHampton/HomeHarvest

用于抓取房地产数据的 Python 包

ZacharyHampton
⭐ 764 Python 👤 ZacharyHampton User 🕐 已更新 2025-12-26 📅 创建时间 2023-09-15
95
graniet/operative-framework

Operative Framework 是一个 Rust 调查 OSINT 框架,您可以与多个目标交互,执行多个模块,与目标创建链接,将报告导出为 PDF 文件,向目标或结果添加笔记,与 RESTFul API 交互,并编写您自己的模块。

graniet
⭐ 742 Rust 👤 graniet User 🕐 已更新 2025-05-17 📅 创建时间 2017-01-03
96
ruippeixotog/scala-scraper

一个用于从HTML页面抓取内容的Scala库

ruippeixotog
⭐ 731 Scala 👤 ruippeixotog User 🕐 已更新 2026-11-05 📅 创建时间 2014-10-12
97
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn 个人资料抓取器,返回 JSON 格式的结构化个人资料数据。

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 已更新 2024-04-05 📅 创建时间 2018-12-21
98
fa0311/TwitterInternalAPIDocument

Twitter 内部 API 文档

fa0311
⭐ 724 Python 👤 fa0311 User 🕐 已更新 2026-11-21 📅 创建时间 2022-09-04
99
cassidoo/scrapers

来自网络各处的爬虫列表。

cassidoo
⭐ 723 👤 cassidoo User 🕐 已更新 2025-02-07 📅 创建时间 2016-04-18
100
AbirHasan2005/TelegramScraper

抓取Telegram群组成员(包括隐藏成员)并添加到您的群组。

AbirHasan2005
⭐ 722 👤 AbirHasan2005 User 🕐 已更新 2026-10-18 📅 创建时间 2020-08-10