Git Stars Git Stars

#data-extraction 仓库

131
仓库总数
729,329
总星标数
5,567
平均每个仓库星标数

共 131 个仓库

51
hi-primus/optimus

:truck: 使用 Pandas、Dask、cuDF、Dask-cuDF、Vaex 和 PySpark 轻松实现敏捷数据准备工作流

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 已更新 2024-12-02 📅 创建时间 2017-07-13
52
chinoogawa/fbht

Facebook黑客工具

chinoogawa
⭐ 1,510 Python 👤 chinoogawa User 🕐 已更新 2024-05-09 📅 创建时间 2013-12-16
53
ShilongLee/Crawler

抖音爬虫(a_bogus最新版)、快手、哔哩哔哩、小红书、淘宝、京东、微博等平台爬虫开源api接口服务器。docker一键快速部署。

ShilongLee
⭐ 1,490 JavaScript 👤 ShilongLee User 🕐 已更新 2026-10-19 📅 创建时间 2024-05-24
54
HolographicHat/Yae

更快、更准的原神数据导出工具

HolographicHat
⭐ 1,471 C# 👤 HolographicHat User 🕐 已更新 2026-11-15 📅 创建时间 2022-03-21
55
Miserlou/SoundScrape

Python 中的 SoundCloud (以及 Bandcamp 和 Mixcloud) 下载器。

Miserlou
⭐ 1,436 Python 👤 Miserlou User 🕐 已更新 2024-06-23 📅 创建时间 2013-12-29
56
wyzxxz/heapdump_tool

heapdump敏感信息查询工具,例如查找 spring heapdump中的密码明文,AK,SK等

wyzxxz
⭐ 1,430 👤 wyzxxz User 🕐 已更新 2024-05-21 📅 创建时间 2021-08-06
57
ScrapingBee/ai-web-scraper

使用我们的 AI 抓取工具 API 轻松提取数据。简化数据提取流程,获取干净的 JSON 输出,并自适应页面变化。立即免费试用!

ScrapingBee
⭐ 1,424 👤 ScrapingBee Organization 🕐 已更新 2026-03-13 📅 创建时间 2026-03-12
58
thinh-vu/vnstock

一个对初学者友好但功能强大的 Python 工具包,用于金融分析和自动化 — 旨在让每个人都能轻松进行现代投资

thinh-vu
⭐ 1,422 👤 thinh-vu User 🕐 已更新 2026-11-07 📅 创建时间 2022-02-27
59
facundoolano/app-store-scraper

从 iTunes App Store 抓取数据

facundoolano
⭐ 1,396 JavaScript 👤 facundoolano User 🕐 已更新 2025-07-27 📅 创建时间 2016-05-31
60
raznem/parsera

使用LLM抓取网站的轻量级库

raznem
⭐ 1,372 Python 👤 raznem User 🕐 已更新 2025-12-17 📅 创建时间 2024-08-12
61
philippta/flyscrape

Flyscrape 是一款命令行网页抓取工具,专为不具备高级编程技能的用户设计。

philippta
⭐ 1,347 Go 👤 philippta User 🕐 已更新 2025-11-24 📅 创建时间 2023-08-28
62
mvdbos/php-spider

一个可配置且可扩展的 PHP 网络蜘蛛

mvdbos
⭐ 1,338 PHP 👤 mvdbos User 🕐 已更新 2026-11-02 📅 创建时间 2013-02-25
63
Sniper970119/dianping_spider

大众点评爬虫(全站可爬,解决动态字体加密,非OCR)。持续更新

Sniper970119
⭐ 1,329 Python 👤 Sniper970119 User 🕐 已更新 2026-11-03 📅 创建时间 2021-01-22
64
jbarrow/commonforms

CommonForms — 用于自动检测 PDF 表单字段的开放模型

jbarrow
⭐ 1,309 Python 👤 jbarrow User 🕐 已更新 2026-06-17 📅 创建时间 2025-09-17
65
firecrawl/fire-enrich

由 Firecrawl 和多代理 AI 驱动的 AI 数据增强工具,可将电子邮件转化为包含公司简介、融资数据、技术栈等丰富的数据库

firecrawl
⭐ 1,308 TypeScript 👤 firecrawl Organization 🕐 已更新 2026-10-26 📅 创建时间 2025-06-06
66
fastcrw/crw

基于 Rust 的快速、轻量级 Firecrawl/Tavily 替代方案。包含用于 AI 代理的 MCP 服务器的网页抓取、爬虫和搜索 API。提供与 Firecrawl 兼容的直接替换 API(/scrape, /crawl, /search)。在 1K URL 基准测试中,速度比 Tavily 快 2.3 倍,比 Firecrawl 快 1.5 倍。仅需 6 MB 内存,单个二进制文件。支持自托管或使用托管云服务。

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-03-02
67
raawaa/jav-scrapy

批量抓取AV磁链或封面的苦劳力

raawaa
⭐ 1,275 JavaScript 👤 raawaa User 🕐 已更新 2026-10-17 📅 创建时间 2015-10-31
68
google/textfsm

用于将半结构化文本解析为 Python 表格的 Python 模块。

google
⭐ 1,258 Python 👤 google Organization 🕐 已更新 2026-11-16 📅 创建时间 2015-06-23
69
KillzXGaming/Switch-Toolbox

一个用于编辑多种视频游戏文件格式的工具

KillzXGaming
⭐ 1,249 C# 👤 KillzXGaming User 🕐 已更新 2026-11-15 📅 创建时间 2018-11-12
71
yfedoseev/pdf_oxide

Python 和 Rust 的最快 PDF 库。文本提取、图像提取、Markdown 转换、PDF 创建与编辑。平均 0.8ms,比行业领先者快 5 倍,3,830 个 PDF 100% 通过率。MIT/Apache-2.0。

yfedoseev
⭐ 1,205 Rust 👤 yfedoseev User 🕐 已更新 2026-11-21 📅 创建时间 2025-11-05
72
andreroggeri/pynubank

通过 Python 访问您的 Nubank 报表

andreroggeri
⭐ 1,197 Python 👤 andreroggeri User 🕐 已更新 2026-11-19 📅 创建时间 2017-06-19
73
dchrastil/ScrapedIn

无需 API 限制即可抓取 LinkedIn 数据的工具,用于数据侦察

dchrastil
⭐ 1,168 Python 👤 dchrastil User 🕐 已更新 2024-04-11 📅 创建时间 2018-03-29
74
soxoj/socid-extractor

⛏️ Maigret背后的提取引擎:将任何个人资料URL转化为涵盖150多个网站的结构化OSINT记录

soxoj
⭐ 1,143 Python 👤 soxoj User 🕐 已更新 2026-11-20 📅 创建时间 2019-11-17
76
caolvchong-top/twitter_download

推特 图片 视频 爬虫;一键下载

caolvchong-top
⭐ 1,087 Python 👤 caolvchong-top User 🕐 已更新 2026-07-28 📅 创建时间 2022-08-23
77
utkarshkukreti/select.rs

一个用于从 HTML 文档中提取有用数据的 Rust 库,适用于网络抓取。

utkarshkukreti
⭐ 1,018 Rust 👤 utkarshkukreti User 🕐 已更新 2025-03-19 📅 创建时间 2015-07-15
78
stravalib/stravalib

提供到 Strava REST API (v3) 的简单客户端接口的库。

stravalib
⭐ 1,002 Python 👤 stravalib Organization 🕐 已更新 2026-11-21 📅 创建时间 2013-03-17
79
WittmannF/sort-google-scholar

基于引用次数对 Google Scholar 搜索结果进行排名

WittmannF
⭐ 999 Python 👤 WittmannF User 🕐 已更新 2026-10-30 📅 创建时间 2016-04-30
80
busiyiworld/maimemo-export

用于导出墨墨背单词的词库,并生成适用于 List 背单词,不背单词,欧陆词典等的自定义词库

busiyiworld
⭐ 995 TypeScript 👤 busiyiworld Organization 🕐 已更新 2025-10-30 📅 创建时间 2021-03-29
81
YaoZeyuan/zhihuhelp

基于node&typescript重写知乎助手

YaoZeyuan
⭐ 985 TypeScript 👤 YaoZeyuan User 🕐 已更新 2026-10-24 📅 创建时间 2019-02-04
82
AutoAccountingOrg/AutoAccounting

你的每一笔账单都值得记录!

AutoAccountingOrg
⭐ 984 Kotlin 👤 AutoAccountingOrg Organization 🕐 已更新 2026-10-23 📅 创建时间 2024-01-04
84
paperswithcode/paperswithcode-data

paperswithcode.com 背后的完整数据集

paperswithcode
⭐ 938 👤 paperswithcode Organization 🕐 已更新 2025-09-08 📅 创建时间 2019-01-31
85
browser-use/awesome-prompts

超棒的浏览器使用提示表

browser-use
⭐ 926 👤 browser-use Organization 🕐 已更新 2025-03-26 📅 创建时间 2025-03-26
86
eclaire-labs/eclaire

适用于您数据的本地优先、开源AI助手。统一任务、笔记、文档、照片和书签。私密、自托管,并通过API可扩展。

eclaire-labs
⭐ 925 TypeScript 👤 eclaire-labs Organization 🕐 已更新 2026-11-08 📅 创建时间 2025-09-02
87
goose3/goose3

goose 的 Python 3 兼容版本 http://goose3.readthedocs.io/en/latest/index.html

goose3
⭐ 916 HTML 👤 goose3 Organization 🕐 已更新 2026-07-23 📅 创建时间 2016-12-11
88
Rishikant181/Rettiwt-API

一个用于从 Twitter 免费获取数据的 CLI 工具和 API!

Rishikant181
⭐ 904 TypeScript 👤 Rishikant181 User 🕐 已更新 2026-11-10 📅 创建时间 2022-01-24
⭐ 900 👤 golangboy User 🕐 已更新 2025-03-25 📅 创建时间 2025-03-24
90
Mingtzge/2019-CCF-BDCI-OCR-MCZJ-OCR-IdentificationIDElement

2019CCF-BDCI大赛 最佳创新探索奖获得者 基于OCR身份证要素提取赛题冠军 天晨破晓团队 赛题源码

Mingtzge
⭐ 899 Python 👤 Mingtzge User 🕐 已更新 2024-07-25 📅 创建时间 2019-12-30
91
microsoft/typeagent-py

结构化RAG:摄取、索引、查询

microsoft
⭐ 898 Python 👤 microsoft Organization 🕐 已更新 2026-11-14 📅 创建时间 2025-09-09
93
coddingtonbear/python-myfitnesspal

以编程方式访问存储在 MyFitnessPal 中的餐食跟踪数据

coddingtonbear
⭐ 875 Python 👤 coddingtonbear User 🕐 已更新 2025-09-28 📅 创建时间 2013-07-16
94
frictionlessdata/frictionless-py

用于 Python 的数据管理框架,提供描述、提取、验证和转换表格式数据的能力

frictionlessdata
⭐ 859 Python 👤 frictionlessdata Organization 🕐 已更新 2026-10-15 📅 创建时间 2014-12-23
95
longxiaofei/spider-BaiduIndex

百度指数数据SDK

longxiaofei
⭐ 800 Python 👤 longxiaofei User 🕐 已更新 2025-11-24 📅 创建时间 2018-09-27
96
linkedin/URL-Detector

一个用于在文本中检测和规范化 URL 的 Java 库

linkedin
⭐ 786 Java 👤 linkedin Organization 🕐 已更新 2025-07-12 📅 创建时间 2015-02-06
97
LYiHub/platform-war-public

一个聊天机器人/GraphRAG框架,它根据社交平台用户评论创建多LLM代理,并让他们就特定主题进行辩论。

LYiHub
⭐ 783 Python 👤 LYiHub Organization 🕐 已更新 2024-12-14 📅 创建时间 2024-12-14
98
Higurashi-kagome/wereader

一个浏览器扩展:主要用于微信读书做笔记,对常使用 Markdown 做笔记的读者比较有帮助。

Higurashi-kagome
⭐ 775 TypeScript 👤 Higurashi-kagome User 🕐 已更新 2025-08-31 📅 创建时间 2020-06-04
99
mattsse/voyager

用 rust 爬取和抓取网页

mattsse
⭐ 767 Rust 👤 mattsse User 🕐 已更新 2024-12-14 📅 创建时间 2020-12-22
100
python-mechanize/mechanize

python-mechanize 项目的官方源代码

python-mechanize
⭐ 760 Python 👤 python-mechanize Organization 🕐 已更新 2026-11-16 📅 创建时间 2017-03-08