Git Stars Git Stars

#data-extraction 仓库

探索 131 个标记为 #data-extraction 的活跃开源 GitHub 仓库,它们累计获得 729,329 个 Star(平均每个项目 5,567 个)。该主题的领先项目是 firecrawl/firecrawl,拥有 205,758 个 Star。

131
仓库总数
729,329
总星标数
5,567
平均每个仓库星标数

共 131 个仓库

1
firecrawl/firecrawl

让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-04-15
2
D4Vinci/Scrapling

🕷️ 最强大的网页抓取框架,无论是单个请求还是大规模爬取,都能轻松应对!别害羞,加入我们的 Discord:https://discord.gg/EMgGbDceNQ,并关注我们的账号,每天获取实用技巧:https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 已更新 2026-11-17 📅 创建时间 2024-10-13
3
unclecode/crawl4ai

官方 Crawl4AI Cloud:为 AI 智能体提供的托管式网页抓取、内容提取和搜索 API。免费 API 密钥,每月 1,000 个额度,无需信用卡。完全开源:本仓库提供为其提供支持的 Apache-2.0 爬虫,你也可以自行托管。

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 已更新 2026-11-20 📅 创建时间 2024-05-09
4
ScrapeGraphAI/Scrapegraph-ai

基于AI的Python爬虫

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 已更新 2026-10-06 📅 创建时间 2024-01-27
5
browserbase/stagehand

用于提取数据并与网络上任何网站交互的 SDK。立即开始使用 Claude Code、Codex、Eve、Mastra 等工具。

browserbase
⭐ 26,109 TypeScript 👤 browserbase Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-03-24
6
getmaxun/maxun

将任何网站转化为结构化 API。提取、自动化、搜索并监控网络内容。

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-10-23
7
ReFirmLabs/binwalk

固件分析工具

ReFirmLabs
⭐ 14,731 Rust 👤 ReFirmLabs Organization 🕐 已更新 2026-08-11 📅 创建时间 2013-11-15
8
phiresky/ripgrep-all

rga: ripgrep,但也能搜索 PDF、电子书、Office 文档、zip、tar.gz 等。

phiresky
⭐ 9,937 Rust 👤 phiresky User 🕐 已更新 2026-09-17 📅 创建时间 2019-06-04
9
scrapinghub/portia

Scrapy 的视觉抓取

scrapinghub
⭐ 9,479 Python 👤 scrapinghub Organization 🕐 已更新 2024-06-26 📅 创建时间 2014-03-21
10
cv-cat/Spider_XHS

小红书爬虫数据采集,小红书逆向,私信,直播,小红书全域运营解决方案

cv-cat
⭐ 8,542 Python 👤 cv-cat User 🕐 已更新 2026-10-22 📅 创建时间 2023-08-08
11
ericchiang/pup

在命令行解析 HTML

ericchiang
⭐ 8,372 HTML 👤 ericchiang User 🕐 已更新 2024-05-02 📅 创建时间 2014-09-01
12
mgdm/htmlq

类似于 jq,但用于 HTML。

mgdm
⭐ 7,591 Rust 👤 mgdm User 🕐 已更新 2026-05-27 📅 创建时间 2019-05-07
13
browser-act/skills

为AI代理构建的浏览器自动化CLI。突破反机器人壁垒,卡住时跨平台移交给人类。并行多任务执行,独立多会话操作,隔离多账户浏览。

browser-act
⭐ 6,385 Python 👤 browser-act Organization 🕐 已更新 2026-11-04 📅 创建时间 2026-02-06
14
nickscamara/open-deep-research

一个开源的深度研究克隆。使用Firecrawl提取大量网络数据并进行推理的AI代理。

nickscamara
⭐ 6,242 TypeScript 👤 nickscamara User 🕐 已更新 2025-05-07 📅 创建时间 2025-02-03
15
MontFerret/ferret

用于结构化提取工作流的声明式数据自动化语言和Go运行时。

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 已更新 2026-11-19 📅 创建时间 2018-08-23
16
matthewmueller/x-ray

下一个网络爬虫。洞悉<html>中的噪音。

matthewmueller
⭐ 5,899 JavaScript 👤 matthewmueller User 🕐 已更新 2026-08-31 📅 创建时间 2015-02-05
17
vi3k6i5/flashtext

从句子中提取关键词或在句子中替换关键词。

vi3k6i5
⭐ 5,714 Python 👤 vi3k6i5 User 🕐 已更新 2025-04-13 📅 创建时间 2017-08-15
18
Hammer1/cozeworkflows

coze 的200+工作流合集汇总,一直更新

Hammer1
⭐ 5,446 👤 Hammer1 User 🕐 已更新 2025-07-27 📅 创建时间 2025-07-27
19
ultrafunkamsterdam/nodriver

Undetected-Chromedriver 的后继者。为网站自动化、网络爬取、机器人以及任何其他通常会受到 Captcha / CloudFlare / Imperva / hCaptcha 等烦人的反机器人系统阻碍的创意想法提供闪电般快速的框架。

ultrafunkamsterdam
⭐ 4,950 Python 👤 ultrafunkamsterdam User 🕐 已更新 2026-10-26 📅 创建时间 2024-02-20
20
REMitchell/python-scraping

来自书籍《Web Scraping with Python》的代码样本 http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 已更新 2024-06-01 📅 创建时间 2015-06-14
21
AhmadHassan-BTed/Noria

一款面向消息平台的智能代理信息提取工具。Noria 通过聊天接收消息和 URL,抓取网页数据,并根据自定义评分矩阵(如职位、奖学金)评估内容,然后将包含计算所得匹配分数的结构化摘要直接发送到指定的消息账号。

AhmadHassan-BTed
⭐ 4,624 JavaScript 👤 AhmadHassan-BTed User 🕐 已更新 2026-11-10 📅 创建时间 2026-05-31
22
meta/duckling

用于在输入字符串上表达、测试和评估可组合语言规则的语言、引擎和工具。

meta
⭐ 4,328 Haskell 👤 meta Organization 🕐 已更新 2026-03-15 📅 创建时间 2017-03-02
23
tomnomnom/waybackurls

获取 Wayback Machine 为某个域名所知的所有 URL

tomnomnom
⭐ 4,255 Go 👤 tomnomnom User 🕐 已更新 2024-05-01 📅 创建时间 2018-01-24
24
scrapinghub/splash

轻量级、可脚本化的浏览器即服务,带有 HTTP API

scrapinghub
⭐ 4,197 Python 👤 scrapinghub Organization 🕐 已更新 2024-08-02 📅 创建时间 2013-05-20
25
CrawlScript/WebCollector

WebCollector 是一个基于 Java 的开源 Web 爬虫框架。它提供了一些简单的 Web 爬取接口,您可以在 5 分钟内设置一个多线程 Web 爬虫。

CrawlScript
⭐ 3,073 Java 👤 CrawlScript Organization 🕐 已更新 2026-02-10 📅 创建时间 2014-07-12
26
goldsmith/Wikipedia

Wikipedia API 的 Pythonic 包装器

goldsmith
⭐ 3,014 Python 👤 goldsmith User 🕐 已更新 2026-10-25 📅 创建时间 2013-08-20
27
brightdata/brightdata-mcp

一个强大的模型上下文协议 (MCP) 服务器,为公共Web访问提供一站式解决方案。

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 已更新 2026-11-18 📅 创建时间 2025-04-15
28
smalot/pdfparser

PdfParser 是一个独立的 PHP 库,提供了从 PDF 文件提取数据的各种工具。

smalot
⭐ 2,732 PHP 👤 smalot User 🕐 已更新 2026-10-13 📅 创建时间 2013-08-30
29
Predidit/KazumiRules

Kazumi的规则托管仓库,欢迎贡献 ^•ﻌ•^

Predidit
⭐ 2,653 Dart 👤 Predidit User 🕐 已更新 2026-11-13 📅 创建时间 2024-05-22
30
Bistutu/GoMusic

迁移网易云/汽水/QQ音乐歌单至 Apple/Youtube/Spotify Music

Bistutu
⭐ 2,552 Go 👤 Bistutu User 🕐 已更新 2026-11-21 📅 创建时间 2023-10-07
31
tavily-ai/tavily-mcp

具有实时搜索、提取、映射和爬取功能的生产就绪MCP服务器。

tavily-ai
⭐ 2,499 TypeScript 👤 tavily-ai Organization 🕐 已更新 2026-11-18 📅 创建时间 2025-01-27
32
jmespath/jmespath.py

JMESPath 是一种用于 JSON 的查询语言。

jmespath
⭐ 2,458 Python 👤 jmespath Organization 🕐 已更新 2026-04-20 📅 创建时间 2013-02-19
33
saifyxpro/HeadlessX

无法被检测的自托管浏览器自动化平台。由 Camoufox(Firefox)驱动,实现 0% 检测率。专为速度、隐私和可扩展性打造。

saifyxpro
⭐ 2,365 TypeScript 👤 saifyxpro User 🕐 已更新 2026-11-12 📅 创建时间 2025-09-12
34
dataabc/weibo-search

获取微博搜索结果信息,搜索即可以是微博关键词搜索,也可以是微博话题搜索

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 已更新 2026-06-05 📅 创建时间 2020-03-25
35
decaywood/XueQiuSuperSpider

雪球股票信息超级爬虫

decaywood
⭐ 2,326 Java 👤 decaywood User 🕐 已更新 2024-03-27 📅 创建时间 2015-11-24
36
opendatalab/DocLayout-YOLO

DocLayout-YOLO:通过多样化的合成数据和全局到局部的自适应感知增强文档布局分析

opendatalab
⭐ 2,315 Python 👤 opendatalab Organization 🕐 已更新 2026-10-21 📅 创建时间 2024-10-14
39
hhursev/recipe-scrapers

用于抓取食谱数据的Python包

hhursev
⭐ 2,263 Python 👤 hhursev User 🕐 已更新 2026-11-15 📅 创建时间 2015-09-14
40
shcherbak-ai/contextgem

使用大语言模型和决策模型从文档中提取结构化数据和洞察

shcherbak-ai
⭐ 2,095 Python 👤 shcherbak-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-10-11
41
xaitax/TotalRecall

此工具可从 Windows 11 的 Recall 功能中提取和显示数据,提供了一种轻松访问有关 PC 活动快照的信息的方式。

xaitax
⭐ 2,037 Python 👤 xaitax User 🕐 已更新 2024-06-08 📅 创建时间 2024-06-03
42
jmespath/jmespath.php

以声明方式指定如何在 PHP 中从 JSON 文档中提取元素

jmespath
⭐ 2,013 PHP 👤 jmespath Organization 🕐 已更新 2026-11-17 📅 创建时间 2013-07-06
43
KEV0143/Parser-Chitai-Gorod

“Chitai-Gorod”目录的智能解析器。基于任何指定参数(从ISBN到折扣动态)的高速数据收集和结构化处理。

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 已更新 2026-09-17 📅 创建时间 2025-05-18
45
extractus/article-extractor

从给定 URL 提取文章

extractus
⭐ 1,920 TypeScript 👤 extractus Organization 🕐 已更新 2026-08-20 📅 创建时间 2015-11-29
46
Kengxxiao/ArknightsGameData

《明日方舟》游戏数据

Kengxxiao
⭐ 1,907 Lua 👤 Kengxxiao User 🕐 已更新 2026-11-16 📅 创建时间 2019-12-31
47
shuchkin/simplexlsx

解析并从 Excel XLSx 文件中检索数据

shuchkin
⭐ 1,829 PHP 👤 shuchkin User 🕐 已更新 2026-10-20 📅 创建时间 2016-05-25
48
DQinYuan/chinese_province_city_area_mapper

一个用于提取简体中文字符串中省,市和区并能够进行映射,检验和简单绘图的python模块

DQinYuan
⭐ 1,770 Python 👤 DQinYuan User 🕐 已更新 2024-03-19 📅 创建时间 2018-03-04
49
biuuu/star-rail-warp-export

Honkai: Star Rail 抽卡历史导出器

biuuu
⭐ 1,640 JavaScript 👤 biuuu User 🕐 已更新 2026-11-11 📅 创建时间 2023-05-01
50
JonathanLink/PDFLayoutTextStripper

将 PDF 文件转换为文本文件,同时保留原 PDF 的版式。例如,可用于提取 PDF 文件中表格的内容。此类是 Apache PDFBox 库中 PDFTextStripper 类的子类。

JonathanLink
⭐ 1,612 Java 👤 JonathanLink User 🕐 已更新 2026-11-18 📅 创建时间 2015-10-11

常见问题解答

1

GitHub 上最受欢迎的 #data-extraction 仓库是什么?

GitHub 上排名第一的开源 #data-extraction 项目是 firecrawl/firecrawl,拥有 205,758 个 Star。让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。

2

#data-extraction 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #data-extraction 项目中,最常见的编程语言是 Python, TypeScript, JavaScript, Rust。

3

#data-extraction 仓库的排名是如何计算的?

我们跟踪了 131 个标记为 #data-extraction 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 729,329 个 Star,平均每个仓库拥有 5,567 个 Star。排名每日根据 GitHub API 更新。