Git Stars Git Stars

#data-pipeline 仓库

探索 67 个标记为 #data-pipeline 的活跃开源 GitHub 仓库,它们累计获得 219,024 个 Star(平均每个项目 3,269 个)。该主题的领先项目是 xai-org/x-algorithm,拥有 34,361 个 Star。

67
仓库总数
219,024
总星标数
3,269
平均每个仓库星标数
1
xai-org/x-algorithm

为X平台的“For You”推送提供动力的算法

xai-org
⭐ 34,361 Rust 👤 xai-org Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-01-19
2
airbytehq/airbyte

开源数据移动,用于 ELT 管道和 AI 代理 — 从 API、数据库和文件到数据仓库、数据湖和 AI 应用。支持自托管和云端。

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-07-27
3
apache/shardingsphere

使用分布式 SQL 赋能数据智能,实现所有数据库的分片、可扩展性和安全性。

apache
⭐ 20,832 Java 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-01-18
4
debezium/debezium

适用于各种数据库的变更数据捕获。请在 https://github.com/debezium/dbz/issues 提交问题。

debezium
⭐ 13,366 Java 👤 debezium Organization 🕐 已更新 2026-11-20 📅 创建时间 2016-01-22
5
pentaho/pentaho-kettle

Pentaho Data Integration (ETL) 又名 Kettle

pentaho
⭐ 8,419 Java 👤 pentaho Organization 🕐 已更新 2026-11-21 📅 创建时间 2013-10-08
6
meirwah/awesome-workflow-engines

精选的优秀开源工作流引擎列表

meirwah
⭐ 7,967 👤 meirwah User 🕐 已更新 2026-10-11 📅 创建时间 2015-05-20
7
datajuicer/data-juicer

为基础模型处理数据,以及使用基础模型处理数据! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

datajuicer
⭐ 7,266 Python 👤 datajuicer Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-08-01
8
snowplow/snowplow

客户数据基础设施的领导者

snowplow
⭐ 7,052 Scala 👤 snowplow Organization 🕐 已更新 2026-10-19 📅 创建时间 2012-03-01
9
apache/flink-cdc

Flink CDC 是一个流式数据集成工具

apache
⭐ 6,495 Java 👤 apache Organization 🕐 已更新 2026-11-20 📅 创建时间 2020-07-27
10
clidey/whodb

数据访问与运营智能的交汇点

clidey
⭐ 5,065 Go 👤 clidey Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-06-11
11
togethercomputer/RedPajama-Data

RedPajama-Data 存储库包含用于准备用于训练大型语言模型的大型数据集的代码。

togethercomputer
⭐ 4,997 Python 👤 togethercomputer Organization 🕐 已更新 2026-06-03 📅 创建时间 2023-04-14
12
dagucloud/dagu

可自行托管的工作流编排器,适用于主要工作并非编排的团队。使用声明式 YAML 管理脚本、SSH 命令、容器等;将工作流与业务逻辑分离。单一二进制文件,无需数据库,可在硬件资源有限的环境中运行。Airflow、Cron 和作业调度器的替代方案。

dagucloud
⭐ 4,642 Go 👤 dagucloud Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-04-22
13
rudderlabs/rudder-server

注重隐私和安全的 Segment 替代品,使用 Golang 和 React

rudderlabs
⭐ 4,520 Go 👤 rudderlabs Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-07-19
14
bruin-data/ingestr

ingestr 是一个 CLI 工具,可以用单个命令无缝地在任何数据库之间复制数据。

bruin-data
⭐ 4,049 Go 👤 bruin-data Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-02-12
15
adilkhash/Data-Engineering-HowTo

学习数据工程从零开始的有用资源列表

adilkhash
⭐ 4,049 👤 adilkhash User 🕐 已更新 2026-10-30 📅 创建时间 2019-03-28
16
superlinked/sie

为您的智能体所需的所有模型提供开源推理服务器和生产集群。

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-11-07
17
superstreamlabs/memphis

Memphis.dev 是一个高度可扩展且易于使用的数据流平台

superstreamlabs
⭐ 3,442 Go 👤 superstreamlabs Organization 🕐 已更新 2026-03-02 📅 创建时间 2022-02-01
18
whylabs/whylogs

面向机器学习模型和数据管道的开源数据记录库。📚 实时了解数据质量和模型性能。🛡️ 支持注重隐私的数据收集,确保安全性和鲁棒性。📈

whylabs
⭐ 2,819 Jupyter Notebook 👤 whylabs Organization 🕐 已更新 2025-01-10 📅 创建时间 2020-08-14
19
unitedstates/congress-legislators

美国国会成员,1789-至今,以 YAML/JSON/CSV 格式,以及委员会、总统和副总统。

unitedstates
⭐ 2,473 Python 👤 unitedstates Organization 🕐 已更新 2026-11-15 📅 创建时间 2012-09-27
20
elementary-data/elementary

专为数据与分析工程师打造的 dbt 原生数据可观测性解决方案。在几分钟内监控您的数据管道。提供自托管或云服务版本,具备高级功能。

elementary-data
⭐ 2,435 HTML 👤 elementary-data Organization 🕐 已更新 2026-11-18 📅 创建时间 2021-08-30
21
iliane5/meridian

Meridian 通过抓取数百个来源,利用人工智能分析新闻,并提供简洁、个性化的每日简报,从而有效过滤新闻噪音。

iliane5
⭐ 2,415 TypeScript 👤 iliane5 User 🕐 已更新 2025-05-30 📅 创建时间 2025-03-06
22
warproxxx/poly_data

Polymarket 数据检索器,用于获取、处理和结构化 Polymarket 数据,包括市场、订单事件和交易。

warproxxx
⭐ 2,353 Python 👤 warproxxx User 🕐 已更新 2026-09-08 📅 创建时间 2025-10-03
23
reugn/go-streams

Go 的轻量级流处理库

reugn
⭐ 2,178 Go 👤 reugn User 🕐 已更新 2026-01-14 📅 创建时间 2019-04-30
24
datazip-inc/olake-go

OLake Go:一款开源工具,可将数据库、Kafka 和 S3 中的数据复制到 Apache Iceberg 和 Parquet。数据源:Postgres、MySQL、MongoDB、Oracle、MSSQL、DB2、Kafka、S3。原名 datazip-inc/olake。表维护功能位于 datazip-inc/olake-fusion。

datazip-inc
⭐ 2,166 Go 👤 datazip-inc Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-10-15
25
oficcejo/aiagents-stock

复合多AI智能体股票团队分析盯盘系统,基于多个ai智能体,模拟证券分析师团队分析过程,提供全方位的股票投资分析和决策建议,新增游资龙虎榜跟踪分析、板块预警轮动分析,支持批量多线程分析,支持实时监测关键点位,发送警报信息,预留miniqmt接口,支持量化交易,真正做到了ai帮你来炒股,适合大陆A股。下方测试网站请填入deepseek临时key,测试完请删除,否则有泄露风险。注:测试云服务访问过多,数据源有可能会拒绝,如需使用,请部署本地。

oficcejo
⭐ 2,101 Python 👤 oficcejo User 🕐 已更新 2026-10-10 📅 创建时间 2025-10-03
26
pydoit/doit

CLI任务管理与自动化工具

pydoit
⭐ 2,098 Python 👤 pydoit Organization 🕐 已更新 2026-11-21 📅 创建时间 2014-02-14
27
Multiwoven/multiwoven

🔥🔥🔥 开源 Reverse ETL - hightouch 和 census 的替代方案。

Multiwoven
⭐ 1,685 Ruby 👤 Multiwoven Organization 🕐 已更新 2026-11-18 📅 创建时间 2023-10-20
28
bazaarvoice/jolt

用Java编写的JSON到JSON转换库。

bazaarvoice
⭐ 1,674 Java 👤 bazaarvoice Organization 🕐 已更新 2026-10-28 📅 创建时间 2013-02-15
29
tanjiti/sec_profile

爬取secwiki和xuanwu.github.io/sec.today,分析安全信息站点、安全趋势、提取安全工作者账号(twitter,weixin,github等)

tanjiti
⭐ 1,640 HTML 👤 tanjiti User 🕐 已更新 2026-11-21 📅 创建时间 2019-02-19
30
slothflowlabs/duckle

可部署在自有服务器或云端的开源 ETL/ELT。基于 DuckDB 构建:支持无代码/低代码可视化管道或 SQL、446 个组件、dbt、CDC、数据质量、反向 ETL、数据血缘,以及面向 AI 智能体的 MCP。无厂商云,无按行计费。

slothflowlabs
⭐ 1,558 Rust 👤 slothflowlabs Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-05-21
31
xitongsys/parquet-go

用于读取/写入 Parquet 文件的纯 Golang 库

xitongsys
⭐ 1,432 Go 👤 xitongsys User 🕐 已更新 2026-05-08 📅 创建时间 2017-09-02
32
GoogleCloudPlatform/data-science-on-gcp

随附书籍的源代码:Google Cloud Platform 上的数据科学,Valliappa Lakshmanan,O'Reilly 2017

GoogleCloudPlatform
⭐ 1,432 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 已更新 2026-02-20 📅 创建时间 2017-02-10
33
weifuwan/seatunnel-web

让 Apache SeaTunnel 更易于使用。

weifuwan
⭐ 1,406 TypeScript 👤 weifuwan User 🕐 已更新 2026-07-16 📅 创建时间 2026-02-10
34
kkangert/kspider

Kspider 是一个爬虫平台,以图形化方式定义爬虫流程,无需代码即可实现一个爬虫流程,Kspider不仅限爬虫,也可用于WEB自动化测试,更多功能等你探索。

kkangert
⭐ 1,285 Java 👤 kkangert User 🕐 已更新 2024-08-19 📅 创建时间 2024-07-07
35
DataWithBaraa/sql-data-warehouse-project

在 SQL Server 中整合两个源系统(CRM 和 ERP),经过青铜层、白银层和黄金层,构建数据仓库。免费完整项目的文件和脚本。

DataWithBaraa
⭐ 1,089 TSQL 👤 DataWithBaraa User 🕐 已更新 2026-11-06 📅 创建时间 2024-12-30
36
authorjapps/zerocode

zerocode-tdd 是一个由社区开发的免费开源、结果驱动的自动化测试框架,适用于数据管道、ETL、REST API、Kafka(数据流)、数据库和负载场景——所有内容均可通过简单的 JSON 或 YAML 定义,无需编写代码。

authorjapps
⭐ 1,017 Java 👤 authorjapps User 🕐 已更新 2026-11-12 📅 创建时间 2016-07-05
37
estuary/flow

🌊 通过使用 Estuary 管理您的数据流,持续将数据所在的系统同步到您希望数据所在的系统。 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-02-13
38
qiantongtech/qData

qData 是一个轻量、功能完备、原生支持 AI 的开源数据平台。它涵盖数据集成、开发、建模、治理、资产和 API 服务,支持自托管部署、灵活扩展和商业使用。

qiantongtech
⭐ 950 Java 👤 qiantongtech Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-05-17
39
apache/seatunnel-web

SeaTunnel 是一个分布式的、高性能的数据集成平台,用于同步和转换海量数据(离线和实时)。

apache
⭐ 888 Java 👤 apache Organization 🕐 已更新 2026-01-22 📅 创建时间 2022-09-26
40
AgnostiqHQ/covalent

用于在异构计算环境中编排机器学习/高性能/量子计算工作流的 Pythonic 工具。

AgnostiqHQ
⭐ 869 Python 👤 AgnostiqHQ Organization 🕐 已更新 2026-11-16 📅 创建时间 2021-11-03
41
spotify/klio

更智能的音频数据处理流水线。

spotify
⭐ 866 Python 👤 spotify Organization 🕐 已更新 2024-01-10 📅 创建时间 2020-08-07
42
censusreporter/censusreporter

Census Reporter 是由 Knight News Challenge 资助的项目,旨在让记者更容易使用美国人口普查局的信息撰写故事。

censusreporter
⭐ 846 HTML 👤 censusreporter Organization 🕐 已更新 2026-10-26 📅 创建时间 2013-05-20
43
ssp-data/practical-data-engineering

实用数据工程:房地产项目实战指南

ssp-data
⭐ 833 Jupyter Notebook 👤 ssp-data Organization 🕐 已更新 2026-06-25 📅 创建时间 2020-11-18
44
justjavac/weibo-trending-hot-search

微博热搜榜,记录从 2020-11-24 日开始的微博热门搜索。每小时抓取一次数据,按天归档。

justjavac
⭐ 804 TypeScript 👤 justjavac User 🕐 已更新 2026-11-21 📅 创建时间 2020-11-24
45
tidymodels/infer

一个用于 tidyverse 友好型统计推断的 R 包

tidymodels
⭐ 796 R 👤 tidymodels Organization 🕐 已更新 2026-04-13 📅 创建时间 2017-06-05
46
geolonia/japanese-addresses

全国的町丁目级别(277,191条)的住址数据开放数据

geolonia
⭐ 774 JavaScript 👤 geolonia Organization 🕐 已更新 2026-08-05 📅 创建时间 2020-07-12
47
hudl/statsbombpy

轻松地将 StatsBomb 数据流式传输到 Python

hudl
⭐ 758 Python 👤 hudl Organization 🕐 已更新 2026-10-20 📅 创建时间 2020-01-08
48
CZ-NIC/pz

通过 Python 而非常规 Bash 程序轻松处理日常 CLI 操作。 🇺🇦 #supporting

CZ-NIC
⭐ 732 Python 👤 CZ-NIC Organization 🕐 已更新 2025-11-24 📅 创建时间 2020-11-25
49
karpathy/hn-time-capsule

使用大型语言模型(LLM)回顾性分析十年前的 Hacker News 讨论

karpathy
⭐ 693 Python 👤 karpathy User 🕐 已更新 2025-12-10 📅 创建时间 2025-12-10
50
azmatt/chasing_your_tail

一种利用无线信号检测是否被跟踪的工具。

azmatt
⭐ 691 Python 👤 azmatt User 🕐 已更新 2025-02-18 📅 创建时间 2022-01-01

常见问题解答

1

GitHub 上最受欢迎的 #data-pipeline 仓库是什么?

GitHub 上排名第一的开源 #data-pipeline 项目是 xai-org/x-algorithm,拥有 34,361 个 Star。为X平台的“For You”推送提供动力的算法

2

#data-pipeline 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #data-pipeline 项目中,最常见的编程语言是 Python, Java, Go, Rust。

3

#data-pipeline 仓库的排名是如何计算的?

我们跟踪了 67 个标记为 #data-pipeline 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 219,024 个 Star,平均每个仓库拥有 3,269 个 Star。排名每日根据 GitHub API 更新。