Git Stars Git Stars

#data-pipelines 仓库

探索 50 个标记为 #data-pipelines 的活跃开源 GitHub 仓库,它们累计获得 323,108 个 Star(平均每个项目 6,462 个)。该主题的领先项目是 twitter/the-algorithm,拥有 73,884 个 Star。

50
仓库总数
323,108
总星标数
6,462
平均每个仓库星标数
1
twitter/the-algorithm

X推荐算法的源代码

twitter
⭐ 73,884 Scala 👤 twitter Organization 🕐 已更新 2025-09-08 📅 创建时间 2023-03-27
2
pathwaycom/pathway

用于流处理、实时分析、LLM管道和RAG的Python ETL框架。

pathwaycom
⭐ 61,976 Python 👤 pathwaycom Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-11-27
3
apache/airflow

Apache Airflow - 一个用于以编程方式编写、调度和监控工作流的平台

apache
⭐ 47,583 Python 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2015-04-13
4
dagster-io/dagster

一个用于数据资产开发、生产和观察的编排平台。

dagster-io
⭐ 16,453 Python 👤 dagster-io Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-04-30
5
Unstructured-IO/unstructured

轻松将文档转换为结构化数据。Unstructured 是一个开源 ETL 解决方案,用于将复杂文档转换为适用于语言模型的干净、结构化格式。请访问我们的网站,了解更多关于我们用于生产级工作流、分区、丰富、分块和嵌入的企业级平台产品的信息。

Unstructured-IO
⭐ 15,769 HTML 👤 Unstructured-IO Organization 🕐 已更新 2026-11-19 📅 创建时间 2022-09-26
6
apache/dolphinscheduler

Apache DolphinScheduler 是现代数据编排平台。敏捷创建高性能工作流,低代码。

apache
⭐ 14,559 Java 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2019-03-01
7
kedro-org/kedro

Kedro 是一个用于生产就绪数据科学的工具箱。它使用软件工程最佳实践,帮助您创建可重现、可维护且模块化的数据工程和数据科学管道。

kedro-org
⭐ 11,059 Python 👤 kedro-org Organization 🕐 已更新 2026-11-19 📅 创建时间 2019-04-18
8
mage-ai/mage-ai

🧙 构建、运行和管理数据管道,用于集成和转换数据。

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2022-05-16
9
OpenDCAI/DataFlow

[SIGMOD'27] 使用最新的基于大语言模型的算子和流水线轻松进行数据准备。

OpenDCAI
⭐ 8,650 Python 👤 OpenDCAI Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-10-13
10
fluvio-community/fluvio

🦀 面向开发者的イベント流处理,用于收集和转换运动中的数据,以驱动响应式数据密集型应用。

fluvio-community
⭐ 5,270 Rust 👤 fluvio-community Organization 🕐 已更新 2026-11-05 📅 创建时间 2019-08-31
11
gayanvoice/top-github-users

在 GitHub 上查看你的排名!别忘了给这个仓库点个 ⭐。

gayanvoice
⭐ 4,988 👤 gayanvoice User 🕐 已更新 2026-11-21 📅 创建时间 2021-06-03
12
StructuredLabs/preswald

Preswald 是一个用于 Python 的交互式数据应用程序的 WASM 打包器:将复杂的完整数据工作流,特别是可视化,打包成单个文件,使用 Pyodide、DuckDB、Pandas 以及 Plotly、Matplotlib 等,完全在浏览器中运行。构建可离线运行、加载速度快且可像文档一样共享的仪表板、报告和笔记本。

StructuredLabs
⭐ 4,266 Python 👤 StructuredLabs Organization 🕐 已更新 2026-06-11 📅 创建时间 2024-12-14
13
ucbepic/docetl

一种用于 agentic LLM 驱动的数据处理和 ETL 的系统

ucbepic
⭐ 4,266 Python 👤 ucbepic Organization 🕐 已更新 2026-11-17 📅 创建时间 2024-07-09
14
Netflix/maestro

Maestro:Netflix 的工作流协调器

Netflix
⭐ 3,852 Java 👤 Netflix Organization 🕐 已更新 2026-11-06 📅 创建时间 2024-04-17
15
meltano/meltano

Meltano:赋能您异想天开的数据和人工智能产品创意的声明式代码优先数据集成引擎。告别编写、维护和扩展您自己的 API 集成。

meltano
⭐ 2,683 Python 👤 meltano Organization 🕐 已更新 2026-11-21 📅 创建时间 2021-06-21
16
elementary-data/elementary

专为数据与分析工程师打造的 dbt 原生数据可观测性解决方案。在几分钟内监控您的数据管道。提供自托管或云服务版本,具备高级功能。

elementary-data
⭐ 2,435 HTML 👤 elementary-data Organization 🕐 已更新 2026-11-18 📅 创建时间 2021-08-30
17
feldera/feldera

Feldera 增量计算引擎

feldera
⭐ 2,181 Rust 👤 feldera Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-05-11
18
data-engineering-community/data-engineering-wiki

学习数据工程的最佳场所。由数据工程社区构建和维护。

data-engineering-community
⭐ 2,067 CSS 👤 data-engineering-community Organization 🕐 已更新 2026-09-15 📅 创建时间 2021-05-04
19
bruin-data/bruin

使用 SQL 和 Python 构建数据管道,从不同源摄取数据,添加质量检查,并构建端到端流程。

bruin-data
⭐ 1,816 Go 👤 bruin-data Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-08-03
20
yobix-ai/extractous

快速高效的非结构化数据提取。使用 Rust 编写,并提供多种语言的绑定。

yobix-ai
⭐ 1,660 Rust 👤 yobix-ai Organization 🕐 已更新 2024-12-21 📅 创建时间 2024-06-04
21
dashbitco/flow

GenStage 上的计算并行流

dashbitco
⭐ 1,625 Elixir 👤 dashbitco Organization 🕐 已更新 2026-09-25 📅 创建时间 2017-01-18
22
combust/mleap

MLeap: 将 ML 管道部署到生产环境

combust
⭐ 1,544 Scala 👤 combust Organization 🕐 已更新 2026-11-09 📅 创建时间 2016-08-23
23
pyper-dev/pyper

并发 Python 简化

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 已更新 2025-02-04 📅 创建时间 2024-05-22
24
Netflix/mantis

一个让开发者轻松构建实时、成本效益高、注重运营的应用程序的平台

Netflix
⭐ 1,472 Java 👤 Netflix Organization 🕐 已更新 2026-10-28 📅 创建时间 2019-06-06
25
opendatadiscovery/odd-platform

首个开源数据发现和可观测性平台。我们让数据从业者的工作更轻松,从而您可以专注于您的业务。

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 已更新 2026-10-19 📅 创建时间 2021-07-07
27
amphi-ai/amphi-etl

由Python驱动的视觉化数据准备

amphi-ai
⭐ 1,410 TypeScript 👤 amphi-ai Organization 🕐 已更新 2026-08-24 📅 创建时间 2024-03-20
28
gtoonstra/etl-with-airflow

使用 Airflow 的 ETL 最佳实践,附示例

gtoonstra
⭐ 1,353 Shell 👤 gtoonstra User 🕐 已更新 2024-09-25 📅 创建时间 2016-10-16
29
meta-pytorch/data

一个 PyTorch 存储库,用于数据加载和由 PyTorch 领域库共享的实用程序。

meta-pytorch
⭐ 1,266 Python 👤 meta-pytorch Organization 🕐 已更新 2026-11-12 📅 创建时间 2021-05-12
30
dataform-co/dataform

Dataform 是用于在 BigQuery 中管理基于 SQL 的数据操作的框架。

dataform-co
⭐ 998 TypeScript 👤 dataform-co Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-09-03
31
fal-ai/fal

⚡ 为数百万人提供开源 ML 模型的最快方式

fal-ai
⭐ 983 Python 👤 fal-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-12-11
32
ocsf/ocsf-schema

OCSF Schema

ocsf
⭐ 917 👤 ocsf Organization 🕐 已更新 2026-11-20 📅 创建时间 2022-04-16
33
mafintosh/pump

将流管道连接在一起,如果其中一个关闭,则关闭所有

mafintosh
⭐ 917 JavaScript 👤 mafintosh User 🕐 已更新 2026-02-28 📅 创建时间 2013-08-14
35
artie-labs/transfer

利用变更数据捕获的数据库复制平台。实时将生产数据从数据库流式传输到您的数据仓库(Snowflake、BigQuery、Redshift、Databricks)。

artie-labs
⭐ 845 Go 👤 artie-labs Organization 🕐 已更新 2026-05-09 📅 创建时间 2022-11-06
36
joboccara/pipes

C++ 中集合的表达性代码管道

joboccara
⭐ 835 C++ 👤 joboccara User 🕐 已更新 2024-10-30 📅 创建时间 2017-02-19
37
astronomer/airflow-guides

帮助您快速上手并运行 Apache Airflow 的指南和文档。

astronomer
⭐ 816 JavaScript 👤 astronomer Organization 🕐 已更新 2025-11-15 📅 创建时间 2018-05-17
38
tuplex/tuplex

Tuplex是一个并行大数据处理框架,它能以编译代码的速度运行用Python编写的数据科学管道。Tuplex拥有与Apache Spark或Dask类似的Python API,但它不是调用Python解释器,而是为给定的管道和输入数据集生成优化的LLVM字节码。

tuplex
⭐ 812 C++ 👤 tuplex Organization 🕐 已更新 2025-08-10 📅 创建时间 2021-06-30
39
BasPH/data-pipelines-with-apache-airflow

使用 Apache Airflow 构建数据管道的代码

BasPH
⭐ 810 Python 👤 BasPH User 🕐 已更新 2024-08-15 📅 创建时间 2019-06-10
40
turbolytics/sql-flow

用于流数据的DuckDB

turbolytics
⭐ 808 Go 👤 turbolytics User 🕐 已更新 2026-11-21 📅 创建时间 2023-11-21
41
raystack/optimus

Optimus 是一个易于使用、可靠且性能卓越的流程编排器,用于数据转换、数据建模、管道和数据质量管理。

raystack
⭐ 757 Go 👤 raystack Organization 🕐 已更新 2024-06-08 📅 创建时间 2021-03-22
42
datalab-to/pdftext

快速从PDF中提取结构化文本

datalab-to
⭐ 744 Python 👤 datalab-to Organization 🕐 已更新 2026-10-22 📅 创建时间 2024-04-24
43
digitalocean/firebolt

用于流式 ETL、可观测性数据管道和事件处理应用的 Golang 框架

digitalocean
⭐ 717 Go 👤 digitalocean Organization 🕐 已更新 2024-06-14 📅 创建时间 2019-10-31
44
noneback/go-taskflow

一个纯Go语言的通用任务并行编程框架

noneback
⭐ 642 Go 👤 noneback User 🕐 已更新 2026-08-16 📅 创建时间 2024-03-06
45
cgrand/xforms

Clojure(script) 的额外转换器和归约函数

cgrand
⭐ 591 Clojure 👤 cgrand User 🕐 已更新 2024-01-22 📅 创建时间 2015-09-03
46
singer-io/singer-python

从Python写入Singer格式

singer-io
⭐ 585 Python 👤 singer-io Organization 🕐 已更新 2026-11-02 📅 创建时间 2016-10-28
47
apache/flink-playgrounds

Apache Flink 游乐场

apache
⭐ 555 Java 👤 apache Organization 🕐 已更新 2026-09-28 📅 创建时间 2019-07-12
48
cas-bigdatalab/piflow

πflow 是一个支持 Spark 的大数据流引擎

cas-bigdatalab
⭐ 541 Python 👤 cas-bigdatalab Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-05-03
49
elementary-data/dbt-data-reliability

此 dbt 包捕获元数据、工件和测试结果,以便您检测异常、监控数据质量并构建元数据表。它为 Elementary OSS 提供动力,并为 Elementary Cloud 的完整 Data & AI 控制平面提供更广泛的上下文层。

elementary-data
⭐ 531 Python 👤 elementary-data Organization 🕐 已更新 2026-11-18 📅 创建时间 2022-01-09
50
LearningJournal/Spark-Programming-In-Python

Apache Spark 3 - 初学者 Python Spark 编程

LearningJournal
⭐ 510 Python 👤 LearningJournal User 🕐 已更新 2024-07-25 📅 创建时间 2020-05-31

常见问题解答

1

GitHub 上最受欢迎的 #data-pipelines 仓库是什么?

GitHub 上排名第一的开源 #data-pipelines 项目是 twitter/the-algorithm,拥有 73,884 个 Star。X推荐算法的源代码

2

#data-pipelines 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #data-pipelines 项目中,最常见的编程语言是 Python, Go, Java, Rust。

3

#data-pipelines 仓库的排名是如何计算的?

我们跟踪了 50 个标记为 #data-pipelines 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 323,108 个 Star,平均每个仓库拥有 6,462 个 Star。排名每日根据 GitHub API 更新。