Git Stars Git Stars

#data-engineering 仓库

探索 152 个标记为 #data-engineering 的活跃开源 GitHub 仓库,它们累计获得 727,632 个 Star(平均每个项目 4,787 个)。该主题的领先项目是 apache/superset,拥有 75,603 个 Star。

152
仓库总数
727,632
总星标数
4,787
平均每个仓库星标数

共 152 个仓库

1
apache/superset

Apache Superset 是一个数据可视化和数据探索平台

apache
⭐ 75,603 Python 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2015-07-21
2
GokuMohandas/Made-With-ML

学习如何开发、部署和迭代生产级 ML 应用程序。

GokuMohandas
⭐ 50,112 Jupyter Notebook 👤 GokuMohandas User 🕐 已更新 2026-03-04 📅 创建时间 2018-11-05
3
apache/airflow

Apache Airflow - 一个用于以编程方式编写、调度和监控工作流的平台

apache
⭐ 47,583 Python 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2015-04-13
4
DataTalksClub/data-engineering-zoomcamp

Data Engineering Zoomcamp 是一门关于构建生产就绪型数据管道的 9 周免费课程。在此加入课程 👇🏼

DataTalksClub
⭐ 46,997 Jupyter Notebook 👤 DataTalksClub Organization 🕐 已更新 2026-11-16 📅 创建时间 2021-10-21
5
kestra-io/kestra

随时随地,编排一切。面向数据、基础设施、业务流程和 AI 智能体工作流的开源控制平面。采用声明式 YAML、事件驱动,支持任意语言、Git 版本管理,可扩展至数百万次执行。

kestra-io
⭐ 30,303 Java 👤 kestra-io Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-08-24
6
eugeneyan/applied-ml

📚 公司分享其在生产环境中进行数据科学与机器学习工作的论文与技术博客。

eugeneyan
⭐ 28,577 👤 eugeneyan User 🕐 已更新 2024-07-18 📅 创建时间 2020-07-04
7
PrefectHQ/prefect

Prefect 是一个用于在 Python 中构建弹性数据管道的工作流编排框架。

PrefectHQ
⭐ 24,203 Python 👤 PrefectHQ Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-06-29
8
airbytehq/airbyte

开源数据移动,用于 ELT 管道和 AI 代理 — 从 API、数据库和文件到数据仓库、数据湖和 AI 应用。支持自托管和云端。

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-07-27
9
Avaiga/taipy

即时将数据和 AI 算法转化为可投入生产的 Web 应用程序。

Avaiga
⭐ 19,458 Python 👤 Avaiga Organization 🕐 已更新 2026-08-10 📅 创建时间 2022-02-18
10
argoproj/argo-workflows

Kubernetes 工作流引擎

argoproj
⭐ 17,108 Go 👤 argoproj Organization 🕐 已更新 2026-11-21 📅 创建时间 2017-08-21
11
dagster-io/dagster

一个用于数据资产开发、生产和观察的编排平台。

dagster-io
⭐ 16,453 Python 👤 dagster-io Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-04-30
12
andkret/Cookbook

数据工程烹饪书

andkret
⭐ 15,594 Python 👤 andkret User 🕐 已更新 2026-10-16 📅 创建时间 2019-03-10
13
semantica-agi/semantica

面向可信企业级人工智能的图原生语义层

semantica-agi
⭐ 14,701 Python 👤 semantica-agi Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-06-25
14
fivetran/great_expectations

始终知道您的数据会带来什么预期。

fivetran
⭐ 11,941 Python 👤 fivetran Organization 🕐 已更新 2026-11-17 📅 创建时间 2017-09-11
15
cocoindex-io/cocoindex

长时域代理的增量引擎 🌟 如果喜欢,请点星!

cocoindex-io
⭐ 11,923 Rust 👤 cocoindex-io Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-03-03
16
xonsh/xonsh

🐚 由Python驱动的 Shell。功能齐全,跨平台且 AI 友好。

xonsh
⭐ 9,704 Python 👤 xonsh Organization 🕐 已更新 2026-11-16 📅 创建时间 2015-01-21
17
risingwavelabs/risingwave

用于代理式 AI 的事件流平台。持续摄取、转换并实时大规模提供事件流。

risingwavelabs
⭐ 9,425 Rust 👤 risingwavelabs Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-01-28
18
mage-ai/mage-ai

🧙 构建、运行和管理数据管道,用于集成和转换数据。

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2022-05-16
19
redpanda-data/connect

将花哨的流处理变得运营上平凡

redpanda-data
⭐ 8,804 Go 👤 redpanda-data Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-03-22
20
growthbook/growthbook

开源功能标志、实验与产品分析

growthbook
⭐ 8,639 TypeScript 👤 growthbook Organization 🕐 已更新 2026-11-21 📅 创建时间 2021-05-07
21
Zipstack/unstract

LLM驱动的非结构化数据提取 — 为API部署和ETL管道工作流而构建

Zipstack
⭐ 7,462 Python 👤 Zipstack Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-02-21
22
feast-dev/feast

用于 AI/ML 的开源特征存储

feast-dev
⭐ 7,362 Python 👤 feast-dev Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-12-10
23
evidence-dev/evidence

代码化商业智能:在 SQL 和 markdown 中构建快速、交互式的数据可视化

evidence-dev
⭐ 7,140 TypeScript 👤 evidence-dev Organization 🕐 已更新 2026-11-20 📅 创建时间 2021-05-27
24
cloudquery/cloudquery

用于云配置和安全数据的数据管道。构建云资产清单、CSPM、FinOps 和漏洞管理解决方案。从 AWS、Azure、GCP 以及 70 多个云和 SaaS 源提取数据。

cloudquery
⭐ 6,561 Go 👤 cloudquery Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-11-18
25
dlt-hub/dlt

Data Load Tool (dlt) 是一个开源 Python 库,可轻松加载数据 🛠️

dlt-hub
⭐ 6,115 Python 👤 dlt-hub Organization 🕐 已更新 2026-11-20 📅 创建时间 2022-01-26
26
WeiYe-Jing/datax-web

DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。

WeiYe-Jing
⭐ 5,958 Java 👤 WeiYe-Jing User 🕐 已更新 2024-06-02 📅 创建时间 2019-11-19
27
Eventual-Inc/Daft

适用于 AI 和多模态工作负载的高性能数据引擎。以任何规模处理图像、音频、视频和结构化数据。

Eventual-Inc
⭐ 5,858 Rust 👤 Eventual-Inc Organization 🕐 已更新 2026-11-09 📅 创建时间 2022-04-25
28
treeverse/lakeFS

lakeFS - 为您的数据湖提供数据版本控制 | 数据版的 Git

treeverse
⭐ 5,590 Go 👤 treeverse Organization 🕐 已更新 2026-11-19 📅 创建时间 2019-09-12
29
chiphuyen/dmls-book

《设计机器学习系统》一书(Chip Huyen,O'Reilly 2022)的摘要和资源

chiphuyen
⭐ 5,481 👤 chiphuyen User 🕐 已更新 2026-06-09 📅 创建时间 2022-05-27
30
ruc-datalab/DeepAnalyze

DeepAnalyze 是第一个用于自主数据科学的 Agentic LLM。 🎈你的AI数据分析师,自动分析大量数据,一键生成专业分析报告!

ruc-datalab
⭐ 4,833 Python 👤 ruc-datalab Organization 🕐 已更新 2026-11-02 📅 创建时间 2025-10-11
31
rudderlabs/rudder-server

注重隐私和安全的 Segment 替代品,使用 Golang 和 React

rudderlabs
⭐ 4,520 Go 👤 rudderlabs Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-07-19
32
Moataz-Elmesmary/Data-Science-Roadmap

从A到Z的数据科学路线图

Moataz-Elmesmary
⭐ 4,429 👤 Moataz-Elmesmary User 🕐 已更新 2025-12-06 📅 创建时间 2022-04-17
33
whoiskatrin/sql-translator

SQL Translator 是一个使用人工智能将自然语言查询转换为 SQL 代码的工具。本项目 100% 免费且开源。

whoiskatrin
⭐ 4,315 TypeScript 👤 whoiskatrin User 🕐 已更新 2025-07-06 📅 创建时间 2023-03-11
34
aws/aws-sdk-pandas

AWS 上的 pandas - 与 Athena、Glue、Redshift、Timestream、Neptune、OpenSearch、QuickSight、Chime、CloudWatchLogs、DynamoDB、EMR、SecretManager、PostgreSQL、MySQL、SQLServer 和 S3 (Parquet、CSV、JSON 和 EXCEL) 的轻松集成。

aws
⭐ 4,124 Python 👤 aws Organization 🕐 已更新 2026-11-21 📅 创建时间 2019-02-26
35
adilkhash/Data-Engineering-HowTo

学习数据工程从零开始的有用资源列表

adilkhash
⭐ 4,049 👤 adilkhash User 🕐 已更新 2026-10-30 📅 创建时间 2019-03-28
36
knownsec/aipyapp

AI驱动的Python & Python驱动的AI (Python-使用)

knownsec
⭐ 4,026 HTML 👤 knownsec Organization 🕐 已更新 2026-02-15 📅 创建时间 2025-04-06
37
quadratichq/quadratic

包含AI、代码、连接的电子表格

quadratichq
⭐ 3,958 Rust 👤 quadratichq Organization 🕐 已更新 2026-03-07 📅 创建时间 2021-11-11
38
camelot-dev/camelot

一个用于从PDF中提取表格数据的Python库

camelot-dev
⭐ 3,858 Python 👤 camelot-dev Organization 🕐 已更新 2026-11-21 📅 创建时间 2019-07-01
39
Netflix/maestro

Maestro:Netflix 的工作流协调器

Netflix
⭐ 3,852 Java 👤 Netflix Organization 🕐 已更新 2026-11-06 📅 创建时间 2024-04-17
40
dathere/qsv

极速神经符号数据整理工具包

dathere
⭐ 3,836 Rust 👤 dathere Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-12-11
41
moabukar/tech-vault

技术领域海量面试题及真实挑战列表! (https://tech-vault-web.vercel.app/)

moabukar
⭐ 3,599 HCL 👤 moabukar User 🕐 已更新 2026-03-01 📅 创建时间 2023-03-27
42
lakehq/sail

用 Rust 编写的即插即用 Apache Spark 替代品,统一批处理、流处理和计算密集型 AI 工作负载。

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-12-21
43
superstreamlabs/memphis

Memphis.dev 是一个高度可扩展且易于使用的数据流平台

superstreamlabs
⭐ 3,442 Go 👤 superstreamlabs Organization 🕐 已更新 2026-03-02 📅 创建时间 2022-02-01
44
GokuMohandas/mlops-course

了解如何设计、开发、部署和迭代生产级 ML 应用程序。

GokuMohandas
⭐ 3,272 Jupyter Notebook 👤 GokuMohandas User 🕐 已更新 2024-08-16 📅 创建时间 2020-11-12
45
apache/devlake

Apache DevLake 是一个开源的开发数据平台,用于摄取、分析和可视化来自 DevOps 工具的碎片化数据,从而为工程卓越、开发者体验和社区增长提取洞见。

apache
⭐ 3,204 Go 👤 apache Organization 🕐 已更新 2026-11-19 📅 创建时间 2021-07-08
46
itsdecodingai/second-brain-ai-assistant-course

学习如何使用 LLM、代理、RAG、微调、LLMOps 和 AI 系统技术构建您的 Second Brain AI 助手。

itsdecodingai
⭐ 3,138 Jupyter Notebook 👤 itsdecodingai Organization 🕐 已更新 2026-04-06 📅 创建时间 2024-12-30
47
Zleap-AI/SAG

RAG 的新 SOTA——一种用于人类和智能体的原创检索架构及开源知识库。

Zleap-AI
⭐ 3,004 Python 👤 Zleap-AI Organization 🕐 已更新 2026-11-13 📅 创建时间 2025-11-07
48
gunnarmorling/awesome-opensource-data-engineering

开源数据工程项目精选列表

gunnarmorling
⭐ 2,946 👤 gunnarmorling User 🕐 已更新 2024-10-04 📅 创建时间 2020-02-11
⭐ 2,706 Python 👤 danielbeach User 🕐 已更新 2025-01-08 📅 创建时间 2022-02-17
50
meltano/meltano

Meltano:赋能您异想天开的数据和人工智能产品创意的声明式代码优先数据集成引擎。告别编写、维护和扩展您自己的 API 集成。

meltano
⭐ 2,683 Python 👤 meltano Organization 🕐 已更新 2026-11-21 📅 创建时间 2021-06-21

常见问题解答

1

GitHub 上最受欢迎的 #data-engineering 仓库是什么?

GitHub 上排名第一的开源 #data-engineering 项目是 apache/superset,拥有 75,603 个 Star。Apache Superset 是一个数据可视化和数据探索平台

2

#data-engineering 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #data-engineering 项目中,最常见的编程语言是 Python, Go, Rust, Jupyter Notebook。

3

#data-engineering 仓库的排名是如何计算的?

我们跟踪了 152 个标记为 #data-engineering 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 727,632 个 Star,平均每个仓库拥有 4,787 个 Star。排名每日根据 GitHub API 更新。