Git Stars Git Stars

#data-engineering 仓库

152
仓库总数
727,632
总星标数
4,787
平均每个仓库星标数

共 152 个仓库

51
apache/hamilton

Apache Hamilton 帮助数据科学家和工程师定义可测试、模块化、自文档化的数据流,这些数据流编码血缘/跟踪和元数据。可在 Python 运行的所有地方运行和扩展。

apache
⭐ 2,631 Jupyter Notebook 👤 apache Organization 🕐 已更新 2026-11-16 📅 创建时间 2023-02-23
52
sodadata/soda-core

面向现代数据栈的数据合约引擎。 https://www.soda.io

sodadata
⭐ 2,463 Python 👤 sodadata Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-12-14
53
metarank/metarank

文章、列表、搜索结果、推荐的低代码机器学习个性化排名服务,可提高用户参与度。一个友好的学习排名引擎

metarank
⭐ 2,461 Scala 👤 metarank Organization 🕐 已更新 2026-10-06 📅 创建时间 2020-08-19
54
running-elephant/datart

Datart 是一个下一代数据可视化开放平台

running-elephant
⭐ 2,288 TypeScript 👤 running-elephant Organization 🕐 已更新 2025-02-10 📅 创建时间 2021-10-15
55
bytewax/bytewax

Python 流处理

bytewax
⭐ 2,074 Python 👤 bytewax Organization 🕐 已更新 2026-11-13 📅 创建时间 2022-02-04
56
data-engineering-community/data-engineering-wiki

学习数据工程的最佳场所。由数据工程社区构建和维护。

data-engineering-community
⭐ 2,067 CSS 👤 data-engineering-community Organization 🕐 已更新 2026-09-15 📅 创建时间 2021-05-04
57
getnao/nao

👾 nao 是排名第一的开源智能体 BI。(1) 使用 nao-core CLI 创建上下文;(2) 部署 nao 聊天界面,供所有人使用。

getnao
⭐ 2,034 TypeScript 👤 getnao Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-12-30
58
Datus-ai/Datus-agent

数据工程的未来——面向现代数据栈的 CLI SQL 客户端,使面向数据的 AI 原生上下文工程成为可能。

Datus-ai
⭐ 1,932 Python 👤 Datus-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-07-04
59
feathr-ai/feathr

Feathr – 面向企业的可扩展、统一的数据和人工智能工程平台

feathr-ai
⭐ 1,916 Scala 👤 feathr-ai Organization 🕐 已更新 2024-04-04 📅 创建时间 2022-02-18
60
dbt-labs/dbt-utils

dbt 项目的实用函数。

dbt-labs
⭐ 1,837 Makefile 👤 dbt-labs Organization 🕐 已更新 2026-11-21 📅 创建时间 2017-07-16
61
kiwenlau/hadoop-cluster-docker

在 Docker 容器中运行 Hadoop 集群

kiwenlau
⭐ 1,827 Shell 👤 kiwenlau User 🕐 已更新 2024-07-01 📅 创建时间 2015-05-21
62
OBenner/data-engineering-interview-questions

2000+ 数据工程师面试题。

OBenner
⭐ 1,815 Python 👤 OBenner User 🕐 已更新 2026-01-13 📅 创建时间 2021-08-08
63
Hiflylabs/awesome-dbt

精选的dbt优秀资源列表

Hiflylabs
⭐ 1,754 👤 Hiflylabs Organization 🕐 已更新 2026-11-17 📅 创建时间 2021-10-09
64
benthecoder/yt-channels-DS-AI-ML-CS

一份包含 180 多个 YouTube 频道的综合列表,涵盖数据科学、数据工程、机器学习、深度学习、计算机科学、编程、软件工程等领域。

benthecoder
⭐ 1,732 👤 benthecoder User 🕐 已更新 2026-07-19 📅 创建时间 2021-06-14
65
DataWithBaraa/sql-ultimate-course

这门免费的 30 小时 SQL 课程资料:SQL Server、MySQL 和 PostgreSQL 数据库、41 章中的所有查询,以及幻灯片。

DataWithBaraa
⭐ 1,711 TSQL 👤 DataWithBaraa User 🕐 已更新 2026-11-06 📅 创建时间 2025-03-18
66
mlrun/mlrun

MLRun 是一个开源 MLOps 平台,可快速构建和管理整个生命周期的连续 ML 应用程序。MLRun 集成到您的开发和 CI/CD 环境中,并自动化生产数据、ML 管道和在线应用程序的交付。

mlrun
⭐ 1,703 Python 👤 mlrun Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-09-01
67
Multiwoven/multiwoven

🔥🔥🔥 开源 Reverse ETL - hightouch 和 census 的替代方案。

Multiwoven
⭐ 1,685 Ruby 👤 Multiwoven Organization 🕐 已更新 2026-11-18 📅 创建时间 2023-10-20
68
Kaelio/ktx

ktx 是一个用于数据和分析代理的可执行上下文层 🐙 允许 Claude Code、Codex 或其他 AI 代理准确查询分析数据库,并具备您公司的完整上下文

Kaelio
⭐ 1,633 TypeScript 👤 Kaelio Organization 🕐 已更新 2026-11-18 📅 创建时间 2026-05-10
69
kantord/just-dashboard

:bar_chart: :clipboard: 使用 YAML 或 JSON 文件的仪表盘

kantord
⭐ 1,587 TypeScript 👤 kantord User 🕐 已更新 2026-02-21 📅 创建时间 2018-01-18
70
quixio/quix-streams

适用于 Kafka 的 Python 流式 DataFrames

quixio
⭐ 1,582 Python 👤 quixio Organization 🕐 已更新 2026-11-18 📅 创建时间 2022-11-17
71
JeffSackmann/tennis_atp

ATP网球排名、赛果和统计

JeffSackmann
⭐ 1,577 👤 JeffSackmann User 🕐 已更新 2026-06-08 📅 创建时间 2015-03-13
72
chenditc/investment_data

https://www.dolthub.com/repositories/chenditc/investment_data 的脚本和文档

chenditc
⭐ 1,571 Python 👤 chenditc User 🕐 已更新 2026-11-20 📅 创建时间 2022-07-19
73
slothflowlabs/duckle

可部署在自有服务器或云端的开源 ETL/ELT。基于 DuckDB 构建:支持无代码/低代码可视化管道或 SQL、446 个组件、dbt、CDC、数据质量、反向 ETL、数据血缘,以及面向 AI 智能体的 MCP。无厂商云,无按行计费。

slothflowlabs
⭐ 1,558 Rust 👤 slothflowlabs Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-05-21
74
duneanalytics/spellbook

Dune 的 SQL 视图

duneanalytics
⭐ 1,529 Python 👤 duneanalytics Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-01-31
75
pyper-dev/pyper

并发 Python 简化

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 已更新 2025-02-04 📅 创建时间 2024-05-22
76
pyjanitor-devs/pyjanitor

数据清洗的干净API。R包Janitor的Python实现

pyjanitor-devs
⭐ 1,500 Python 👤 pyjanitor-devs Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-03-04
77
ashishps1/awesome-engineering-articles

精选来自顶级科技公司的 300+ 篇工程博客文章。了解最佳工程团队如何大规模解决现实世界问题。

ashishps1
⭐ 1,491 👤 ashishps1 User 🕐 已更新 2026-03-01 📅 创建时间 2026-02-15
78
lvgalvao/data-engineering-roadmap

数据工程与人工智能专业培训

lvgalvao
⭐ 1,451 Python 👤 lvgalvao User 🕐 已更新 2026-05-12 📅 创建时间 2024-01-16
79
opendatadiscovery/odd-platform

首个开源数据发现和可观测性平台。我们让数据从业者的工作更轻松,从而您可以专注于您的业务。

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 已更新 2026-10-19 📅 创建时间 2021-07-07
80
GoogleCloudPlatform/data-science-on-gcp

随附书籍的源代码:Google Cloud Platform 上的数据科学,Valliappa Lakshmanan,O'Reilly 2017

GoogleCloudPlatform
⭐ 1,432 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 已更新 2026-02-20 📅 创建时间 2017-02-10
81
zapret-info/z-i

俄罗斯联邦过滤的互联网地址注册表

zapret-info
⭐ 1,388 👤 zapret-info User 🕐 已更新 2025-10-01 📅 创建时间 2012-11-19
82
quiltdata/quilt

Quilt 是 AWS 上的科学数据管理平台,它帮助团队和 AI 通过深度版本化、上下文丰富的数 据包来查找、信任和重用数据。

quiltdata
⭐ 1,373 TypeScript 👤 quiltdata Organization 🕐 已更新 2026-11-21 📅 创建时间 2017-02-10
83
spark-examples/pyspark-examples

Python 语言中的 PySpark RDD、DataFrame 和 Dataset 示例

spark-examples
⭐ 1,371 Python 👤 spark-examples Organization 🕐 已更新 2025-12-07 📅 创建时间 2019-11-26
84
gtoonstra/etl-with-airflow

使用 Airflow 的 ETL 最佳实践,附示例

gtoonstra
⭐ 1,353 Shell 👤 gtoonstra User 🕐 已更新 2024-09-25 📅 创建时间 2016-10-16
85
Sniper970119/dianping_spider

大众点评爬虫(全站可爬,解决动态字体加密,非OCR)。持续更新

Sniper970119
⭐ 1,329 Python 👤 Sniper970119 User 🕐 已更新 2026-11-03 📅 创建时间 2021-01-22
86
Data-Learn
⭐ 1,323 Python 👤 Data-Learn Organization 🕐 已更新 2025-04-20 📅 创建时间 2020-05-14
87
bitol-io/open-data-contract-standard

开放数据合同标准 (ODCS) 的主页。

bitol-io
⭐ 1,238 Shell 👤 bitol-io Organization 🕐 已更新 2026-11-17 📅 创建时间 2023-06-27
88
abhishek-ch/around-dataengineering

数据工程与机器学习知识中心

abhishek-ch
⭐ 1,140 Python 👤 abhishek-ch User 🕐 已更新 2024-02-02 📅 创建时间 2020-09-18
89
daochenzha/data-centric-AI

一份精选但非详尽的数据中心人工智能资源列表。

daochenzha
⭐ 1,138 👤 daochenzha User 🕐 已更新 2024-06-26 📅 创建时间 2023-03-07
90
datacontract/datacontract-cli

适用于 Snowflake、Databricks、BigQuery、Kafka 等 15 多种平台的开源数据契约测试。基于开放数据契约标准(ODCS)构建。采用 MIT 许可证。

datacontract
⭐ 1,114 JavaScript 👤 datacontract Organization 🕐 已更新 2026-11-18 📅 创建时间 2023-07-24
91
youngwookim/awesome-hadoop

精选的超赞 Hadoop 及 Hadoop 生态系统资源列表

youngwookim
⭐ 1,113 👤 youngwookim User 🕐 已更新 2024-05-07 📅 创建时间 2014-07-08
92
DataWithBaraa/sql-data-warehouse-project

在 SQL Server 中整合两个源系统(CRM 和 ERP),经过青铜层、白银层和黄金层,构建数据仓库。免费完整项目的文件和脚本。

DataWithBaraa
⭐ 1,089 TSQL 👤 DataWithBaraa User 🕐 已更新 2026-11-06 📅 创建时间 2024-12-30
93
JohnSnowLabs/spark-nlp-workshop

使用 John Snow Labs 的 Apache Spark NLP 的公共可运行示例。

JohnSnowLabs
⭐ 1,089 Jupyter Notebook 👤 JohnSnowLabs Organization 🕐 已更新 2026-11-17 📅 创建时间 2018-08-20
94
mattm/sql-style-guide

编写干净、可维护的SQL的主观指南。

mattm
⭐ 1,088 👤 mattm User 🕐 已更新 2025-01-14 📅 创建时间 2019-03-27
95
nijikokun/generate-schema

🧞 将 JSON 对象转换为 MySQL、JSON Schema、Mongoose、Google BigQuery、Swagger 等。

nijikokun
⭐ 1,067 JavaScript 👤 nijikokun User 🕐 已更新 2024-01-30 📅 创建时间 2015-02-16
96
opendatadiscovery/awesome-data-catalogs

📙 超赞的数据目录和可观测性平台。

opendatadiscovery
⭐ 1,059 👤 opendatadiscovery Organization 🕐 已更新 2025-08-14 📅 创建时间 2021-07-14
97
DataTalksClub/stock-markets-analytics-zoomcamp

股票市场分析 Zoomcamp 课程材料

DataTalksClub
⭐ 1,052 Jupyter Notebook 👤 DataTalksClub Organization 🕐 已更新 2026-10-30 📅 创建时间 2024-02-14
99
dataform-co/dataform

Dataform 是用于在 BigQuery 中管理基于 SQL 的数据操作的框架。

dataform-co
⭐ 998 TypeScript 👤 dataform-co Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-09-03
100
estuary/flow

🌊 通过使用 Estuary 管理您的数据流,持续将数据所在的系统同步到您希望数据所在的系统。 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-02-13