Git Stars Git Stars

#data-engineering 仓库

152
仓库总数
727,632
总星标数
4,787
平均每个仓库星标数

共 152 个仓库

101
latitude-dev/latitude

面向开发者的嵌入式分析

latitude-dev
⭐ 949 TypeScript 👤 latitude-dev Organization 🕐 已更新 2024-09-30 📅 创建时间 2024-01-31
102
youssefHosni/Awesome-AI-Data-GitHub-Repos

面向机器学习、人工智能和数据科学从业者的最重要的 Github 存储库合集

youssefHosni
⭐ 946 👤 youssefHosni User 🕐 已更新 2024-12-24 📅 创建时间 2023-05-09
103
odpi/egeria

Project Egeria 的核心平台,提供开放元数据和治理支持。它具有开放类型系统、分布式知识图谱、REST API、智能治理和预构建内容。

odpi
⭐ 925 Java 👤 odpi Organization 🕐 已更新 2026-11-18 📅 创建时间 2018-05-31
104
natayadev/dataengineering-roadmap

另一个包含西班牙语数据工程基础概念、技术挑战和资源的存储库 🧙✨

natayadev
⭐ 919 👤 natayadev User 🕐 已更新 2026-02-28 📅 创建时间 2023-11-24
105
luisguiserrano/manning

Manning Editors 编著的 Grokking Machine Learning 书籍的仓库

luisguiserrano
⭐ 917 Jupyter Notebook 👤 luisguiserrano User 🕐 已更新 2026-11-02 📅 创建时间 2019-03-25
106
pyspark-ai/pyspark-ai

Apache Spark 的英文 SDK

pyspark-ai
⭐ 879 Python 👤 pyspark-ai Organization 🕐 已更新 2026-10-27 📅 创建时间 2023-04-27
107
bacalhau-project/bacalhau

社区驱动、简洁而强大的框架,用于快速、经济高效的分布式跨数据计算。

bacalhau-project
⭐ 878 Go 👤 bacalhau-project Organization 🕐 已更新 2026-11-19 📅 创建时间 2021-11-05
108
CloudWise-OpenSource/FlyFish

FlyFish是一个数据可视化编码平台。我们可以用简单的方式快速创建数据模型,并通过拖拽快速生成一套数据可视化解决方案。

CloudWise-OpenSource
⭐ 877 JavaScript 👤 CloudWise-OpenSource Organization 🕐 已更新 2024-06-11 📅 创建时间 2021-10-08
109
flow-php/flow

最先进的数据处理框架,能够构建可扩展的数据处理管道,并在各种数据源和目标之间移动数据。

flow-php
⭐ 875 PHP 👤 flow-php Organization 🕐 已更新 2026-11-20 📅 创建时间 2021-05-23
110
NeumTry/NeumAI

Neum AI 是一个一流的框架,用于管理大规模矢量嵌入的创建和同步。

NeumTry
⭐ 864 Python 👤 NeumTry Organization 🕐 已更新 2024-01-15 📅 创建时间 2023-09-14
111
frictionlessdata/frictionless-py

用于 Python 的数据管理框架,提供描述、提取、验证和转换表格式数据的能力

frictionlessdata
⭐ 859 Python 👤 frictionlessdata Organization 🕐 已更新 2026-10-15 📅 创建时间 2014-12-23
112
zoltanctoth/complete-dbt-bootcamp-zero-to-hero

Udemy 课程 "The Complete dbt (Data Build Tool) Bootcamp" 的补充材料

zoltanctoth
⭐ 842 Python 👤 zoltanctoth User 🕐 已更新 2026-10-05 📅 创建时间 2022-02-24
113
ssp-data/practical-data-engineering

实用数据工程:房地产项目实战指南

ssp-data
⭐ 833 Jupyter Notebook 👤 ssp-data Organization 🕐 已更新 2026-06-25 📅 创建时间 2020-11-18
114
AltimateAI/altimate-code

开源代理数据工程框架,支持 dbt、SQL 和云数据仓库。100+ 工具,10 个仓库,AI 驱动。

AltimateAI
⭐ 822 TypeScript 👤 AltimateAI Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-02-27
115
Nike-Inc/koheesio

用于构建高效数据管道的 Python 框架。它促进模块化和协作,能够通过简单、可重用的组件创建复杂的管道。

Nike-Inc
⭐ 818 Python 👤 Nike-Inc Organization 🕐 已更新 2026-10-17 📅 创建时间 2024-05-06
116
astronomer/airflow-guides

帮助您快速上手并运行 Apache Airflow 的指南和文档。

astronomer
⭐ 816 JavaScript 👤 astronomer Organization 🕐 已更新 2025-11-15 📅 创建时间 2018-05-17
117
BasPH/data-pipelines-with-apache-airflow

使用 Apache Airflow 构建数据管道的代码

BasPH
⭐ 810 Python 👤 BasPH User 🕐 已更新 2024-08-15 📅 创建时间 2019-06-10
118
liuhuanyong/ChainKnowledgeGraph

ChainKnowledgeGraph,产业链知识图谱包括A股上市公司、行业和产品共3类实体,包括上市公司所属行业关系、行业上级关系、产品上游原材料关系、产品下游产品关系、公司主营产品、产品小类共6大类。 上市公司4,654家,行业511个,产品95,559条、上游材料56,824条,上级行业480条,下游产品390条,产品小类52,937条,所属行业3,946条。

liuhuanyong
⭐ 779 Python 👤 liuhuanyong User 🕐 已更新 2025-12-22 📅 创建时间 2021-10-26
119
microsoft/sqlworkshops

SQL Server 工作坊

microsoft
⭐ 777 Jupyter Notebook 👤 microsoft Organization 🕐 已更新 2024-05-14 📅 创建时间 2019-02-05
120
datavane/datavines

更好地了解您的数据!Datavines 是下一代数据可观测性平台,支持元数据管理和数据质量。

datavane
⭐ 769 Java 👤 datavane Organization 🕐 已更新 2026-07-27 📅 创建时间 2022-04-02
121
derar-alhussein/Databricks-Certified-Data-Engineer-Associate

Databricks 数据工程师助理认证考试的备考课程资源

derar-alhussein
⭐ 762 Python 👤 derar-alhussein User 🕐 已更新 2026-11-12 📅 创建时间 2022-11-06
122
unytics/bigfunctions

使用 BigFunctions 赋能 BigQuery

unytics
⭐ 761 Python 👤 unytics User 🕐 已更新 2026-08-23 📅 创建时间 2022-08-24
123
defog-ai/sql-eval

评估LLM生成输出的准确性

defog-ai
⭐ 744 Jupyter Notebook 👤 defog-ai Organization 🕐 已更新 2025-08-14 📅 创建时间 2023-08-10
124
kennethleungty/Failed-ML

高调的机器学习项目失败的真实案例汇编

kennethleungty
⭐ 743 👤 kennethleungty User 🕐 已更新 2024-06-14 📅 创建时间 2022-08-15
125
DataExpert-io/cumulative-table-design

这个仓库可以帮助人们学习如何正确定义和创建累计表!

DataExpert-io
⭐ 741 Python 👤 DataExpert-io Organization 🕐 已更新 2024-10-29 📅 创建时间 2021-12-30
126
databricks/devrel

此存储库包含我们用于 Databricks Tech Talks 的笔记本和演示文稿 "

databricks
⭐ 734 HTML 👤 databricks Organization 🕐 已更新 2025-01-06 📅 创建时间 2020-04-03
127
awslabs/aws-glue-libs

AWS Glue 库是针对 ETL 操作对 Spark 的添加和增强。

awslabs
⭐ 701 Python 👤 awslabs Organization 🕐 已更新 2026-10-30 📅 创建时间 2017-08-11
128
dgarnitz/vectorflow

VectorFlow 是一个高吞吐量的向量嵌入管道,它可以摄取原始数据,将其转换为向量,并写入您选择的向量数据库。

dgarnitz
⭐ 698 Python 👤 dgarnitz User 🕐 已更新 2024-05-16 📅 创建时间 2023-07-25
129
risesoft-y9/DataFlow-Engine

数据流引擎是一款面向数据集成、数据同步、数据交换、数据共享、任务配置、任务调度的底层数据驱动引擎。数据流引擎采用管执分离、多流层、插件库等体系应对大规模数据任务、数据高频上报、数据高频采集、异构数据兼容的实际数据问题。

risesoft-y9
⭐ 697 Java 👤 risesoft-y9 Organization 🕐 已更新 2026-11-12 📅 创建时间 2024-08-26
130
petedannemann/gis-programming-roadmap

满足您所有GIS编程需求的一站式商店

petedannemann
⭐ 686 👤 petedannemann User 🕐 已更新 2024-01-02 📅 创建时间 2019-01-11
131
kaushiksrini/parqeye

直接从您的终端查看 Parquet 文件

kaushiksrini
⭐ 682 Rust 👤 kaushiksrini User 🕐 已更新 2026-11-12 📅 创建时间 2025-07-02
132
databricks/reference-apps

Spark 参考应用

databricks
⭐ 652 Scala 👤 databricks Organization 🕐 已更新 2024-10-03 📅 创建时间 2014-08-19
133
JakobGM/patito

一个构建在 polars 和 pydantic 之上的数据建模层

JakobGM
⭐ 643 Python 👤 JakobGM User 🕐 已更新 2026-05-08 📅 创建时间 2023-06-21
134
rpbouman/huey

基于浏览器的数据分析与商业智能(BI),采用 DuckDB-WASM。隐私优先:您的数据始终保存在本地;无需服务器。

rpbouman
⭐ 639 JavaScript 👤 rpbouman User 🕐 已更新 2026-11-13 📅 创建时间 2023-12-25
135
google/patents-public-data

使用 BigQuery 上的 Google Patents 公共数据集进行专利分析

google
⭐ 637 Jupyter Notebook 👤 google Organization 🕐 已更新 2024-06-17 📅 创建时间 2017-06-05
136
dbt-labs/dbt-mcp

用于与 dbt 交互的 MCP(模型上下文协议)服务器

dbt-labs
⭐ 624 Python 👤 dbt-labs Organization 🕐 已更新 2026-11-18 📅 创建时间 2025-03-12
137
ConduitIO/conduit

Conduit 在数据存储之间流式传输数据。Kafka Connect 的替代方案。无需 JVM。

ConduitIO
⭐ 617 Go 👤 ConduitIO Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-01-11
138
synmetrix/synmetrix

Synmetrix – Cube 上可用于生产的开源语义层

synmetrix
⭐ 616 JavaScript 👤 synmetrix Organization 🕐 已更新 2025-02-07 📅 创建时间 2021-06-18
139
insitro/redun

又一个冗余的工作流引擎

insitro
⭐ 610 Python 👤 insitro Organization 🕐 已更新 2026-11-18 📅 创建时间 2021-11-04
140
matsonj/nba-monte-carlo

使用 dbt、duckdb 和 evidence.dev 进行 NBA 赛季的蒙特卡洛模拟

matsonj
⭐ 609 Python 👤 matsonj User 🕐 已更新 2026-11-12 📅 创建时间 2022-09-29
141
apecloud/myduckserver

统一的 MySQL、Postgres 和 FlightSQL 服务器,由 DuckDB 提供支持。

apecloud
⭐ 595 Go 👤 apecloud Organization 🕐 已更新 2026-09-19 📅 创建时间 2024-08-22
142
argilla-io/synthetic-data-generator

使用自然语言构建数据集

argilla-io
⭐ 590 Python 👤 argilla-io Organization 🕐 已更新 2025-09-19 📅 创建时间 2024-11-21
143
singer-io/singer-python

从Python写入Singer格式

singer-io
⭐ 585 Python 👤 singer-io Organization 🕐 已更新 2026-11-02 📅 创建时间 2016-10-28
144
taz4et/bitcoin-etl

一个用于提取和转换比特币区块链数据为结构化格式的 Python 工具包。

taz4et
⭐ 580 Python 👤 taz4et User 🕐 已更新 2025-11-24 📅 创建时间 2025-11-14
145
spark-examples/spark-scala-examples

此项目提供 Scala 语言中的 Apache Spark SQL、RDD、DataFrame 和 Dataset 示例。

spark-examples
⭐ 567 Scala 👤 spark-examples Organization 🕐 已更新 2024-03-20 📅 创建时间 2019-11-26
146
pracdata/awesome-open-source-data-engineering

精选的开源工具列表,用于分析平台和数据工程生态系统

pracdata
⭐ 564 👤 pracdata Organization 🕐 已更新 2025-03-12 📅 创建时间 2024-02-22
147
GoogleCloudPlatform/bigquery-oreilly-book

配套源代码:Lakshmanan & Tigani 著《BigQuery: The Definitive Guide》,由 O'Reilly Media 出版

GoogleCloudPlatform
⭐ 547 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 已更新 2024-05-02 📅 创建时间 2018-11-26
148
kimtth/software-architect-mindmap

🧠软件架构与软件工程思维导图

kimtth
⭐ 543 Python 👤 kimtth User 🕐 已更新 2026-11-20 📅 创建时间 2022-02-02
149
kvakvs/beam-wisdoms

包含关于 BEAM 虚拟机(运行 Erlang/OTP 和其他基于 BEAM 的语言)的信息和知识片段的 Wiki。

kvakvs
⭐ 539 👤 kvakvs User 🕐 已更新 2024-06-10 📅 创建时间 2016-08-27
150
silver-dev-org/interview-ready

一个用于面试练习的代码仓库。

silver-dev-org
⭐ 529 TypeScript 👤 silver-dev-org Organization 🕐 已更新 2026-02-05 📅 创建时间 2023-08-22