Git Stars Git Stars

#etl 仓库

探索 105 个标记为 #etl 的活跃开源 GitHub 仓库,它们累计获得 408,616 个 Star(平均每个项目 3,891 个)。该主题的领先项目是 pathwaycom/pathway,拥有 61,976 个 Star。

105
仓库总数
408,616
总星标数
3,891
平均每个仓库星标数

共 105 个仓库

1
pathwaycom/pathway

用于流处理、实时分析、LLM管道和RAG的Python ETL框架。

pathwaycom
⭐ 61,976 Python 👤 pathwaycom Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-11-27
2
apache/airflow

Apache Airflow - 一个用于以编程方式编写、调度和监控工作流的平台

apache
⭐ 47,583 Python 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2015-04-13
3
kestra-io/kestra

随时随地,编排一切。面向数据、基础设施、业务流程和 AI 智能体工作流的开源控制平面。采用声明式 YAML、事件驱动,支持任意语言、Git 版本管理,可扩展至数百万次执行。

kestra-io
⭐ 30,303 Java 👤 kestra-io Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-08-24
4
vectordotdev/vector

高性能的可观测性数据管道。

vectordotdev
⭐ 22,928 Rust 👤 vectordotdev Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-08-27
5
airbytehq/airbyte

开源数据移动,用于 ELT 管道和 AI 代理 — 从 API、数据库和文件到数据仓库、数据湖和 AI 应用。支持自托管和云端。

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-07-27
6
dagster-io/dagster

一个用于数据资产开发、生产和观察的编排平台。

dagster-io
⭐ 16,453 Python 👤 dagster-io Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-04-30
7
cocoindex-io/cocoindex

长时域代理的增量引擎 🌟 如果喜欢,请点星!

cocoindex-io
⭐ 11,923 Rust 👤 cocoindex-io Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-03-03
8
mage-ai/mage-ai

🧙 构建、运行和管理数据管道,用于集成和转换数据。

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2022-05-16
9
redpanda-data/connect

将花哨的流处理变得运营上平凡

redpanda-data
⭐ 8,804 Go 👤 redpanda-data Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-03-22
10
pentaho/pentaho-kettle

Pentaho Data Integration (ETL) 又名 Kettle

pentaho
⭐ 8,419 Java 👤 pentaho Organization 🕐 已更新 2026-11-21 📅 创建时间 2013-10-08
11
turbot/steampipe

Zero-ETL,无限可能。通过 SQL 进行实时查询 API、代码等操作。无需数据库。

turbot
⭐ 8,019 Go 👤 turbot Organization 🕐 已更新 2026-11-20 📅 创建时间 2021-01-17
12
cloudquery/cloudquery

用于云配置和安全数据的数据管道。构建云资产清单、CSPM、FinOps 和漏洞管理解决方案。从 AWS、Azure、GCP 以及 70 多个云和 SaaS 源提取数据。

cloudquery
⭐ 6,561 Go 👤 cloudquery Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-11-18
13
apache/flink-cdc

Flink CDC 是一个流式数据集成工具

apache
⭐ 6,495 Java 👤 apache Organization 🕐 已更新 2026-11-20 📅 创建时间 2020-07-27
14
WeiYe-Jing/datax-web

DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。

WeiYe-Jing
⭐ 5,958 Java 👤 WeiYe-Jing User 🕐 已更新 2024-06-02 📅 创建时间 2019-11-19
15
Eventual-Inc/Daft

适用于 AI 和多模态工作负载的高性能数据引擎。以任何规模处理图像、音频、视频和结构化数据。

Eventual-Inc
⭐ 5,858 Rust 👤 Eventual-Inc Organization 🕐 已更新 2026-11-09 📅 创建时间 2022-04-25
16
rudderlabs/rudder-server

注重隐私和安全的 Segment 替代品,使用 Golang 和 React

rudderlabs
⭐ 4,520 Go 👤 rudderlabs Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-07-19
17
zendesk/maxwell

麦克斯韦妖,一个mysql到json的kafka生产者

zendesk
⭐ 4,268 Java 👤 zendesk Organization 🕐 已更新 2026-11-17 📅 创建时间 2015-02-09
18
ucbepic/docetl

一种用于 agentic LLM 驱动的数据处理和 ETL 的系统

ucbepic
⭐ 4,266 Python 👤 ucbepic Organization 🕐 已更新 2026-11-17 📅 创建时间 2024-07-09
19
aws/aws-sdk-pandas

AWS 上的 pandas - 与 Athena、Glue、Redshift、Timestream、Neptune、OpenSearch、QuickSight、Chime、CloudWatchLogs、DynamoDB、EMR、SecretManager、PostgreSQL、MySQL、SQLServer 和 S3 (Parquet、CSV、JSON 和 EXCEL) 的轻松集成。

aws
⭐ 4,124 Python 👤 aws Organization 🕐 已更新 2026-11-21 📅 创建时间 2019-02-26
20
quadratichq/quadratic

包含AI、代码、连接的电子表格

quadratichq
⭐ 3,958 Rust 👤 quadratichq Organization 🕐 已更新 2026-03-07 📅 创建时间 2021-11-11
21
Netflix/maestro

Maestro:Netflix 的工作流协调器

Netflix
⭐ 3,852 Java 👤 Netflix Organization 🕐 已更新 2026-11-06 📅 创建时间 2024-04-17
22
pawl/awesome-etl

精选的优秀 ETL 框架、库和软件列表。

pawl
⭐ 3,607 👤 pawl User 🕐 已更新 2026-05-01 📅 创建时间 2015-10-07
23
xyflow/awesome-node-based-uis

关于基于节点的UI的精选资源列表

xyflow
⭐ 3,599 👤 xyflow Organization 🕐 已更新 2025-06-29 📅 创建时间 2022-11-14
24
SQLMesh/sqlmesh

可扩展且高效的数据转换框架 - 向后兼容 dbt。

SQLMesh
⭐ 3,360 Python 👤 SQLMesh Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-09-23
25
PeerDB-io/peerdb

一个快速、简单且经济高效的工具,用于将数据从 Postgres 复制到数据仓库、队列和存储

PeerDB-io
⭐ 3,322 Go 👤 PeerDB-io Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-04-15
26
duckdb/pg_duckdb

DuckDB 驱动的 Postgres,适用于高性能应用和分析。

duckdb
⭐ 3,317 C++ 👤 duckdb Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-03-20
27
apache/devlake

Apache DevLake 是一个开源的开发数据平台,用于摄取、分析和可视化来自 DevOps 工具的碎片化数据,从而为工程卓越、开发者体验和社区增长提取洞见。

apache
⭐ 3,204 Go 👤 apache Organization 🕐 已更新 2026-11-19 📅 创建时间 2021-07-08
28
blockchain-etl/ethereum-etl

用于以太坊区块、交易、ERC20/ERC721代币、转账、收据、日志、合约、内部交易的ETL(提取、转换和加载)作业的Python脚本。数据可在Google BigQuery中获取 https://goo.gl/oY5BCQ

blockchain-etl
⭐ 3,132 Python 👤 blockchain-etl Organization 🕐 已更新 2026-01-25 📅 创建时间 2018-05-02
29
apache/hamilton

Apache Hamilton 帮助数据科学家和工程师定义可测试、模块化、自文档化的数据流,这些数据流编码血缘/跟踪和元数据。可在 Python 运行的所有地方运行和扩展。

apache
⭐ 2,631 Jupyter Notebook 👤 apache Organization 🕐 已更新 2026-11-16 📅 创建时间 2023-02-23
30
instill-ai/instill-core

Instill Core 是一款用于数据、模型和管道编排的全栈 AI 基础设施工具,旨在简化构建通用 AI 优先应用程序的各个方面。

instill-ai
⭐ 2,322 Python 👤 instill-ai Organization 🕐 已更新 2026-06-01 📅 创建时间 2022-01-13
31
timeplus-io/proton

集成于单个 C++ 二进制文件中的最快统一流式 SQL 引擎。⚡ 毫秒级延迟。吞吐量超过 100 GB/s。持续从流、日志、指标、事件和 CDC 中计算有状态上下文。

timeplus-io
⭐ 2,286 C++ 👤 timeplus-io Organization 🕐 已更新 2026-11-18 📅 创建时间 2023-08-14
32
thenaturalist/awesome-business-intelligence

积极精选的优秀 BI 工具列表。欢迎 PR!

thenaturalist
⭐ 2,252 👤 thenaturalist User 🕐 已更新 2024-08-21 📅 创建时间 2017-06-08
33
reugn/go-streams

Go 的轻量级流处理库

reugn
⭐ 2,178 Go 👤 reugn User 🕐 已更新 2026-01-14 📅 创建时间 2019-04-30
34
datazip-inc/olake-go

OLake Go:一款开源工具,可将数据库、Kafka 和 S3 中的数据复制到 Apache Iceberg 和 Parquet。数据源:Postgres、MySQL、MongoDB、Oracle、MSSQL、DB2、Kafka、S3。原名 datazip-inc/olake。表维护功能位于 datazip-inc/olake-fusion。

datazip-inc
⭐ 2,166 Go 👤 datazip-inc Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-10-15
35
data-engineering-community/data-engineering-wiki

学习数据工程的最佳场所。由数据工程社区构建和维护。

data-engineering-community
⭐ 2,067 CSS 👤 data-engineering-community Organization 🕐 已更新 2026-09-15 📅 创建时间 2021-05-04
36
TurboWay/big_screen

数据大屏可视化

TurboWay
⭐ 1,884 HTML 👤 TurboWay User 🕐 已更新 2026-01-22 📅 创建时间 2020-09-28
37
dbt-labs/dbt-utils

dbt 项目的实用函数。

dbt-labs
⭐ 1,837 Makefile 👤 dbt-labs Organization 🕐 已更新 2026-11-21 📅 创建时间 2017-07-16
38
shuchkin/simplexlsx

解析并从 Excel XLSx 文件中检索数据

shuchkin
⭐ 1,829 PHP 👤 shuchkin User 🕐 已更新 2026-10-20 📅 创建时间 2016-05-25
39
thbar/kiba

Ruby 的数据处理与 ETL 框架

thbar
⭐ 1,775 Ruby 👤 thbar User 🕐 已更新 2026-01-10 📅 创建时间 2013-07-18
40
Multiwoven/multiwoven

🔥🔥🔥 开源 Reverse ETL - hightouch 和 census 的替代方案。

Multiwoven
⭐ 1,685 Ruby 👤 Multiwoven Organization 🕐 已更新 2026-11-18 📅 创建时间 2023-10-20
41
Snowflake-Labs/pg_lake

pg_lake:支持 Iceberg 和数据湖访问的 Postgres

Snowflake-Labs
⭐ 1,674 Python 👤 Snowflake-Labs Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-11-04
42
yobix-ai/extractous

快速高效的非结构化数据提取。使用 Rust 编写,并提供多种语言的绑定。

yobix-ai
⭐ 1,660 Rust 👤 yobix-ai Organization 🕐 已更新 2024-12-21 📅 创建时间 2024-06-04
43
ariacom/Seal-Report

数据库报告工具和任务 (.Net)

ariacom
⭐ 1,647 C# 👤 ariacom User 🕐 已更新 2026-11-20 📅 创建时间 2015-08-11
44
nerevu/riko

一个模仿Yahoo! Pipes的Python流处理引擎

nerevu
⭐ 1,605 Python 👤 nerevu Organization 🕐 已更新 2026-11-19 📅 创建时间 2016-06-02
45
getdozer/dozer

Dozer 是一个实时数据移动工具,它利用来自各种源的 CDC,并将数据移动到各种目标。

getdozer
⭐ 1,571 Rust 👤 getdozer Organization 🕐 已更新 2024-06-18 📅 创建时间 2022-08-31
46
slothflowlabs/duckle

可部署在自有服务器或云端的开源 ETL/ELT。基于 DuckDB 构建:支持无代码/低代码可视化管道或 SQL、446 个组件、dbt、CDC、数据质量、反向 ETL、数据血缘,以及面向 AI 智能体的 MCP。无厂商云,无按行计费。

slothflowlabs
⭐ 1,558 Rust 👤 slothflowlabs Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-05-21
47
Open-Source-Legal/OpenContracts

面向构建者和黑客的开放文档智能平台——适用于代理世界的DMS

Open-Source-Legal
⭐ 1,550 Python 👤 Open-Source-Legal Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-10-24
48
apache/hop

Hop 编排平台

apache
⭐ 1,544 Java 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2019-09-24
49
duneanalytics/spellbook

Dune 的 SQL 视图

duneanalytics
⭐ 1,529 Python 👤 duneanalytics Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-01-31
50
wgzhao/Addax

Alibaba DataX 的持续维护继任者——一款快速、灵活的开源 ETL 工具,支持 30 多种关系型数据库和 NoSQL 数据源。

wgzhao
⭐ 1,455 Java 👤 wgzhao User 🕐 已更新 2026-11-20 📅 创建时间 2019-07-17

常见问题解答

1

GitHub 上最受欢迎的 #etl 仓库是什么?

GitHub 上排名第一的开源 #etl 项目是 pathwaycom/pathway,拥有 61,976 个 Star。用于流处理、实时分析、LLM管道和RAG的Python ETL框架。

2

#etl 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #etl 项目中,最常见的编程语言是 Python, Java, Go, Rust。

3

#etl 仓库的排名是如何计算的?

我们跟踪了 105 个标记为 #etl 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 408,616 个 Star,平均每个仓库拥有 3,891 个 Star。排名每日根据 GitHub API 更新。