Git Stars Git Stars

#etl 仓库

105
仓库总数
408,616
总星标数
3,891
平均每个仓库星标数

共 105 个仓库

51
datavane/tis

通过 Web UI 支持基于 Flink、DataX 和 Flink-CDC 的敏捷本体数据运维

datavane
⭐ 1,448 Java 👤 datavane Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-01-23
52
toluaina/pgsync

Postgres、MySQL 或 MariaDB 到 Elasticsearch/OpenSearch 的同步

toluaina
⭐ 1,433 Python 👤 toluaina User 🕐 已更新 2026-11-20 📅 创建时间 2019-08-17
53
xitongsys/parquet-go

用于读取/写入 Parquet 文件的纯 Golang 库

xitongsys
⭐ 1,432 Go 👤 xitongsys User 🕐 已更新 2026-05-08 📅 创建时间 2017-09-02
54
amphi-ai/amphi-etl

由Python驱动的视觉化数据准备

amphi-ai
⭐ 1,410 TypeScript 👤 amphi-ai Organization 🕐 已更新 2026-08-24 📅 创建时间 2024-03-20
55
spark-examples/pyspark-examples

Python 语言中的 PySpark RDD、DataFrame 和 Dataset 示例

spark-examples
⭐ 1,371 Python 👤 spark-examples Organization 🕐 已更新 2025-12-07 📅 创建时间 2019-11-26
56
gtoonstra/etl-with-airflow

使用 Airflow 的 ETL 最佳实践,附示例

gtoonstra
⭐ 1,353 Shell 👤 gtoonstra User 🕐 已更新 2024-09-25 📅 创建时间 2016-10-16
57
yhat/pandasql

sqldf 用于 pandas

yhat
⭐ 1,351 Python 👤 yhat Organization 🕐 已更新 2024-07-24 📅 创建时间 2013-02-18
58
subsquid/squid-sdk

用于索引 Ethereum、Solana 和 Substrate 数据的 TypeScript ETL 工具包,数据源自 SQD Network。

subsquid
⭐ 1,347 TypeScript 👤 subsquid Organization 🕐 已更新 2026-11-20 📅 创建时间 2021-12-10
59
singer-io/getting-started

此存储库是 Singer 的入门指南。

singer-io
⭐ 1,342 Makefile 👤 singer-io Organization 🕐 已更新 2025-08-08 📅 创建时间 2016-10-31
60
rwynn/monstache

一个 Go 守护进程,用于实时将 MongoDB 同步到 Elasticsearch。你知道的,为了搜索。

rwynn
⭐ 1,331 Go 👤 rwynn User 🕐 已更新 2025-08-22 📅 创建时间 2016-05-14
61
2ndQuadrant/pglogical

PostgreSQL 17、16、15、14、13、12、11、10、9.6、9.5、9.4 (Postgres) 的逻辑复制扩展,提供比 Slony、Bucardo 或 Londiste 快得多的复制,以及跨版本升级。

2ndQuadrant
⭐ 1,243 C 👤 2ndQuadrant Organization 🕐 已更新 2026-07-28 📅 创建时间 2016-05-10
62
react-csv/react-csv

基于 Array/字面对象数据的 React 组件,用于即时构建 CSV 文件

react-csv
⭐ 1,182 JavaScript 👤 react-csv Organization 🕐 已更新 2024-04-03 📅 创建时间 2016-11-25
63
DataWithBaraa/sql-data-warehouse-project

在 SQL Server 中整合两个源系统(CRM 和 ERP),经过青铜层、白银层和黄金层,构建数据仓库。免费完整项目的文件和脚本。

DataWithBaraa
⭐ 1,089 TSQL 👤 DataWithBaraa User 🕐 已更新 2026-11-06 📅 创建时间 2024-12-30
64
jf-tech/omniparser

omniparser:一个原生的Golang ETL流式解析器和转换库,支持CSV、JSON、XML、EDI、文本等。

jf-tech
⭐ 1,085 Go 👤 jf-tech User 🕐 已更新 2026-10-11 📅 创建时间 2020-08-16
65
dataform-co/dataform

Dataform 是用于在 BigQuery 中管理基于 SQL 的数据操作的框架。

dataform-co
⭐ 998 TypeScript 👤 dataform-co Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-09-03
66
estuary/flow

🌊 通过使用 Estuary 管理您的数据流,持续将数据所在的系统同步到您希望数据所在的系统。 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-02-13
67
uniVocity/univocity-parsers

uniVocity-parsers 是一个Java的超快、可靠的解析器套件。它为处理不同文件格式提供了一致的接口,并为开发新解析器提供了坚实的基础框架。

uniVocity
⭐ 931 Java 👤 uniVocity Organization 🕐 已更新 2024-08-17 📅 创建时间 2014-07-12
68
slingdata-io/sling-cli

Sling 是一个 CLI 工具,它从源存储/数据库中提取数据,并将其加载到目标存储/数据库中。

slingdata-io
⭐ 926 Go 👤 slingdata-io Organization 🕐 已更新 2026-11-20 📅 创建时间 2020-10-15
69
flow-php/flow

最先进的数据处理框架,能够构建可扩展的数据处理管道,并在各种数据源和目标之间移动数据。

flow-php
⭐ 875 PHP 👤 flow-php Organization 🕐 已更新 2026-11-20 📅 创建时间 2021-05-23
70
NeumTry/NeumAI

Neum AI 是一个一流的框架,用于管理大规模矢量嵌入的创建和同步。

NeumTry
⭐ 864 Python 👤 NeumTry Organization 🕐 已更新 2024-01-15 📅 创建时间 2023-09-14
71
Cinchoo/ChoETL

.NET 的 ETL 框架 (CSV、Flat、Xml、JSON、Key-Value、Parquet、Yaml、Avro 格式文件的解析器 / 写入器)

Cinchoo
⭐ 860 C# 👤 Cinchoo User 🕐 已更新 2026-10-19 📅 创建时间 2016-10-19
72
aelassas/wexflow

工作流自动化引擎

aelassas
⭐ 845 C# 👤 aelassas User 🕐 已更新 2026-11-16 📅 创建时间 2022-10-29
73
awslabs/python-deequ

Deequ的Python API

awslabs
⭐ 826 Jupyter Notebook 👤 awslabs Organization 🕐 已更新 2026-10-24 📅 创建时间 2020-11-09
74
pgflo/pg_flo

实时流式传输、转换和路由 PostgreSQL 数据。

pgflo
⭐ 825 Go 👤 pgflo Organization 🕐 已更新 2025-12-29 📅 创建时间 2024-09-02
75
paillave/Etl.Net

使用完整的 ETL 进行 .NET 开发人员的大量数据处理

paillave
⭐ 812 C# 👤 paillave User 🕐 已更新 2026-10-09 📅 创建时间 2018-06-23
76
BasPH/data-pipelines-with-apache-airflow

使用 Apache Airflow 构建数据管道的代码

BasPH
⭐ 810 Python 👤 BasPH User 🕐 已更新 2024-08-15 📅 创建时间 2019-06-10
77
kzaremski/apple-notes-exporter

使用 Swift 编写的 macOS 应用程序,可将 Apple 备忘录(包括 iCloud 备忘录)批量导出为多种格式,并保留备忘录文件夹结构。

kzaremski
⭐ 780 Swift 👤 kzaremski User 🕐 已更新 2026-09-19 📅 创建时间 2023-02-15
78
raystack/optimus

Optimus 是一个易于使用、可靠且性能卓越的流程编排器,用于数据转换、数据建模、管道和数据质量管理。

raystack
⭐ 757 Go 👤 raystack Organization 🕐 已更新 2024-06-08 📅 创建时间 2021-03-22
79
microsoft/etl2pcapng

将包含 Windows 网络数据包捕获的 .etl 文件转换为 .pcapng 格式的实用工具。

microsoft
⭐ 718 C 👤 microsoft Organization 🕐 已更新 2025-06-05 📅 创建时间 2019-09-16
80
koopjs/koop

转换、查询和下载网络上的地理空间数据。

koopjs
⭐ 715 JavaScript 👤 koopjs Organization 🕐 已更新 2026-11-16 📅 创建时间 2013-07-20
81
neuml/paperetl

📄 ⚙️ 医学与科学论文的 ETL 过程

neuml
⭐ 701 Python 👤 neuml Organization 🕐 已更新 2025-12-07 📅 创建时间 2020-07-10
82
awslabs/aws-glue-libs

AWS Glue 库是针对 ETL 操作对 Spark 的添加和增强。

awslabs
⭐ 701 Python 👤 awslabs Organization 🕐 已更新 2026-10-30 📅 创建时间 2017-08-11
83
elastic/eland

用于 Elasticsearch 中 DataFrames、大数据、机器学习和 ETL 的 Python 客户端和工具包

elastic
⭐ 693 Python 👤 elastic Organization 🕐 已更新 2026-06-16 📅 创建时间 2019-06-11
84
tableau/webdataconnector

将您关心的信息带入 Tableau

tableau
⭐ 688 HTML 👤 tableau Organization 🕐 已更新 2026-10-19 📅 创建时间 2015-10-12
85
dbt-labs/dbt-codegen

生成 dbt 代码的宏

dbt-labs
⭐ 677 Makefile 👤 dbt-labs Organization 🕐 已更新 2026-10-01 📅 创建时间 2019-06-10
86
datacleaner/DataCleaner

领先的开源数据质量解决方案

datacleaner
⭐ 646 Java 👤 datacleaner Organization 🕐 已更新 2026-11-15 📅 创建时间 2014-02-20
87
catalyst-cooperative/pudl

公共事业数据解放项目为气候倡导者、研究人员、政策制定者和新闻工作者提供分析就绪的能源系统数据。

catalyst-cooperative
⭐ 621 Python 👤 catalyst-cooperative Organization 🕐 已更新 2026-11-21 📅 创建时间 2017-02-01
88
josephmachado/beginner_de_project

入门级数据工程项目 - 批处理版

josephmachado
⭐ 620 HTML 👤 josephmachado User 🕐 已更新 2026-04-13 📅 创建时间 2020-05-23
89
ConduitIO/conduit

Conduit 在数据存储之间流式传输数据。Kafka Connect 的替代方案。无需 JVM。

ConduitIO
⭐ 617 Go 👤 ConduitIO Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-01-11
90
apecloud/ape-dts

ApeCloud 的数据传输套件,用 Rust 编写。提供 MySQL、PostgreSQL、Redis、MongoDB、Kafka 和 ClickHouse 之间的超快速数据复制,非常适合灾难恢复 (DR) 和迁移场景。

apecloud
⭐ 616 Rust 👤 apecloud Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-01-12
91
insitro/redun

又一个冗余的工作流引擎

insitro
⭐ 610 Python 👤 insitro Organization 🕐 已更新 2026-11-18 📅 创建时间 2021-11-04
92
aryn-ai/sycamore

Sycamore 是一个面向非结构化数据的 LLM 驱动的搜索和分析平台。

aryn-ai
⭐ 605 Python 👤 aryn-ai Organization 🕐 已更新 2026-08-01 📅 创建时间 2023-07-07
93
Datavault-UK/automate-dv

一个免费使用的 dbt 包,用于创建和加载符合 Data Vault 2.0 的数据仓库(由 dbt 驱动,这是一个开源数据工程工具,是 dbt Labs 的注册商标)

Datavault-UK
⭐ 599 👤 Datavault-UK Organization 🕐 已更新 2026-02-05 📅 创建时间 2019-09-27
94
YotpoLtd/metorikku

基于 Apache Spark 的简化轻量级 ETL 框架

YotpoLtd
⭐ 589 Scala 👤 YotpoLtd Organization 🕐 已更新 2026-09-01 📅 创建时间 2017-10-10
95
singer-io/singer-python

从Python写入Singer格式

singer-io
⭐ 585 Python 👤 singer-io Organization 🕐 已更新 2026-11-02 📅 创建时间 2016-10-28
96
taz4et/bitcoin-etl

一个用于提取和转换比特币区块链数据为结构化格式的 Python 工具包。

taz4et
⭐ 580 Python 👤 taz4et User 🕐 已更新 2025-11-24 📅 创建时间 2025-11-14
97
stn1slv/awesome-integration

精选的卓越系统集成软件和资源列表。

stn1slv
⭐ 572 Markdown 👤 stn1slv User 🕐 已更新 2026-11-21 📅 创建时间 2021-07-23
98
JoeyBling/webkettle

基于web版kettle开发的一套分布式综合调度,管理,ETL开发的用户专业版B/S架构工具

JoeyBling
⭐ 572 JavaScript 👤 JoeyBling User 🕐 已更新 2024-06-25 📅 创建时间 2018-05-23
99
pracdata/awesome-open-source-data-engineering

精选的开源工具列表,用于分析平台和数据工程生态系统

pracdata
⭐ 564 👤 pracdata Organization 🕐 已更新 2025-03-12 📅 创建时间 2024-02-22
100
vlm-run/vlmrun-hub

用于VLMs的各种行业特定模式的中心。

vlm-run
⭐ 555 Python 👤 vlm-run Organization 🕐 已更新 2025-12-15 📅 创建时间 2024-11-11