Git Stars Git Stars

#etl リポジトリ

105
リポジトリ総数
408,616
合計スター数
3,891
リポジトリあたりの平均スター数

リポジトリ合計105件

51
datavane/tis

Web UI による Flink、DataX、Flink-CDC ベースのアジャイルなオントロジー DataOps をサポート

datavane
⭐ 1,448 Java 👤 datavane Organization 🕐 更新日時 2026-11-20 📅 作成日 2019-01-23
52
toluaina/pgsync

Postgres、MySQL、またはMariaDBからElasticsearch/OpenSearchへの同期

toluaina
⭐ 1,433 Python 👤 toluaina User 🕐 更新日時 2026-11-20 📅 作成日 2019-08-17
53
xitongsys/parquet-go

Parquet ファイルの読み取り/書き込みのための純粋な Golang ライブラリ

xitongsys
⭐ 1,432 Go 👤 xitongsys User 🕐 更新日時 2026-05-08 📅 作成日 2017-09-02
54
amphi-ai/amphi-etl

Python駆動のビジュアルデータ準備

amphi-ai
⭐ 1,410 TypeScript 👤 amphi-ai Organization 🕐 更新日時 2026-08-24 📅 作成日 2024-03-20
55
spark-examples/pyspark-examples

Python言語でのPySpark RDD、DataFrameおよびDatasetの例

spark-examples
⭐ 1,371 Python 👤 spark-examples Organization 🕐 更新日時 2025-12-07 📅 作成日 2019-11-26
56
gtoonstra/etl-with-airflow

Airflow を使用した ETL のベストプラクティス、例付き

gtoonstra
⭐ 1,353 Shell 👤 gtoonstra User 🕐 更新日時 2024-09-25 📅 作成日 2016-10-16
57
yhat/pandasql

pandas 用の sqldf

yhat
⭐ 1,351 Python 👤 yhat Organization 🕐 更新日時 2024-07-24 📅 作成日 2013-02-18
58
subsquid/squid-sdk

Ethereum、Solana、Substrateのデータをインデックス化するためのTypeScript ETLツールキット(SQD Network提供)。

subsquid
⭐ 1,347 TypeScript 👤 subsquid Organization 🕐 更新日時 2026-11-20 📅 作成日 2021-12-10
59
singer-io/getting-started

このリポジトリは Singer の入門ガイドです。

singer-io
⭐ 1,342 Makefile 👤 singer-io Organization 🕐 更新日時 2025-08-08 📅 作成日 2016-10-31
60
rwynn/monstache

MongoDB をリアルタイムで Elasticsearch に同期する Go デーモン。検索のため、わかるでしょ。

rwynn
⭐ 1,331 Go 👤 rwynn User 🕐 更新日時 2025-08-22 📅 作成日 2016-05-14
61
2ndQuadrant/pglogical

PostgreSQL 17、16、15、14、13、12、11、10、9.6、9.5、9.4 (Postgres) 用の論理レプリケーション拡張機能で、Slony、Bucardo、または Londiste よりもはるかに高速なレプリケーションを提供し、バージョン間アップグレードもサポートします。

2ndQuadrant
⭐ 1,243 C 👤 2ndQuadrant Organization 🕐 更新日時 2026-07-28 📅 作成日 2016-05-10
62
react-csv/react-csv

Array/リテラルオブジェクトのデータに基づいてCSVファイルを即席で構築するためのReactコンポーネント

react-csv
⭐ 1,182 JavaScript 👤 react-csv Organization 🕐 更新日時 2024-04-03 📅 作成日 2016-11-25
63
DataWithBaraa/sql-data-warehouse-project

2つのソースシステム(CRMとERP)から、ブロンズ、シルバー、ゴールドの各レイヤーを経て、SQL Serverにデータウェアハウスを構築します。無料の完全版プロジェクトのファイルとスクリプト。

DataWithBaraa
⭐ 1,089 TSQL 👤 DataWithBaraa User 🕐 更新日時 2026-11-06 📅 作成日 2024-12-30
64
jf-tech/omniparser

omniparser: CSV、JSON、XML、EDI、テキストなどのネイティブGolang ETLストリーミングパーサーおよび変換ライブラリ

jf-tech
⭐ 1,085 Go 👤 jf-tech User 🕐 更新日時 2026-10-11 📅 作成日 2020-08-16
65
dataform-co/dataform

Dataform は、BigQuery での SQL ベースのデータ操作を管理するためのフレームワークです。

dataform-co
⭐ 998 TypeScript 👤 dataform-co Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-09-03
66
estuary/flow

🌊 Estuary を使用してデータフローを管理し、データが存在するシステムから、データを _存在させたい_ システムへ継続的に同期します。 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 更新日時 2026-11-21 📅 作成日 2020-02-13
67
uniVocity/univocity-parsers

uniVocity-parsersは、Java向けの非常に高速で信頼性の高いパーサーのスイートです。さまざまなファイル形式を処理するための統一されたインターフェイスと、新しいパーサー開発のための堅牢なフレームワークを提供します。

uniVocity
⭐ 931 Java 👤 uniVocity Organization 🕐 更新日時 2024-08-17 📅 作成日 2014-07-12
68
slingdata-io/sling-cli

Slingは、ソースストレージ/データベースからデータを抽出し、ターゲットストレージ/データベースにロードするCLIツールです。

slingdata-io
⭐ 926 Go 👤 slingdata-io Organization 🕐 更新日時 2026-11-20 📅 作成日 2020-10-15
69
flow-php/flow

スケーラブルなデータ処理パイプラインを構築し、さまざまなデータソースと宛先間でデータを移動できる、最も先進的なデータ処理フレームワーク。

flow-php
⭐ 875 PHP 👤 flow-php Organization 🕐 更新日時 2026-11-20 📅 作成日 2021-05-23
70
NeumTry/NeumAI

Neum AIは、大規模なベクトル埋め込みの作成と同期を管理するためのクラス最高のフレームワークです。

NeumTry
⭐ 864 Python 👤 NeumTry Organization 🕐 更新日時 2024-01-15 📅 作成日 2023-09-14
71
Cinchoo/ChoETL

.NET 用の ETL フレームワーク (CSV、Flat、Xml、JSON、Key-Value、Parquet、Yaml、Avro 形式ファイルのパーサー / ライター)

Cinchoo
⭐ 860 C# 👤 Cinchoo User 🕐 更新日時 2026-10-19 📅 作成日 2016-10-19
72
aelassas/wexflow

ワークフロー自動化エンジン

aelassas
⭐ 845 C# 👤 aelassas User 🕐 更新日時 2026-11-16 📅 作成日 2022-10-29
73
awslabs/python-deequ

DeequのPython API

awslabs
⭐ 826 Jupyter Notebook 👤 awslabs Organization 🕐 更新日時 2026-10-24 📅 作成日 2020-11-09
74
pgflo/pg_flo

PostgreSQL データをリアルタイムでストリーム、変換、ルーティングします。

pgflo
⭐ 825 Go 👤 pgflo Organization 🕐 更新日時 2025-12-29 📅 作成日 2024-09-02
75
paillave/Etl.Net

.NET 開発者向けの完全な ETL を使用した大量データ処理

paillave
⭐ 812 C# 👤 paillave User 🕐 更新日時 2026-10-09 📅 作成日 2018-06-23
76
BasPH/data-pipelines-with-apache-airflow

Apache Airflow を使用したデータパイプラインのコード

BasPH
⭐ 810 Python 👤 BasPH User 🕐 更新日時 2024-08-15 📅 作成日 2019-06-10
77
kzaremski/apple-notes-exporter

Swiftで書かれたmacOSアプリで、Appleメモ(iCloudメモを含む)をフォルダ構造を維持したまま、さまざまな形式に一括エクスポートします。

kzaremski
⭐ 780 Swift 👤 kzaremski User 🕐 更新日時 2026-09-19 📅 作成日 2023-02-15
78
raystack/optimus

Optimusは、データ変換、データモデリング、パイプライン、データ品質管理のための、使いやすく、信頼性が高く、パフォーマンスの高いワークフローオーケストレーターです。

raystack
⭐ 757 Go 👤 raystack Organization 🕐 更新日時 2024-06-08 📅 作成日 2021-03-22
79
microsoft/etl2pcapng

Windows ネットワーク パケット キャプチャを含む .etl ファイルを .pcapng 形式に変換するユーティリティ。

microsoft
⭐ 718 C 👤 microsoft Organization 🕐 更新日時 2025-06-05 📅 作成日 2019-09-16
80
koopjs/koop

Web上の地理空間データを変換、クエリ、ダウンロードします。

koopjs
⭐ 715 JavaScript 👤 koopjs Organization 🕐 更新日時 2026-11-16 📅 作成日 2013-07-20
81
neuml/paperetl

📄 ⚙️ 医療および科学論文のETLプロセス

neuml
⭐ 701 Python 👤 neuml Organization 🕐 更新日時 2025-12-07 📅 作成日 2020-07-10
82
awslabs/aws-glue-libs

AWS Glue ライブラリは、ETL 操作のための Spark への追加機能および強化です。

awslabs
⭐ 701 Python 👤 awslabs Organization 🕐 更新日時 2026-10-30 📅 作成日 2017-08-11
83
elastic/eland

Elasticsearch 向け DataFrames、ビッグデータ、マシンラーニングおよび ETL の Python クライアントおよびツールキット

elastic
⭐ 693 Python 👤 elastic Organization 🕐 更新日時 2026-06-16 📅 作成日 2019-06-11
84
tableau/webdataconnector

重要なデータを Tableau に取り込みましょう

tableau
⭐ 688 HTML 👤 tableau Organization 🕐 更新日時 2026-10-19 📅 作成日 2015-10-12
85
dbt-labs/dbt-codegen

dbt コードを生成するマクロ

dbt-labs
⭐ 677 Makefile 👤 dbt-labs Organization 🕐 更新日時 2026-10-01 📅 作成日 2019-06-10
86
datacleaner/DataCleaner

最高のオープンソースデータ品質ソリューション

datacleaner
⭐ 646 Java 👤 datacleaner Organization 🕐 更新日時 2026-11-15 📅 作成日 2014-02-20
87
catalyst-cooperative/pudl

Public Utility Data Liberation Project は、気候擁護者、研究者、政策立案者、ジャーナリストに分析準備済みのエネルギーシステムデータを供給します。

catalyst-cooperative
⭐ 621 Python 👤 catalyst-cooperative Organization 🕐 更新日時 2026-11-21 📅 作成日 2017-02-01
88
josephmachado/beginner_de_project

初心者向けデータエンジニアリングプロジェクト - バッチ版

josephmachado
⭐ 620 HTML 👤 josephmachado User 🕐 更新日時 2026-04-13 📅 作成日 2020-05-23
89
ConduitIO/conduit

Conduit はデータストア間でデータをストリーミングします。Kafka Connect の代替。JVM は不要です。

ConduitIO
⭐ 617 Go 👤 ConduitIO Organization 🕐 更新日時 2026-11-21 📅 作成日 2022-01-11
90
apecloud/ape-dts

Rustで書かれたApeCloudのデータ転送スイート。MySQL、PostgreSQL、Redis、MongoDB、Kafka、ClickHouse間の超高速データレプリケーションを提供し、災害復旧(DR)および移行シナリオに最適です。

apecloud
⭐ 616 Rust 👤 apecloud Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-01-12
91
insitro/redun

さらに別の冗長なワークフローエンジン

insitro
⭐ 610 Python 👤 insitro Organization 🕐 更新日時 2026-11-18 📅 作成日 2021-11-04
92
aryn-ai/sycamore

Sycamoreは、非構造化データ向けのLLM駆動型検索および分析プラットフォームです。

aryn-ai
⭐ 605 Python 👤 aryn-ai Organization 🕐 更新日時 2026-08-01 📅 作成日 2023-07-07
93
Datavault-UK/automate-dv

Data Vault 2.0 に準拠したデータウェアハウスを作成およびロードするための無料で使用可能な dbt パッケージ(dbt、オープンソースのデータエンジニアリングツール、dbt Labs の登録商標によって駆動)

Datavault-UK
⭐ 599 👤 Datavault-UK Organization 🕐 更新日時 2026-02-05 📅 作成日 2019-09-27
94
YotpoLtd/metorikku

Apache Spark をベースにした、シンプルで軽量な ETL フレームワーク

YotpoLtd
⭐ 589 Scala 👤 YotpoLtd Organization 🕐 更新日時 2026-09-01 📅 作成日 2017-10-10
95
singer-io/singer-python

PythonからSingerフォーマットを書き込む

singer-io
⭐ 585 Python 👤 singer-io Organization 🕐 更新日時 2026-11-02 📅 作成日 2016-10-28
96
taz4et/bitcoin-etl

Bitcoinブロックチェーンデータを抽出し、構造化された形式に変換するためのPythonツールキット。

taz4et
⭐ 580 Python 👤 taz4et User 🕐 更新日時 2025-11-24 📅 作成日 2025-11-14
97
stn1slv/awesome-integration

システム統合のための優れたソフトウェアとリソースを厳選したリスト。

stn1slv
⭐ 572 Markdown 👤 stn1slv User 🕐 更新日時 2026-11-21 📅 作成日 2021-07-23
98
JoeyBling/webkettle

Web版Kettleを基盤に開発された分散型総合スケジューリング、管理、ETL開発のユーザー向けプロフェッショナル版B/Sアーキテクチャツール

JoeyBling
⭐ 572 JavaScript 👤 JoeyBling User 🕐 更新日時 2024-06-25 📅 作成日 2018-05-23
99
pracdata/awesome-open-source-data-engineering

アナリティクスプラットフォームおよびデータエンジニアリングエコシステムで使用されるオープンソースツールのキュレーションされたリスト

pracdata
⭐ 564 👤 pracdata Organization 🕐 更新日時 2025-03-12 📅 作成日 2024-02-22
100
vlm-run/vlmrun-hub

VLMsで使用するための、さまざまな業界固有のスキーマのハブ。

vlm-run
⭐ 555 Python 👤 vlm-run Organization 🕐 更新日時 2025-12-15 📅 作成日 2024-11-11