Git Stars Git Stars

#data-engineering リポジトリ

#data-engineeringのタグが付いた、GitHub上の152件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は727,632個で、プロジェクトあたりの平均は4,787個です。このトピックをリードしているのは、75,603個のスターを獲得しているapache/supersetです。

152
リポジトリ総数
727,632
合計スター数
4,787
リポジトリあたりの平均スター数

リポジトリ合計152件

1
apache/superset

Apache Superset はデータ視覚化およびデータエクスプロレーション プラットフォームです

apache
⭐ 75,603 Python 👤 apache Organization 🕐 更新日時 2026-11-21 📅 作成日 2015-07-21
2
GokuMohandas/Made-With-ML

本番環境レベルの ML アプリケーションの開発、デプロイ、および反復の方法を学びましょう。

GokuMohandas
⭐ 50,112 Jupyter Notebook 👤 GokuMohandas User 🕐 更新日時 2026-03-04 📅 作成日 2018-11-05
3
apache/airflow

Apache Airflow - ワークフローをプログラムで作成、スケジュール、監視するためのプラットフォーム

apache
⭐ 47,583 Python 👤 apache Organization 🕐 更新日時 2026-11-21 📅 作成日 2015-04-13
4
DataTalksClub/data-engineering-zoomcamp

Data Engineering Zoomcamp は、本番環境対応のデータパイプライン構築に関する9週間の無料コースです。コースへの参加はこちら 👇🏼

DataTalksClub
⭐ 46,997 Jupyter Notebook 👤 DataTalksClub Organization 🕐 更新日時 2026-11-16 📅 作成日 2021-10-21
5
kestra-io/kestra

あらゆる場所で、あらゆるものをオーケストレーション。データ、インフラ、ビジネスプロセス、AIエージェントにまたがるワークフローのためのオープンソース制御プレーン。宣言型YAML、イベント駆動、あらゆる言語に対応、Gitでバージョン管理でき、数百万回の実行にも拡張可能。

kestra-io
⭐ 30,303 Java 👤 kestra-io Organization 🕐 更新日時 2026-11-20 📅 作成日 2019-08-24
6
eugeneyan/applied-ml

📚 制作環境におけるデータサイエンスおよび機械学習に関する作業を共有する企業の論文とテックブログ。

eugeneyan
⭐ 28,577 👤 eugeneyan User 🕐 更新日時 2024-07-18 📅 作成日 2020-07-04
7
PrefectHQ/prefect

Prefect は、Python で弾力性のあるデータパイプラインを構築するためのワークフローオーケストレーションフレームワークです。

PrefectHQ
⭐ 24,203 Python 👤 PrefectHQ Organization 🕐 更新日時 2026-11-21 📅 作成日 2018-06-29
8
airbytehq/airbyte

オープンソースのデータ移動:ELT パイプラインと AI エージェント向け — API、データベース、ファイルからデータウェアハウス、データレイク、AI アプリケーションへ。セルフホストおよびクラウド対応。

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 更新日時 2026-11-21 📅 作成日 2020-07-27
9
Avaiga/taipy

データとAIアルゴリズムを、すぐに本番稼働可能なWebアプリケーションに変換します。

Avaiga
⭐ 19,458 Python 👤 Avaiga Organization 🕐 更新日時 2026-08-10 📅 作成日 2022-02-18
10
argoproj/argo-workflows

Kubernetes 用ワークフローエンジン

argoproj
⭐ 17,108 Go 👤 argoproj Organization 🕐 更新日時 2026-11-21 📅 作成日 2017-08-21
11
dagster-io/dagster

データ資産の開発、生産、および観察のためのオーケストレーションプラットフォーム。

dagster-io
⭐ 16,453 Python 👤 dagster-io Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-04-30
12
andkret/Cookbook

データエンジニアリング・クックブック

andkret
⭐ 15,594 Python 👤 andkret User 🕐 更新日時 2026-10-16 📅 作成日 2019-03-10
13
semantica-agi/semantica

信頼できるエンタープライズAIのためのグラフネイティブなセマンティックレイヤー

semantica-agi
⭐ 14,701 Python 👤 semantica-agi Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-06-25
14
fivetran/great_expectations

データから何を期待するかを常に知っておきましょう。

fivetran
⭐ 11,941 Python 👤 fivetran Organization 🕐 更新日時 2026-11-17 📅 作成日 2017-09-11
15
cocoindex-io/cocoindex

長期的ホライゾンエージェントのための増分エンジン 🌟 気に入ったら星をつけて!

cocoindex-io
⭐ 11,923 Rust 👤 cocoindex-io Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-03-03
16
xonsh/xonsh

🐚 Python搭載のシェル。フル機能、クロスプラットフォーム、AIフレンドリー。

xonsh
⭐ 9,704 Python 👤 xonsh Organization 🕐 更新日時 2026-11-16 📅 作成日 2015-01-21
17
risingwavelabs/risingwave

エージェント型AI向けイベントストリーミングプラットフォーム。リアルタイムで大規模にイベントストリームを継続的に取り込み、変換、配信します。

risingwavelabs
⭐ 9,425 Rust 👤 risingwavelabs Organization 🕐 更新日時 2026-11-21 📅 作成日 2022-01-28
18
mage-ai/mage-ai

🧙 データの統合と変換のためのデータパイプラインを構築、実行、管理します。

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 更新日時 2026-11-20 📅 作成日 2022-05-16
19
redpanda-data/connect

華やかなストリーム処理を運用上平凡に

redpanda-data
⭐ 8,804 Go 👤 redpanda-data Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-03-22
20
growthbook/growthbook

オープンソースのフィーチャーフラグ、実験、そしてプロダクト分析

growthbook
⭐ 8,639 TypeScript 👤 growthbook Organization 🕐 更新日時 2026-11-21 📅 作成日 2021-05-07
21
Zipstack/unstract

LLM駆動の非構造化データ抽出 — APIデプロイメントとETLパイプライン workflow向けに構築

Zipstack
⭐ 7,462 Python 👤 Zipstack Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-02-21
22
feast-dev/feast

AI/MLのためのオープンソース機能ストア

feast-dev
⭐ 7,362 Python 👤 feast-dev Organization 🕐 更新日時 2026-11-21 📅 作成日 2018-12-10
23
evidence-dev/evidence

コードとしてのビジネスインテリジェンス:SQLとマークダウンで高速なインタラクティブデータビジュアライゼーションを構築する

evidence-dev
⭐ 7,140 TypeScript 👤 evidence-dev Organization 🕐 更新日時 2026-11-20 📅 作成日 2021-05-27
24
cloudquery/cloudquery

クラウド構成およびセキュリティデータ用のデータパイプライン。クラウド資産インベントリ、CSPM、FinOps、および脆弱性管理ソリューションを構築します。AWS、Azure、GCP、および 70 以上のクラウドおよび SaaS ソースからデータを抽出します。

cloudquery
⭐ 6,561 Go 👤 cloudquery Organization 🕐 更新日時 2026-11-21 📅 作成日 2020-11-18
25
dlt-hub/dlt

Data Load Tool (dlt) は、データロードを容易にするオープンソースのPythonライブラリです 🛠️

dlt-hub
⭐ 6,115 Python 👤 dlt-hub Organization 🕐 更新日時 2026-11-20 📅 作成日 2022-01-26
26
WeiYe-Jing/datax-web

DataX統合ビジュアライズページで、データソースを選択するだけでワンクリックでデータ同期タスクを生成できます。RDBMS、Hive、HBase、ClickHouse、MongoDBなどのデータソースをサポート。RDBMSデータ同期タスクを一括作成、オープンソースのスケジューリングシステムを統合し、分散処理、増分データ同期、実行ログのリアルタイム表示、エグゼキューターのリソース監視、実行プロセスのKILL、データソース情報の暗号化などをサポートします。

WeiYe-Jing
⭐ 5,958 Java 👤 WeiYe-Jing User 🕐 更新日時 2024-06-02 📅 作成日 2019-11-19
27
Eventual-Inc/Daft

AIおよびマルチモーダルワークロード向けの高性能データエンジン。画像、オーディオ、ビデオ、構造化データをあらゆる規模で処理します。

Eventual-Inc
⭐ 5,858 Rust 👤 Eventual-Inc Organization 🕐 更新日時 2026-11-09 📅 作成日 2022-04-25
28
treeverse/lakeFS

lakeFS - データレイクのためのデータバージョン管理 | データのための Git

treeverse
⭐ 5,590 Go 👤 treeverse Organization 🕐 更新日時 2026-11-19 📅 作成日 2019-09-12
29
chiphuyen/dmls-book

「Designing Machine Learning Systems」(Chip Huyen、O'Reilly 2022)の要約とリソース

chiphuyen
⭐ 5,481 👤 chiphuyen User 🕐 更新日時 2026-06-09 📅 作成日 2022-05-27
30
ruc-datalab/DeepAnalyze

DeepAnalyze は、自律型データサイエンスのための最初のエージェント型LLMです。🎈あなたのAIデータアナリストが、大量のデータを自動分析し、ワンクリックで専門的な分析レポートを生成します!

ruc-datalab
⭐ 4,833 Python 👤 ruc-datalab Organization 🕐 更新日時 2026-11-02 📅 作成日 2025-10-11
31
rudderlabs/rudder-server

プライバシーとセキュリティに焦点を当てた Segment の代替、Golang と React で

rudderlabs
⭐ 4,520 Go 👤 rudderlabs Organization 🕐 更新日時 2026-11-20 📅 作成日 2019-07-19
32
Moataz-Elmesmary/Data-Science-Roadmap

AからZまでのデータサイエンスロードマップ

Moataz-Elmesmary
⭐ 4,429 👤 Moataz-Elmesmary User 🕐 更新日時 2025-12-06 📅 作成日 2022-04-17
33
whoiskatrin/sql-translator

SQL Translatorは、人工知能を使用して自然言語クエリをSQLコードに変換するツールです。このプロジェクトは100%無料でオープンソースです。

whoiskatrin
⭐ 4,315 TypeScript 👤 whoiskatrin User 🕐 更新日時 2025-07-06 📅 作成日 2023-03-11
34
aws/aws-sdk-pandas

AWS での pandas - Athena、Glue、Redshift、Timestream、Neptune、OpenSearch、QuickSight、Chime、CloudWatchLogs、DynamoDB、EMR、SecretManager、PostgreSQL、MySQL、SQLServer、および S3 (Parquet、CSV、JSON、EXCEL) との簡単な統合。

aws
⭐ 4,124 Python 👤 aws Organization 🕐 更新日時 2026-11-21 📅 作成日 2019-02-26
35
adilkhash/Data-Engineering-HowTo

データエンジニアリングをゼロから学ぶための有用なリソースリスト

adilkhash
⭐ 4,049 👤 adilkhash User 🕐 更新日時 2026-10-30 📅 作成日 2019-03-28
36
knownsec/aipyapp

AI搭載Python & Python搭載AI(Python利用)

knownsec
⭐ 4,026 HTML 👤 knownsec Organization 🕐 更新日時 2026-02-15 📅 作成日 2025-04-06
37
quadratichq/quadratic

AI、コード、接続を備えたスプレッドシート

quadratichq
⭐ 3,958 Rust 👤 quadratichq Organization 🕐 更新日時 2026-03-07 📅 作成日 2021-11-11
38
camelot-dev/camelot

PDFから表データを抽出するためのPythonライブラリ

camelot-dev
⭐ 3,858 Python 👤 camelot-dev Organization 🕐 更新日時 2026-11-21 📅 作成日 2019-07-01
39
Netflix/maestro

Maestro: Netflixのワークフローオーケストレーター

Netflix
⭐ 3,852 Java 👤 Netflix Organization 🕐 更新日時 2026-11-06 📅 作成日 2024-04-17
40
dathere/qsv

超高速なニューロシンボリック・データ加工ツールキット

dathere
⭐ 3,836 Rust 👤 dathere Organization 🕐 更新日時 2026-11-21 📅 作成日 2020-12-11
41
moabukar/tech-vault

テクノロジーにおける多くの面接の質問と実際の課題のリスト! (https://tech-vault-web.vercel.app/)

moabukar
⭐ 3,599 HCL 👤 moabukar User 🕐 更新日時 2026-03-01 📅 作成日 2023-03-27
42
lakehq/sail

Rustで書かれたApache Sparkのドロップイン代替品で、バッチ処理、ストリーム処理、計算集約型のAIワークロードを統一します。

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-12-21
43
superstreamlabs/memphis

Memphis.dev は、非常にスケーラブルで簡単なデータストリーミングプラットフォームです。

superstreamlabs
⭐ 3,442 Go 👤 superstreamlabs Organization 🕐 更新日時 2026-03-02 📅 作成日 2022-02-01
44
GokuMohandas/mlops-course

本番環境対応の ML アプリケーションを設計、開発、デプロイ、改善する方法を学びましょう。

GokuMohandas
⭐ 3,272 Jupyter Notebook 👤 GokuMohandas User 🕐 更新日時 2024-08-16 📅 作成日 2020-11-12
45
apache/devlake

Apache DevLakeは、DevOpsツールからの断片化されたデータを収集、分析、視覚化し、エンジニアリングの卓越性、開発者のエクスペリエンス、コミュニティの成長のための洞察を抽出するオープンソースのデブデータプラットフォームです。

apache
⭐ 3,204 Go 👤 apache Organization 🕐 更新日時 2026-11-19 📅 作成日 2021-07-08
46
itsdecodingai/second-brain-ai-assistant-course

LLM、エージェント、RAG、ファインチューニング、LLMOps、AIシステム技術を使用して、セカンドブレインAIアシスタントを構築する方法を学びましょう。

itsdecodingai
⭐ 3,138 Jupyter Notebook 👤 itsdecodingai Organization 🕐 更新日時 2026-04-06 📅 作成日 2024-12-30
47
Zleap-AI/SAG

RAGの新しいSOTA — 人間とエージェントのための独自の検索アーキテクチャおよびオープンソースのナレッジベース。

Zleap-AI
⭐ 3,004 Python 👤 Zleap-AI Organization 🕐 更新日時 2026-11-13 📅 作成日 2025-11-07
48
gunnarmorling/awesome-opensource-data-engineering

オープンソースのデータエンジニアリングプロジェクトの素晴らしいリスト

gunnarmorling
⭐ 2,946 👤 gunnarmorling User 🕐 更新日時 2024-10-04 📅 作成日 2020-02-11
49
danielbeach/data-engineering-practice

データエンジニアリング実践問題

danielbeach
⭐ 2,706 Python 👤 danielbeach User 🕐 更新日時 2025-01-08 📅 作成日 2022-02-17
50
meltano/meltano

Meltano:あなたの最も大胆なデータおよびML搭載製品のアイデアを実現する、宣言型のコードファーストデータ統合エンジン。独自のAPI統合の作成、保守、スケーリングに別れを告げましょう。

meltano
⭐ 2,683 Python 👤 meltano Organization 🕐 更新日時 2026-11-21 📅 作成日 2021-06-21

よくある質問

1

GitHubで最も人気のある#data-engineeringリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#data-engineeringプロジェクトは、75,603個のスターを獲得しているapache/supersetです。Apache Superset はデータ視覚化およびデータエクスプロレーション プラットフォームです

2

#data-engineeringリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#data-engineeringプロジェクトでは、Python, Go, Rust, Jupyter Notebookが最も一般的なプログラミング言語です。

3

#data-engineeringリポジトリのランキングはどのように算出されていますか?

#data-engineeringのタグが付いた152件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は727,632個で、リポジトリあたりの平均は4,787個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。