Git Stars Git Stars

#data-engineering リポジトリ

152
リポジトリ総数
727,632
合計スター数
4,787
リポジトリあたりの平均スター数

リポジトリ合計152件

51
apache/hamilton

Apache Hamilton は、データサイエンティストやエンジニアが、リネージ/トレーシングとメタデータをエンコードする、テスト可能でモジュール化された自己文書化データフローを定義するのに役立ちます。Python が実行されるすべての場所で実行およびスケーリングされます。

apache
⭐ 2,631 Jupyter Notebook 👤 apache Organization 🕐 更新日時 2026-11-16 📅 作成日 2023-02-23
52
sodadata/soda-core

モダンデータスタック向けのデータ契約エンジン。 https://www.soda.io

sodadata
⭐ 2,463 Python 👤 sodadata Organization 🕐 更新日時 2026-11-21 📅 作成日 2020-12-14
53
metarank/metarank

記事、リスティング、検索結果、レコメンデーションのユーザーエンゲージメントを高めるローコード機械学習パーソナライズドランキングサービス。フレンドリーな学習ランキングエンジン

metarank
⭐ 2,461 Scala 👤 metarank Organization 🕐 更新日時 2026-10-06 📅 作成日 2020-08-19
54
running-elephant/datart

Datartは、次世代のデータビジュアライゼーションオープンプラットフォームです

running-elephant
⭐ 2,288 TypeScript 👤 running-elephant Organization 🕐 更新日時 2025-02-10 📅 作成日 2021-10-15
55
bytewax/bytewax

Python ストリーム処理

bytewax
⭐ 2,074 Python 👤 bytewax Organization 🕐 更新日時 2026-11-13 📅 作成日 2022-02-04
56
data-engineering-community/data-engineering-wiki

データエンジニアリングを学ぶのに最適な場所です。データエンジニアリングコミュニティによって構築および維持されています。

data-engineering-community
⭐ 2,067 CSS 👤 data-engineering-community Organization 🕐 更新日時 2026-09-15 📅 作成日 2021-05-04
57
getnao/nao

👾 naoは、オープンソースのエージェント型BIで第1位です。(1) nao-core CLIでコンテキストを作成し、(2) すべての人が使えるnaoチャットインターフェースをデプロイします。

getnao
⭐ 2,034 TypeScript 👤 getnao Organization 🕐 更新日時 2026-11-20 📅 作成日 2025-12-30
58
Datus-ai/Datus-agent

データエンジニアリングの未来 — 現代的なデータスタックのためのCLIベースのSQLクライアントであり、データに対してAIネイティブなコンテキストエンジニアリングを可能にします。

Datus-ai
⭐ 1,932 Python 👤 Datus-ai Organization 🕐 更新日時 2026-11-20 📅 作成日 2025-07-04
59
feathr-ai/feathr

Feathr – 企業向けのスケーラブルで統合されたデータおよびAIエンジニアリングプラットフォーム

feathr-ai
⭐ 1,916 Scala 👤 feathr-ai Organization 🕐 更新日時 2024-04-04 📅 作成日 2022-02-18
60
dbt-labs/dbt-utils

dbt プロジェクトのためのユーティリティ関数。

dbt-labs
⭐ 1,837 Makefile 👤 dbt-labs Organization 🕐 更新日時 2026-11-21 📅 作成日 2017-07-16
61
kiwenlau/hadoop-cluster-docker

Docker コンテナー内で Hadoop クラスターを実行

kiwenlau
⭐ 1,827 Shell 👤 kiwenlau User 🕐 更新日時 2024-07-01 📅 作成日 2015-05-21
62
OBenner/data-engineering-interview-questions

2000以上のデータエンジニア面接の質問。

OBenner
⭐ 1,815 Python 👤 OBenner User 🕐 更新日時 2026-01-13 📅 作成日 2021-08-08
63
Hiflylabs/awesome-dbt

厳選された素晴らしいdbtリソースのリスト

Hiflylabs
⭐ 1,754 👤 Hiflylabs Organization 🕐 更新日時 2026-11-17 📅 作成日 2021-10-09
64
benthecoder/yt-channels-DS-AI-ML-CS

データサイエンス、データエンジニアリング、機械学習、ディープラーニング、コンピュータサイエンス、プログラミング、ソフトウェアエンジニアリングなどに関する180以上のYouTubeチャンネルの包括的なリスト。

benthecoder
⭐ 1,732 👤 benthecoder User 🕐 更新日時 2026-07-19 📅 作成日 2021-06-14
65
DataWithBaraa/sql-ultimate-course

無料の30時間SQLコースの教材:SQL Server、MySQL、PostgreSQLのデータベース、全41章のすべてのクエリ、そしてスライド。

DataWithBaraa
⭐ 1,711 TSQL 👤 DataWithBaraa User 🕐 更新日時 2026-11-06 📅 作成日 2025-03-18
66
mlrun/mlrun

MLRun は、オープンソースの MLOps プラットフォームで、ML アプリケーションのライフサイクル全体にわたる継続的な ML アプリケーションを迅速に構築・管理します。MLRun は、開発および CI/CD 環境に統合され、本番データ、ML パイプライン、およびオンラインアプリケーションの配信を自動化します。

mlrun
⭐ 1,703 Python 👤 mlrun Organization 🕐 更新日時 2026-11-20 📅 作成日 2019-09-01
67
Multiwoven/multiwoven

🔥🔥🔥 オープンソース Reverse ETL - hightouch および census の代替。

Multiwoven
⭐ 1,685 Ruby 👤 Multiwoven Organization 🕐 更新日時 2026-11-18 📅 作成日 2023-10-20
68
Kaelio/ktx

ktx はデータおよび分析エージェントのための実行可能なコンテキストレイヤーです 🐙 Claude Code、Codex、またはその他のAIエージェントが、あなたの会社の完全なコンテキストを備えて分析データベースを正確にクエリできるようにします

Kaelio
⭐ 1,633 TypeScript 👤 Kaelio Organization 🕐 更新日時 2026-11-18 📅 作成日 2026-05-10
69
kantord/just-dashboard

:bar_chart: :clipboard: YAMLまたはJSONファイルを使用したダッシュボード

kantord
⭐ 1,587 TypeScript 👤 kantord User 🕐 更新日時 2026-02-21 📅 作成日 2018-01-18
70
quixio/quix-streams

Kafka 用 Python ストリーミング DataFrame

quixio
⭐ 1,582 Python 👤 quixio Organization 🕐 更新日時 2026-11-18 📅 作成日 2022-11-17
71
JeffSackmann/tennis_atp

ATPテニスランキング、結果、統計

JeffSackmann
⭐ 1,577 👤 JeffSackmann User 🕐 更新日時 2026-06-08 📅 作成日 2015-03-13
72
chenditc/investment_data

https://www.dolthub.com/repositories/chenditc/investment_data のスクリプトとドキュメント

chenditc
⭐ 1,571 Python 👤 chenditc User 🕐 更新日時 2026-11-20 📅 作成日 2022-07-19
73
slothflowlabs/duckle

自社サーバーまたはクラウドにデプロイできるオープンソースの ETL/ELT。DuckDB を基盤に構築:ノーコード/ローコードのビジュアルパイプラインまたは SQL、446 のコンポーネント、dbt、CDC、データ品質、リバース ETL、データリネージュ、AI エージェント向け MCP に対応。ベンダーのクラウド不要、行単位の課金なし。

slothflowlabs
⭐ 1,558 Rust 👤 slothflowlabs Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-05-21
74
duneanalytics/spellbook

Dune 用の SQL ビュー

duneanalytics
⭐ 1,529 Python 👤 duneanalytics Organization 🕐 更新日時 2026-11-21 📅 作成日 2020-01-31
75
pyper-dev/pyper

並行Pythonをシンプルに

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 更新日時 2025-02-04 📅 作成日 2024-05-22
76
pyjanitor-devs/pyjanitor

データクリーンアップのためのクリーンなAPI。RパッケージJanitorのPython実装

pyjanitor-devs
⭐ 1,500 Python 👤 pyjanitor-devs Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-03-04
77
ashishps1/awesome-engineering-articles

トップテック企業からの300以上のエンジニアリングブログ記事のキュレーションされたコレクション。最高のエンジニアリングチームが大規模で現実世界の問題をどのように解決するかを学びます。

ashishps1
⭐ 1,491 👤 ashishps1 User 🕐 更新日時 2026-03-01 📅 作成日 2026-02-15
78
lvgalvao/data-engineering-roadmap

データエンジニアリングとAIの専門職訓練

lvgalvao
⭐ 1,451 Python 👤 lvgalvao User 🕐 更新日時 2026-05-12 📅 作成日 2024-01-16
79
opendatadiscovery/odd-platform

初のオープンソースのデータ発見およびオブザーバビリティプラットフォーム。データプラクティショナーの生活を楽にし、ビジネスに集中できるようにします。

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 更新日時 2026-10-19 📅 作成日 2021-07-07
80
GoogleCloudPlatform/data-science-on-gcp

書籍に付属するソースコード:Google Cloud Platform のデータ サイエンス、Valliappa Lakshmanan、O'Reilly 2017

GoogleCloudPlatform
⭐ 1,432 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 更新日時 2026-02-20 📅 作成日 2017-02-10
81
zapret-info/z-i

ロシア連邦でフィルタリングされたインターネットアドレスの登録簿

zapret-info
⭐ 1,388 👤 zapret-info User 🕐 更新日時 2025-10-01 📅 作成日 2012-11-19
82
quiltdata/quilt

Quiltは、AWS上の科学的データ管理プラットフォームで、チームとAIが深くバージョン管理され、文脈豊富なデータパッケージを通じてデータを見つけ、信頼し、再利用することを支援します。

quiltdata
⭐ 1,373 TypeScript 👤 quiltdata Organization 🕐 更新日時 2026-11-21 📅 作成日 2017-02-10
83
spark-examples/pyspark-examples

Python言語でのPySpark RDD、DataFrameおよびDatasetの例

spark-examples
⭐ 1,371 Python 👤 spark-examples Organization 🕐 更新日時 2025-12-07 📅 作成日 2019-11-26
84
gtoonstra/etl-with-airflow

Airflow を使用した ETL のベストプラクティス、例付き

gtoonstra
⭐ 1,353 Shell 👤 gtoonstra User 🕐 更新日時 2024-09-25 📅 作成日 2016-10-16
85
Sniper970119/dianping_spider

Dianpingクローラー(全サイトクロール可能、動的フォント暗号化を解決、OCRなし)。継続的に更新

Sniper970119
⭐ 1,329 Python 👤 Sniper970119 User 🕐 更新日時 2026-11-03 📅 作成日 2021-01-22
86
Data-Learn/data-engineering

データエンジニアリング入門

Data-Learn
⭐ 1,323 Python 👤 Data-Learn Organization 🕐 更新日時 2025-04-20 📅 作成日 2020-05-14
87
bitol-io/open-data-contract-standard

オープンデータ契約標準(ODCS)の本拠地です。

bitol-io
⭐ 1,238 Shell 👤 bitol-io Organization 🕐 更新日時 2026-11-17 📅 作成日 2023-06-27
88
abhishek-ch/around-dataengineering

データエンジニアリング&機械学習ナレッジハブ

abhishek-ch
⭐ 1,140 Python 👤 abhishek-ch User 🕐 更新日時 2024-02-02 📅 作成日 2020-09-18
89
daochenzha/data-centric-AI

キュレーションされた、しかし不完全なデータ中心AIリソースのリスト。

daochenzha
⭐ 1,138 👤 daochenzha User 🕐 更新日時 2024-06-26 📅 作成日 2023-03-07
90
datacontract/datacontract-cli

Snowflake、Databricks、BigQuery、Kafkaなど、さらに15以上のプラットフォームに対応したオープンソースのデータコントラクトテスト。Open Data Contract Standard(ODCS)に基づいて構築。MITライセンス。

datacontract
⭐ 1,114 JavaScript 👤 datacontract Organization 🕐 更新日時 2026-11-18 📅 作成日 2023-07-24
91
youngwookim/awesome-hadoop

驚くほど素晴らしいHadoopおよびHadoopエコシステムのリソースのキュレーションされたリスト

youngwookim
⭐ 1,113 👤 youngwookim User 🕐 更新日時 2024-05-07 📅 作成日 2014-07-08
92
DataWithBaraa/sql-data-warehouse-project

2つのソースシステム(CRMとERP)から、ブロンズ、シルバー、ゴールドの各レイヤーを経て、SQL Serverにデータウェアハウスを構築します。無料の完全版プロジェクトのファイルとスクリプト。

DataWithBaraa
⭐ 1,089 TSQL 👤 DataWithBaraa User 🕐 更新日時 2026-11-06 📅 作成日 2024-12-30
93
JohnSnowLabs/spark-nlp-workshop

John Snow Labs の Apache Spark 向け NLP を使用した公開実行可能例。

JohnSnowLabs
⭐ 1,089 Jupyter Notebook 👤 JohnSnowLabs Organization 🕐 更新日時 2026-11-17 📅 作成日 2018-08-20
94
mattm/sql-style-guide

クリーンで保守可能なSQLを書くための主観的なガイド。

mattm
⭐ 1,088 👤 mattm User 🕐 更新日時 2025-01-14 📅 作成日 2019-03-27
95
nijikokun/generate-schema

🧞 JSONオブジェクトをMySQL、JSONスキーマ、Mongoose、Google BigQuery、Swaggerなどに変換します。

nijikokun
⭐ 1,067 JavaScript 👤 nijikokun User 🕐 更新日時 2024-01-30 📅 作成日 2015-02-16
96
opendatadiscovery/awesome-data-catalogs

📙 素晴らしいデータカタログとオブザーバビリティプラットフォーム。

opendatadiscovery
⭐ 1,059 👤 opendatadiscovery Organization 🕐 更新日時 2025-08-14 📅 作成日 2021-07-14
97
DataTalksClub/stock-markets-analytics-zoomcamp

株式市場分析ズームキャンプのコース教材

DataTalksClub
⭐ 1,052 Jupyter Notebook 👤 DataTalksClub Organization 🕐 更新日時 2026-10-30 📅 作成日 2024-02-14
99
dataform-co/dataform

Dataform は、BigQuery での SQL ベースのデータ操作を管理するためのフレームワークです。

dataform-co
⭐ 998 TypeScript 👤 dataform-co Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-09-03
100
estuary/flow

🌊 Estuary を使用してデータフローを管理し、データが存在するシステムから、データを _存在させたい_ システムへ継続的に同期します。 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 更新日時 2026-11-21 📅 作成日 2020-02-13