Git Stars Git Stars

#data-engineering リポジトリ

152
リポジトリ総数
727,632
合計スター数
4,787
リポジトリあたりの平均スター数

リポジトリ合計152件

101
latitude-dev/latitude

開発者ファーストの埋め込み分析

latitude-dev
⭐ 949 TypeScript 👤 latitude-dev Organization 🕐 更新日時 2024-09-30 📅 作成日 2024-01-31
102
youssefHosni/Awesome-AI-Data-GitHub-Repos

ML、AI、データサイエンスの実践者にとって最も重要な Github リポジトリのコレクション

youssefHosni
⭐ 946 👤 youssefHosni User 🕐 更新日時 2024-12-24 📅 作成日 2023-05-09
103
odpi/egeria

Project Egeriaの中核プラットフォームは、Open MetadataとGovernanceをサポートします。オープンな型システム、分散型ナレッジグラフ、REST API、インテリジェントなガバナンス、事前構築済みコンテンツを備えています。

odpi
⭐ 925 Java 👤 odpi Organization 🕐 更新日時 2026-11-18 📅 作成日 2018-05-31
104
natayadev/dataengineering-roadmap

スペイン語でのデータエンジニアリングの基本概念、技術的課題、リソースに関するもう1つのリポジトリ 🧙✨

natayadev
⭐ 919 👤 natayadev User 🕐 更新日時 2026-02-28 📅 作成日 2023-11-24
105
luisguiserrano/manning

Manning Editors 著の書籍 Grokking Machine Learning のリポジトリ

luisguiserrano
⭐ 917 Jupyter Notebook 👤 luisguiserrano User 🕐 更新日時 2026-11-02 📅 作成日 2019-03-25
106
pyspark-ai/pyspark-ai

Apache Spark 用の英語 SDK

pyspark-ai
⭐ 879 Python 👤 pyspark-ai Organization 🕐 更新日時 2026-10-27 📅 作成日 2023-04-27
107
bacalhau-project/bacalhau

データ上で高速かつ費用対効果の高い分散コンピューティングのための、コミュニティ主導のシンプルかつ強力なフレームワーク。

bacalhau-project
⭐ 878 Go 👤 bacalhau-project Organization 🕐 更新日時 2026-11-19 📅 作成日 2021-11-05
108
CloudWise-OpenSource/FlyFish

FlyFishはデータビジュアライゼーションコーディングプラットフォームです。簡単な方法で迅速にデータモデルを作成し、ドラッグ&ドロップで一連のデータビジュアライゼーションソリューションを迅速に生成できます。

CloudWise-OpenSource
⭐ 877 JavaScript 👤 CloudWise-OpenSource Organization 🕐 更新日時 2024-06-11 📅 作成日 2021-10-08
109
flow-php/flow

スケーラブルなデータ処理パイプラインを構築し、さまざまなデータソースと宛先間でデータを移動できる、最も先進的なデータ処理フレームワーク。

flow-php
⭐ 875 PHP 👤 flow-php Organization 🕐 更新日時 2026-11-20 📅 作成日 2021-05-23
110
NeumTry/NeumAI

Neum AIは、大規模なベクトル埋め込みの作成と同期を管理するためのクラス最高のフレームワークです。

NeumTry
⭐ 864 Python 👤 NeumTry Organization 🕐 更新日時 2024-01-15 📅 作成日 2023-09-14
111
frictionlessdata/frictionless-py

表形式データを説明、抽出、検証、変換する機能を提供するPython用データ管理フレームワーク

frictionlessdata
⭐ 859 Python 👤 frictionlessdata Organization 🕐 更新日時 2026-10-15 📅 作成日 2014-12-23
112
zoltanctoth/complete-dbt-bootcamp-zero-to-hero

Udemyコース「The Complete dbt (Data Build Tool) Bootcamp」の補足資料

zoltanctoth
⭐ 842 Python 👤 zoltanctoth User 🕐 更新日時 2026-10-05 📅 作成日 2022-02-24
113
ssp-data/practical-data-engineering

実践的データエンジニアリング:不動産プロジェクトの実践ガイド

ssp-data
⭐ 833 Jupyter Notebook 👤 ssp-data Organization 🕐 更新日時 2026-06-25 📅 作成日 2020-11-18
114
AltimateAI/altimate-code

オープンソースのエージェント型データエンジニアリング・ハーネス for dbt、SQL、およびクラウドウェアハウス。100以上のツール、10のウェアハウス、AI駆動。

AltimateAI
⭐ 822 TypeScript 👤 AltimateAI Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-02-27
115
Nike-Inc/koheesio

効率的なデータパイプラインを構築するためのPythonフレームワーク。モジュール性とコラボレーションを促進し、シンプルで再利用可能なコンポーネントから複雑なパイプラインを作成できるようにします。

Nike-Inc
⭐ 818 Python 👤 Nike-Inc Organization 🕐 更新日時 2026-10-17 📅 作成日 2024-05-06
116
astronomer/airflow-guides

Apache Airflow を素早く立ち上げて実行するためのガイドとドキュメント。

astronomer
⭐ 816 JavaScript 👤 astronomer Organization 🕐 更新日時 2025-11-15 📅 作成日 2018-05-17
117
BasPH/data-pipelines-with-apache-airflow

Apache Airflow を使用したデータパイプラインのコード

BasPH
⭐ 810 Python 👤 BasPH User 🕐 更新日時 2024-08-15 📅 作成日 2019-06-10
118
liuhuanyong/ChainKnowledgeGraph

ChainKnowledgeGraph(産業チェーン知識グラフ)は、A株上場企業、業界、製品の3種類のエンティティを含み、上場企業の所属業界関係、業界上位関係、製品の上流原材料関係、製品の下流製品関係、会社主要製品、製品小分類の合計6つの主要カテゴリを含みます。上場企業:4,654社、業界:511、製品:95,559、上流原材料:56,824、上位業界:480、下流製品:390、製品小分類:52,937、所属業界:3,946。

liuhuanyong
⭐ 779 Python 👤 liuhuanyong User 🕐 更新日時 2025-12-22 📅 作成日 2021-10-26
119
microsoft/sqlworkshops

SQL Server ワークショップ

microsoft
⭐ 777 Jupyter Notebook 👤 microsoft Organization 🕐 更新日時 2024-05-14 📅 作成日 2019-02-05
120
datavane/datavines

データをより深く理解しましょう!Datavinesは、メタデータ管理とデータ品質をサポートする次世代データオブザーバビリティプラットフォームです。

datavane
⭐ 769 Java 👤 datavane Organization 🕐 更新日時 2026-07-27 📅 作成日 2022-04-02
121
derar-alhussein/Databricks-Certified-Data-Engineer-Associate

Databricks データ エンジニア アソシエイト認定試験対策コースのリソース

derar-alhussein
⭐ 762 Python 👤 derar-alhussein User 🕐 更新日時 2026-11-12 📅 作成日 2022-11-06
122
unytics/bigfunctions

BigFunctionsでBigQueryを強化する

unytics
⭐ 761 Python 👤 unytics User 🕐 更新日時 2026-08-23 📅 作成日 2022-08-24
123
defog-ai/sql-eval

LLM生成出力の精度を評価する

defog-ai
⭐ 744 Jupyter Notebook 👤 defog-ai Organization 🕐 更新日時 2025-08-14 📅 作成日 2023-08-10
124
kennethleungty/Failed-ML

注目度の高い実際の機械学習プロジェクトの失敗事例集

kennethleungty
⭐ 743 👤 kennethleungty User 🕐 更新日時 2024-06-14 📅 作成日 2022-08-15
125
DataExpert-io/cumulative-table-design

このリポジトリは、累積テーブルを正しく定義して作成する方法を人々に教えるのに役立ちます!

DataExpert-io
⭐ 741 Python 👤 DataExpert-io Organization 🕐 更新日時 2024-10-29 📅 作成日 2021-12-30
126
databricks/devrel

このリポジトリには、Databricks Tech Talks で使用するノートブックとプレゼンテーションが含まれています "

databricks
⭐ 734 HTML 👤 databricks Organization 🕐 更新日時 2025-01-06 📅 作成日 2020-04-03
127
awslabs/aws-glue-libs

AWS Glue ライブラリは、ETL 操作のための Spark への追加機能および強化です。

awslabs
⭐ 701 Python 👤 awslabs Organization 🕐 更新日時 2026-10-30 📅 作成日 2017-08-11
128
dgarnitz/vectorflow

VectorFlowは、生データを収集し、ベクトルに変換して、選択したベクトルDBに書き込む、高スループットのベクトル埋め込みパイプラインです。

dgarnitz
⭐ 698 Python 👤 dgarnitz User 🕐 更新日時 2024-05-16 📅 作成日 2023-07-25
129
risesoft-y9/DataFlow-Engine

データフローエンジンは、データ統合、データ同期、データ交換、データ共有、タスク設定、タスクスケジューリングに対応するデータ駆動型の基盤エンジンです。データフローエンジンは、制御と実行の分離、マルチストリームレイヤー、プラグインライブラリなどの体系を採用し、大規模なデータタスク、高頻度のデータレポート、高頻度のデータ収集、異種データ互換性といった実際のデータの問題に対処します。

risesoft-y9
⭐ 697 Java 👤 risesoft-y9 Organization 🕐 更新日時 2026-11-12 📅 作成日 2024-08-26
130
petedannemann/gis-programming-roadmap

GISプログラミングのあらゆるニーズに対応するワンストップショップ

petedannemann
⭐ 686 👤 petedannemann User 🕐 更新日時 2024-01-02 📅 作成日 2019-01-11
131
kaushiksrini/parqeye

ターミナルから直接Parquetファイルの中身を覗く

kaushiksrini
⭐ 682 Rust 👤 kaushiksrini User 🕐 更新日時 2026-11-12 📅 作成日 2025-07-02
132
databricks/reference-apps

Spark リファレンス アプリケーション

databricks
⭐ 652 Scala 👤 databricks Organization 🕐 更新日時 2024-10-03 📅 作成日 2014-08-19
133
JakobGM/patito

polarsとpydantic上に構築されたデータモデリングレイヤー

JakobGM
⭐ 643 Python 👤 JakobGM User 🕐 更新日時 2026-05-08 📅 作成日 2023-06-21
134
rpbouman/huey

DuckDB-WASMによるブラウザベースのデータ分析とBI。プライバシーを最優先:データはローカルに保持され、サーバーは不要です。

rpbouman
⭐ 639 JavaScript 👤 rpbouman User 🕐 更新日時 2026-11-13 📅 作成日 2023-12-25
135
google/patents-public-data

BigQuery上のGoogle Patents Public Datasetsを使用した特許分析

google
⭐ 637 Jupyter Notebook 👤 google Organization 🕐 更新日時 2024-06-17 📅 作成日 2017-06-05
136
dbt-labs/dbt-mcp

dbtと対話するためのMCP(Model Context Protocol)サーバー

dbt-labs
⭐ 624 Python 👤 dbt-labs Organization 🕐 更新日時 2026-11-18 📅 作成日 2025-03-12
137
ConduitIO/conduit

Conduit はデータストア間でデータをストリーミングします。Kafka Connect の代替。JVM は不要です。

ConduitIO
⭐ 617 Go 👤 ConduitIO Organization 🕐 更新日時 2026-11-21 📅 作成日 2022-01-11
138
synmetrix/synmetrix

Synmetrix – Cube 上のプロダクション対応オープンソースセマンティックレイヤー

synmetrix
⭐ 616 JavaScript 👤 synmetrix Organization 🕐 更新日時 2025-02-07 📅 作成日 2021-06-18
139
insitro/redun

さらに別の冗長なワークフローエンジン

insitro
⭐ 610 Python 👤 insitro Organization 🕐 更新日時 2026-11-18 📅 作成日 2021-11-04
140
matsonj/nba-monte-carlo

dbt、duckdb、evidence.devを活用したNBAシーズンのモンテカルロシミュレーション

matsonj
⭐ 609 Python 👤 matsonj User 🕐 更新日時 2026-11-12 📅 作成日 2022-09-29
141
apecloud/myduckserver

DuckDB搭載、統一されたMySQL、Postgres、FlightSQLサーバー。

apecloud
⭐ 595 Go 👤 apecloud Organization 🕐 更新日時 2026-09-19 📅 作成日 2024-08-22
142
argilla-io/synthetic-data-generator

自然言語を使用してデータセットを構築する

argilla-io
⭐ 590 Python 👤 argilla-io Organization 🕐 更新日時 2025-09-19 📅 作成日 2024-11-21
143
singer-io/singer-python

PythonからSingerフォーマットを書き込む

singer-io
⭐ 585 Python 👤 singer-io Organization 🕐 更新日時 2026-11-02 📅 作成日 2016-10-28
144
taz4et/bitcoin-etl

Bitcoinブロックチェーンデータを抽出し、構造化された形式に変換するためのPythonツールキット。

taz4et
⭐ 580 Python 👤 taz4et User 🕐 更新日時 2025-11-24 📅 作成日 2025-11-14
145
spark-examples/spark-scala-examples

このプロジェクトは、Scala言語でのApache Spark SQL、RDD、DataFrame、およびDatasetの例を提供します。

spark-examples
⭐ 567 Scala 👤 spark-examples Organization 🕐 更新日時 2024-03-20 📅 作成日 2019-11-26
146
pracdata/awesome-open-source-data-engineering

アナリティクスプラットフォームおよびデータエンジニアリングエコシステムで使用されるオープンソースツールのキュレーションされたリスト

pracdata
⭐ 564 👤 pracdata Organization 🕐 更新日時 2025-03-12 📅 作成日 2024-02-22
147
GoogleCloudPlatform/bigquery-oreilly-book

付属ソースコード: Lakshmanan & Tigani 著『BigQuery: The Definitive Guide』、O'Reilly Media より出版予定

GoogleCloudPlatform
⭐ 547 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 更新日時 2024-05-02 📅 作成日 2018-11-26
148
kimtth/software-architect-mindmap

🧠🗺️ソフトウェアアーキテクチャとソフトウェア工学のマインドマップ

kimtth
⭐ 543 Python 👤 kimtth User 🕐 更新日時 2026-11-20 📅 作成日 2022-02-02
149
kvakvs/beam-wisdoms

BEAM 仮想マシン(Erlang/OTP および他の BEAM ベースの言語を実行する)に関する情報と知識の断片を含む Wiki。

kvakvs
⭐ 539 👤 kvakvs User 🕐 更新日時 2024-06-10 📅 作成日 2016-08-27
150
silver-dev-org/interview-ready

面接の練習用のリポジトリ。

silver-dev-org
⭐ 529 TypeScript 👤 silver-dev-org Organization 🕐 更新日時 2026-02-05 📅 作成日 2023-08-22