Git Stars Git Stars

#data-pipelines リポジトリ

#data-pipelinesのタグが付いた、GitHub上の50件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は323,108個で、プロジェクトあたりの平均は6,462個です。このトピックをリードしているのは、73,884個のスターを獲得しているtwitter/the-algorithmです。

50
リポジトリ総数
323,108
合計スター数
6,462
リポジトリあたりの平均スター数

リポジトリ合計50件

1
twitter/the-algorithm

Xレコメンデーションアルゴリズムのソースコード

twitter
⭐ 73,884 Scala 👤 twitter Organization 🕐 更新日時 2025-09-08 📅 作成日 2023-03-27
2
pathwaycom/pathway

ストリーム処理、リアルタイム分析、LLMパイプライン、RAGのためのPython ETLフレームワーク。

pathwaycom
⭐ 61,976 Python 👤 pathwaycom Organization 🕐 更新日時 2026-11-21 📅 作成日 2022-11-27
3
apache/airflow

Apache Airflow - ワークフローをプログラムで作成、スケジュール、監視するためのプラットフォーム

apache
⭐ 47,583 Python 👤 apache Organization 🕐 更新日時 2026-11-21 📅 作成日 2015-04-13
4
dagster-io/dagster

データ資産の開発、生産、および観察のためのオーケストレーションプラットフォーム。

dagster-io
⭐ 16,453 Python 👤 dagster-io Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-04-30
5
Unstructured-IO/unstructured

ドキュメントを構造化データに簡単に変換できます。Unstructuredは、複雑なドキュメントを言語モデル用のクリーンで構造化された形式に変換するオープンソースETLソリューションです。本番グレードのワークフロー、パーティショニング、エンリッチメント、チャンキング、および埋め込みのためのエンタープライズグレードのプラットフォーム製品の詳細については、当社のウェブサイトをご覧ください。

Unstructured-IO
⭐ 15,769 HTML 👤 Unstructured-IO Organization 🕐 更新日時 2026-11-19 📅 作成日 2022-09-26
6
apache/dolphinscheduler

Apache DolphinScheduler は、現代的なデータオーケストレーションプラットフォームです。ローコードで高性能なワークフローを迅速に作成。

apache
⭐ 14,559 Java 👤 apache Organization 🕐 更新日時 2026-11-21 📅 作成日 2019-03-01
7
kedro-org/kedro

Kedro は、生産環境に適したデータサイエンスのためのツールボックスです。ソフトウェアエンジニアリングのベストプラクティスを使用して、再現可能で、メンテナブルで、モジュール式のデータエンジニアリングおよびデータサイエンスのパイプラインを作成するのを支援します。

kedro-org
⭐ 11,059 Python 👤 kedro-org Organization 🕐 更新日時 2026-11-19 📅 作成日 2019-04-18
8
mage-ai/mage-ai

🧙 データの統合と変換のためのデータパイプラインを構築、実行、管理します。

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 更新日時 2026-11-20 📅 作成日 2022-05-16
9
OpenDCAI/DataFlow

[SIGMOD'27] 最新のLLMベースのオペレーターとパイプラインによる簡単なデータ準備。

OpenDCAI
⭐ 8,650 Python 👤 OpenDCAI Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-10-13
10
fluvio-community/fluvio

🦀 開発者向けのイベントストリーム処理。動きながらのデータを収集・変換し、レスポンシブなデータ集約型アプリケーションを駆動します。

fluvio-community
⭐ 5,270 Rust 👤 fluvio-community Organization 🕐 更新日時 2026-11-05 📅 作成日 2019-08-31
11
gayanvoice/top-github-users

GitHubでランキングをチェック!このリポジトリに⭐をつけるのを忘れないでください。

gayanvoice
⭐ 4,988 👤 gayanvoice User 🕐 更新日時 2026-11-21 📅 作成日 2021-06-03
12
StructuredLabs/preswald

Preswaldは、Pythonベースのインタラクティブなデータアプリケーション用のWASMパッケージャーです。Pyodide、DuckDB、Pandas、Plotly、Matplotlibなどを使用して、完全な複雑なデータワークフロー、特にビジュアライゼーションを単一のファイルにバンドルし、ブラウザで完全に実行できます。オフラインで実行され、高速にロードされ、ドキュメントのように共有できるダッシュボード、レポート、ノートブックを構築します。

StructuredLabs
⭐ 4,266 Python 👤 StructuredLabs Organization 🕐 更新日時 2026-06-11 📅 作成日 2024-12-14
13
ucbepic/docetl

エージェント型LLM駆動型データ処理およびETLシステム

ucbepic
⭐ 4,266 Python 👤 ucbepic Organization 🕐 更新日時 2026-11-17 📅 作成日 2024-07-09
14
Netflix/maestro

Maestro: Netflixのワークフローオーケストレーター

Netflix
⭐ 3,852 Java 👤 Netflix Organization 🕐 更新日時 2026-11-06 📅 作成日 2024-04-17
15
meltano/meltano

Meltano:あなたの最も大胆なデータおよびML搭載製品のアイデアを実現する、宣言型のコードファーストデータ統合エンジン。独自のAPI統合の作成、保守、スケーリングに別れを告げましょう。

meltano
⭐ 2,683 Python 👤 meltano Organization 🕐 更新日時 2026-11-21 📅 作成日 2021-06-21
16
elementary-data/elementary

データ&アナリティクスエンジニア向けの dbt ネイティブ データオブザーバビリティソリューション。データパイプラインを数分で監視します。プレミアム機能を備えたセルフホストまたはクラウドサービスとして利用可能です。

elementary-data
⭐ 2,435 HTML 👤 elementary-data Organization 🕐 更新日時 2026-11-18 📅 作成日 2021-08-30
17
feldera/feldera

Felderaインクリメンタル計算エンジン

feldera
⭐ 2,181 Rust 👤 feldera Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-05-11
18
data-engineering-community/data-engineering-wiki

データエンジニアリングを学ぶのに最適な場所です。データエンジニアリングコミュニティによって構築および維持されています。

data-engineering-community
⭐ 2,067 CSS 👤 data-engineering-community Organization 🕐 更新日時 2026-09-15 📅 作成日 2021-05-04
19
bruin-data/bruin

SQLとPythonでデータパイプラインを構築し、さまざまなソースからデータをインジェストし、品質チェックを追加して、エンドツーエンドのフローを構築します。

bruin-data
⭐ 1,816 Go 👤 bruin-data Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-08-03
20
yobix-ai/extractous

高速かつ効率的な非構造化データ抽出。Rustで記述されており、多くの言語用のバインディングがあります。

yobix-ai
⭐ 1,660 Rust 👤 yobix-ai Organization 🕐 更新日時 2024-12-21 📅 作成日 2024-06-04
21
dashbitco/flow

GenStage 上の計算並列フロー

dashbitco
⭐ 1,625 Elixir 👤 dashbitco Organization 🕐 更新日時 2026-09-25 📅 作成日 2017-01-18
22
combust/mleap

MLeap: ML パイプラインを本番環境にデプロイ

combust
⭐ 1,544 Scala 👤 combust Organization 🕐 更新日時 2026-11-09 📅 作成日 2016-08-23
23
pyper-dev/pyper

並行Pythonをシンプルに

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 更新日時 2025-02-04 📅 作成日 2024-05-22
24
Netflix/mantis

開発者がリアルタイムでコスト効果が高く、オペレーション中心のアプリケーションを簡単に構築できるプラットフォーム

Netflix
⭐ 1,472 Java 👤 Netflix Organization 🕐 更新日時 2026-10-28 📅 作成日 2019-06-06
25
opendatadiscovery/odd-platform

初のオープンソースのデータ発見およびオブザーバビリティプラットフォーム。データプラクティショナーの生活を楽にし、ビジネスに集中できるようにします。

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 更新日時 2026-10-19 📅 作成日 2021-07-07
27
amphi-ai/amphi-etl

Python駆動のビジュアルデータ準備

amphi-ai
⭐ 1,410 TypeScript 👤 amphi-ai Organization 🕐 更新日時 2026-08-24 📅 作成日 2024-03-20
28
gtoonstra/etl-with-airflow

Airflow を使用した ETL のベストプラクティス、例付き

gtoonstra
⭐ 1,353 Shell 👤 gtoonstra User 🕐 更新日時 2024-09-25 📅 作成日 2016-10-16
29
meta-pytorch/data

PyTorch ドメインライブラリ間で共有されるデータローディングおよびユーティリティのための PyTorch リポジトリ。

meta-pytorch
⭐ 1,266 Python 👤 meta-pytorch Organization 🕐 更新日時 2026-11-12 📅 作成日 2021-05-12
30
dataform-co/dataform

Dataform は、BigQuery での SQL ベースのデータ操作を管理するためのフレームワークです。

dataform-co
⭐ 998 TypeScript 👤 dataform-co Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-09-03
31
fal-ai/fal

⚡ オープンソースMLモデルを何百万人にも提供する最速の方法

fal-ai
⭐ 983 Python 👤 fal-ai Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-12-11
32
ocsf/ocsf-schema

OCSF スキーマ

ocsf
⭐ 917 👤 ocsf Organization 🕐 更新日時 2026-11-20 📅 作成日 2022-04-16
33
mafintosh/pump

ストリームをパイプで繋げて、一つが閉じたらすべてを閉じる

mafintosh
⭐ 917 JavaScript 👤 mafintosh User 🕐 更新日時 2026-02-28 📅 作成日 2013-08-14
35
artie-labs/transfer

チェンジデータキャプチャを活用したデータベースレプリケーションプラットフォーム。データベースからデータウェアハウス(Snowflake、BigQuery、Redshift、Databricks)に本番データをリアルタイムでストリーミングします。

artie-labs
⭐ 845 Go 👤 artie-labs Organization 🕐 更新日時 2026-05-09 📅 作成日 2022-11-06
36
joboccara/pipes

C++ でのコレクションに対する表現力のあるコードのためのパイプライン

joboccara
⭐ 835 C++ 👤 joboccara User 🕐 更新日時 2024-10-30 📅 作成日 2017-02-19
37
astronomer/airflow-guides

Apache Airflow を素早く立ち上げて実行するためのガイドとドキュメント。

astronomer
⭐ 816 JavaScript 👤 astronomer Organization 🕐 更新日時 2025-11-15 📅 作成日 2018-05-17
38
tuplex/tuplex

Tuplexは、Pythonで記述されたデータサイエンスパイプラインをコンパイル済みコードの速度で実行する並列ビッグデータ処理フレームワークです。TuplexはApache SparkまたはDaskと同様のPython APIを備えていますが、Pythonインタプリタを呼び出す代わりに、指定されたパイプラインと入力データセットに対して最適化されたLLVMバイトコードを生成します。

tuplex
⭐ 812 C++ 👤 tuplex Organization 🕐 更新日時 2025-08-10 📅 作成日 2021-06-30
39
BasPH/data-pipelines-with-apache-airflow

Apache Airflow を使用したデータパイプラインのコード

BasPH
⭐ 810 Python 👤 BasPH User 🕐 更新日時 2024-08-15 📅 作成日 2019-06-10
40
turbolytics/sql-flow

ストリーミングデータのためのDuckDB

turbolytics
⭐ 808 Go 👤 turbolytics User 🕐 更新日時 2026-11-21 📅 作成日 2023-11-21
41
raystack/optimus

Optimusは、データ変換、データモデリング、パイプライン、データ品質管理のための、使いやすく、信頼性が高く、パフォーマンスの高いワークフローオーケストレーターです。

raystack
⭐ 757 Go 👤 raystack Organization 🕐 更新日時 2024-06-08 📅 作成日 2021-03-22
42
datalab-to/pdftext

PDFから構造化テキストを迅速に抽出する

datalab-to
⭐ 744 Python 👤 datalab-to Organization 🕐 更新日時 2026-10-22 📅 作成日 2024-04-24
43
digitalocean/firebolt

ストリーミング ETL、観測可能性データパイプライン、およびイベント処理アプリのためのGolangフレームワーク

digitalocean
⭐ 717 Go 👤 digitalocean Organization 🕐 更新日時 2024-06-14 📅 作成日 2019-10-31
44
noneback/go-taskflow

純粋なGoによる汎用タスク並列プログラミングフレームワーク

noneback
⭐ 642 Go 👤 noneback User 🕐 更新日時 2026-08-16 📅 作成日 2024-03-06
45
cgrand/xforms

Clojure(script) 用の追加トランスデューサーと還元関数

cgrand
⭐ 591 Clojure 👤 cgrand User 🕐 更新日時 2024-01-22 📅 作成日 2015-09-03
46
singer-io/singer-python

PythonからSingerフォーマットを書き込む

singer-io
⭐ 585 Python 👤 singer-io Organization 🕐 更新日時 2026-11-02 📅 作成日 2016-10-28
47
apache/flink-playgrounds

Apache Flink プレイグラウンド

apache
⭐ 555 Java 👤 apache Organization 🕐 更新日時 2026-09-28 📅 作成日 2019-07-12
48
cas-bigdatalab/piflow

πflow は Spark をサポートするビッグデータフローエンジンです

cas-bigdatalab
⭐ 541 Python 👤 cas-bigdatalab Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-05-03
49
elementary-data/dbt-data-reliability

このdbtパッケージは、メタデータ、アーティファクト、テスト結果をキャプチャし、アノマリを検出したり、データ品質を監視したり、メタデータテーブルを構築したりできるようにします。Elementary OSSを駆動し、Elementary Cloudの完全なData & AI Control Planeで使用される広範なコンテキストレイヤーを供給します。

elementary-data
⭐ 531 Python 👤 elementary-data Organization 🕐 更新日時 2026-11-18 📅 作成日 2022-01-09
50
LearningJournal/Spark-Programming-In-Python

Apache Spark 3 - 初心者向け Python Spark プログラミング

LearningJournal
⭐ 510 Python 👤 LearningJournal User 🕐 更新日時 2024-07-25 📅 作成日 2020-05-31

よくある質問

1

GitHubで最も人気のある#data-pipelinesリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#data-pipelinesプロジェクトは、73,884個のスターを獲得しているtwitter/the-algorithmです。Xレコメンデーションアルゴリズムのソースコード

2

#data-pipelinesリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#data-pipelinesプロジェクトでは、Python, Go, Java, Rustが最も一般的なプログラミング言語です。

3

#data-pipelinesリポジトリのランキングはどのように算出されていますか?

#data-pipelinesのタグが付いた50件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は323,108個で、リポジトリあたりの平均は6,462個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。