Git Stars Git Stars

#data-pipeline リポジトリ

#data-pipelineのタグが付いた、GitHub上の67件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は219,024個で、プロジェクトあたりの平均は3,269個です。このトピックをリードしているのは、34,361個のスターを獲得しているxai-org/x-algorithmです。

67
リポジトリ総数
219,024
合計スター数
3,269
リポジトリあたりの平均スター数

リポジトリ合計67件

1
xai-org/x-algorithm

XのFor Youフィードを駆動するアルゴリズム

xai-org
⭐ 34,361 Rust 👤 xai-org Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-01-19
2
airbytehq/airbyte

オープンソースのデータ移動:ELT パイプラインと AI エージェント向け — API、データベース、ファイルからデータウェアハウス、データレイク、AI アプリケーションへ。セルフホストおよびクラウド対応。

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 更新日時 2026-11-21 📅 作成日 2020-07-27
3
apache/shardingsphere

分散 SQL を用いて、すべてのデータベースにおけるシャーディング、スケーラビリティ、セキュリティのためのデータインテリジェンスを強化。

apache
⭐ 20,832 Java 👤 apache Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-01-18
4
debezium/debezium

さまざまなデータベース向けの変更データキャプチャ。問題は https://github.com/debezium/dbz/issues で報告してください。

debezium
⭐ 13,366 Java 👤 debezium Organization 🕐 更新日時 2026-11-20 📅 作成日 2016-01-22
5
pentaho/pentaho-kettle

Pentaho Data Integration (ETL) 別名 Kettle

pentaho
⭐ 8,419 Java 👤 pentaho Organization 🕐 更新日時 2026-11-21 📅 作成日 2013-10-08
6
meirwah/awesome-workflow-engines

素晴らしいオープンソースのワークフローエンジンのキュレーションされたリスト

meirwah
⭐ 7,967 👤 meirwah User 🕐 更新日時 2026-10-11 📅 作成日 2015-05-20
7
datajuicer/data-juicer

基盤モデルのための、そして基盤モデルとのデータ処理! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

datajuicer
⭐ 7,266 Python 👤 datajuicer Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-08-01
8
snowplow/snowplow

カスタマーデータインフラストラクチャのリーダー

snowplow
⭐ 7,052 Scala 👤 snowplow Organization 🕐 更新日時 2026-10-19 📅 作成日 2012-03-01
9
apache/flink-cdc

Flink CDCはストリーミングデータ統合ツールです

apache
⭐ 6,495 Java 👤 apache Organization 🕐 更新日時 2026-11-20 📅 作成日 2020-07-27
10
clidey/whodb

データアクセスと運用インテリジェンスの融合

clidey
⭐ 5,065 Go 👤 clidey Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-06-11
11
togethercomputer/RedPajama-Data

RedPajama-Data リポジトリには、大規模言語モデルのトレーニング用の大規模データセットを準備するためのコードが含まれています。

togethercomputer
⭐ 4,997 Python 👤 togethercomputer Organization 🕐 更新日時 2026-06-03 📅 作成日 2023-04-14
12
dagucloud/dagu

主な業務がオーケストレーションではないチーム向けのセルフホスト可能なワークフローオーケストレーター。スクリプト、SSHコマンド、コンテナなどを宣言的なYAMLで管理し、ワークフローとビジネスロジックを分離できます。単一のバイナリで動作し、データベースは不要。限られたハードウェアリソースでも実行できます。Airflow、Cron、ジョブスケジューラーの代替です。

dagucloud
⭐ 4,642 Go 👤 dagucloud Organization 🕐 更新日時 2026-11-21 📅 作成日 2022-04-22
13
rudderlabs/rudder-server

プライバシーとセキュリティに焦点を当てた Segment の代替、Golang と React で

rudderlabs
⭐ 4,520 Go 👤 rudderlabs Organization 🕐 更新日時 2026-11-20 📅 作成日 2019-07-19
14
bruin-data/ingestr

ingestrは、単一のコマンドで任意のデータベース間でデータをシームレスにコピーするためのCLIツールです。

bruin-data
⭐ 4,049 Go 👤 bruin-data Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-02-12
15
adilkhash/Data-Engineering-HowTo

データエンジニアリングをゼロから学ぶための有用なリソースリスト

adilkhash
⭐ 4,049 👤 adilkhash User 🕐 更新日時 2026-10-30 📅 作成日 2019-03-28
16
superlinked/sie

エージェントが必要とするすべてのモデルのためのオープンソース推論サーバーとプロダクションクラスター。

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-11-07
17
superstreamlabs/memphis

Memphis.dev は、非常にスケーラブルで簡単なデータストリーミングプラットフォームです。

superstreamlabs
⭐ 3,442 Go 👤 superstreamlabs Organization 🕐 更新日時 2026-03-02 📅 作成日 2022-02-01
18
whylabs/whylogs

機械学習モデルおよびデータパイプラインのためのオープンソースデータロギングライブラリ。📚 時間の経過に伴うデータ品質とモデルパフォーマンスの可視性を提供します。🛡️ プライバシーを保護するデータ収集をサポートし、安全性と堅牢性を確保します。📈

whylabs
⭐ 2,819 Jupyter Notebook 👤 whylabs Organization 🕐 更新日時 2025-01-10 📅 作成日 2020-08-14
19
unitedstates/congress-legislators

アメリカ合衆国議会メンバー、1789年-現在、YAML/JSON/CSV形式で、ならびに委員会、大統領、副大統領。

unitedstates
⭐ 2,473 Python 👤 unitedstates Organization 🕐 更新日時 2026-11-15 📅 作成日 2012-09-27
20
elementary-data/elementary

データ&アナリティクスエンジニア向けの dbt ネイティブ データオブザーバビリティソリューション。データパイプラインを数分で監視します。プレミアム機能を備えたセルフホストまたはクラウドサービスとして利用可能です。

elementary-data
⭐ 2,435 HTML 👤 elementary-data Organization 🕐 更新日時 2026-11-18 📅 作成日 2021-08-30
21
iliane5/meridian

Meridianは、何百ものソースから情報を収集し、AIでストーリーを分析し、簡潔でパーソナライズされた毎日のブリーフィングを提供することで、ニュースのノイズを切り抜けます。

iliane5
⭐ 2,415 TypeScript 👤 iliane5 User 🕐 更新日時 2025-05-30 📅 作成日 2025-03-06
22
warproxxx/poly_data

市場、注文イベント、および取引を含む Polymarket データをフェッチし、処理し、構造化する Polymarket データリトリーバー。

warproxxx
⭐ 2,353 Python 👤 warproxxx User 🕐 更新日時 2026-09-08 📅 作成日 2025-10-03
23
reugn/go-streams

Goのための軽量ストリーム処理ライブラリ

reugn
⭐ 2,178 Go 👤 reugn User 🕐 更新日時 2026-01-14 📅 作成日 2019-04-30
24
datazip-inc/olake-go

OLake Go:データベース、Kafka、S3からApache IcebergおよびParquetへのオープンソースのレプリケーションツールです。データソース:Postgres、MySQL、MongoDB、Oracle、MSSQL、DB2、Kafka、S3。旧名称はdatazip-inc/olakeです。テーブルのメンテナンス機能はdatazip-inc/olake-fusionにあります。

datazip-inc
⭐ 2,166 Go 👤 datazip-inc Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-10-15
25
oficcejo/aiagents-stock

複合多AIインテリジェントエージェント株式チーム分析監視システム。複数のAIインテリジェントエージェントを基盤とし、証券アナリストチームの分析プロセスをシミュレート。全方位の株式投資分析と意思決定提案を提供。新規追加:遊資龍虎榜追跡分析、セクター警告ローテーション分析。バッチ多スレッド分析対応、キー価格帯のリアルタイム監視とアラート送信、miniqmtインターフェース予約、定量取引対応。真にAIが株式取引を代行。適合:中国大陸A株。下方のテストサイトにdeepseek一時キー入力。テスト後削除(漏洩リスク)。注:テストクラウドアクセス過多でデータソース拒否の可能性。使用時はローカルデプロイ。

oficcejo
⭐ 2,101 Python 👤 oficcejo User 🕐 更新日時 2026-10-10 📅 作成日 2025-10-03
26
pydoit/doit

CLIタスク管理&自動化ツール

pydoit
⭐ 2,098 Python 👤 pydoit Organization 🕐 更新日時 2026-11-21 📅 作成日 2014-02-14
27
Multiwoven/multiwoven

🔥🔥🔥 オープンソース Reverse ETL - hightouch および census の代替。

Multiwoven
⭐ 1,685 Ruby 👤 Multiwoven Organization 🕐 更新日時 2026-11-18 📅 作成日 2023-10-20
28
bazaarvoice/jolt

Javaで記述されたJSONからJSONへの変換ライブラリ。

bazaarvoice
⭐ 1,674 Java 👤 bazaarvoice Organization 🕐 更新日時 2026-10-28 📅 作成日 2013-02-15
29
tanjiti/sec_profile

secwikiとxuanwu.github.io/sec.todayをクローリングし、セキュリティ情報サイト、セキュリティトレンドを分析、安全作業者のアカウント(twitter、weixin、githubなど)を抽出

tanjiti
⭐ 1,640 HTML 👤 tanjiti User 🕐 更新日時 2026-11-21 📅 作成日 2019-02-19
30
slothflowlabs/duckle

自社サーバーまたはクラウドにデプロイできるオープンソースの ETL/ELT。DuckDB を基盤に構築:ノーコード/ローコードのビジュアルパイプラインまたは SQL、446 のコンポーネント、dbt、CDC、データ品質、リバース ETL、データリネージュ、AI エージェント向け MCP に対応。ベンダーのクラウド不要、行単位の課金なし。

slothflowlabs
⭐ 1,558 Rust 👤 slothflowlabs Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-05-21
31
xitongsys/parquet-go

Parquet ファイルの読み取り/書き込みのための純粋な Golang ライブラリ

xitongsys
⭐ 1,432 Go 👤 xitongsys User 🕐 更新日時 2026-05-08 📅 作成日 2017-09-02
32
GoogleCloudPlatform/data-science-on-gcp

書籍に付属するソースコード:Google Cloud Platform のデータ サイエンス、Valliappa Lakshmanan、O'Reilly 2017

GoogleCloudPlatform
⭐ 1,432 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 更新日時 2026-02-20 📅 作成日 2017-02-10
33
weifuwan/seatunnel-web

Apache SeaTunnel をより使いやすくする。

weifuwan
⭐ 1,406 TypeScript 👤 weifuwan User 🕐 更新日時 2026-07-16 📅 作成日 2026-02-10
34
kkangert/kspider

Kspiderは、グラフィカルな方法でクローラープロセスを定義できるクローラープラットフォームであり、コードなしでクローラープロセスを実装できます。KspiderはWebクローリングに限定されず、WEB自動化テストにも使用でき、さらに多くの機能があなたを待っています。

kkangert
⭐ 1,285 Java 👤 kkangert User 🕐 更新日時 2024-08-19 📅 作成日 2024-07-07
35
DataWithBaraa/sql-data-warehouse-project

2つのソースシステム(CRMとERP)から、ブロンズ、シルバー、ゴールドの各レイヤーを経て、SQL Serverにデータウェアハウスを構築します。無料の完全版プロジェクトのファイルとスクリプト。

DataWithBaraa
⭐ 1,089 TSQL 👤 DataWithBaraa User 🕐 更新日時 2026-11-06 📅 作成日 2024-12-30
36
authorjapps/zerocode

zerocode-tdd は、コミュニティによって開発された無料のオープンソース自動テストフレームワークです。データパイプライン、ETL、REST API、Kafka(データストリーム)、データベース、負荷シナリオに対応し、すべてをシンプルな JSON または YAML で定義できるため、コーディングは一切不要です。

authorjapps
⭐ 1,017 Java 👤 authorjapps User 🕐 更新日時 2026-11-12 📅 作成日 2016-07-05
37
estuary/flow

🌊 Estuary を使用してデータフローを管理し、データが存在するシステムから、データを _存在させたい_ システムへ継続的に同期します。 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 更新日時 2026-11-21 📅 作成日 2020-02-13
38
qiantongtech/qData

qDataは、軽量で機能が充実したAIネイティブのオープンソースデータプラットフォームです。データ統合、開発、モデリング、ガバナンス、アセット、APIサービスをカバーし、セルフホスト型の導入、柔軟なスケーリング、商用利用に対応しています。

qiantongtech
⭐ 950 Java 👤 qiantongtech Organization 🕐 更新日時 2026-11-20 📅 作成日 2025-05-17
39
apache/seatunnel-web

SeaTunnelは、大量のデータ(オフラインおよびリアルタイム)の同期と変換のための、分散型高性能データ統合プラットフォームです。

apache
⭐ 888 Java 👤 apache Organization 🕐 更新日時 2026-01-22 📅 作成日 2022-09-26
40
AgnostiqHQ/covalent

異種コンピューティング環境における機械学習/高性能/量子コンピューティングワークフローをオーケストレーションするためのPythonicツール。

AgnostiqHQ
⭐ 869 Python 👤 AgnostiqHQ Organization 🕐 更新日時 2026-11-16 📅 作成日 2021-11-03
41
spotify/klio

オーディオのための、よりスマートなデータパイプライン。

spotify
⭐ 866 Python 👤 spotify Organization 🕐 更新日時 2024-01-10 📅 作成日 2020-08-07
42
censusreporter/censusreporter

Census Reporter は、Knight News Challenge から資金提供を受けたプロジェクトで、ジャーナリストが米国国勢調査局の情報を使ってストーリーを書くのを容易にします。

censusreporter
⭐ 846 HTML 👤 censusreporter Organization 🕐 更新日時 2026-10-26 📅 作成日 2013-05-20
43
ssp-data/practical-data-engineering

実践的データエンジニアリング:不動産プロジェクトの実践ガイド

ssp-data
⭐ 833 Jupyter Notebook 👤 ssp-data Organization 🕐 更新日時 2026-06-25 📅 作成日 2020-11-18
44
justjavac/weibo-trending-hot-search

微博ホット検索ランキングは、2020年11月24日から微博の人気検索を記録します。データは1時間ごとに取得され、毎日アーカイブされます。

justjavac
⭐ 804 TypeScript 👤 justjavac User 🕐 更新日時 2026-11-21 📅 作成日 2020-11-24
45
tidymodels/infer

tidyverse 対応の統計的推論のための R パッケージ

tidymodels
⭐ 796 R 👤 tidymodels Organization 🕐 更新日時 2026-04-13 📅 作成日 2017-06-05
46
geolonia/japanese-addresses

全国の町丁目レベル(277,191件)の住所データのオープンデータ

geolonia
⭐ 774 JavaScript 👤 geolonia Organization 🕐 更新日時 2026-08-05 📅 作成日 2020-07-12
47
hudl/statsbombpy

StatsBomb データを Python に簡単にストリーミング

hudl
⭐ 758 Python 👤 hudl Organization 🕐 更新日時 2026-10-20 📅 作成日 2020-01-08
48
CZ-NIC/pz

通常のBashプログラムの代わりにPythonを使用して、日常のCLI操作を簡単に処理します。 🇺🇦 #supporting

CZ-NIC
⭐ 732 Python 👤 CZ-NIC Organization 🕐 更新日時 2025-11-24 📅 作成日 2020-11-25
49
karpathy/hn-time-capsule

10年前のHacker Newsの議論をLLMを用いて後知恵で分析する

karpathy
⭐ 693 Python 👤 karpathy User 🕐 更新日時 2025-12-10 📅 作成日 2025-12-10
50
azmatt/chasing_your_tail

無線信号を使用して追跡されていないかを確認するためのツール。

azmatt
⭐ 691 Python 👤 azmatt User 🕐 更新日時 2025-02-18 📅 作成日 2022-01-01

よくある質問

1

GitHubで最も人気のある#data-pipelineリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#data-pipelineプロジェクトは、34,361個のスターを獲得しているxai-org/x-algorithmです。XのFor Youフィードを駆動するアルゴリズム

2

#data-pipelineリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#data-pipelineプロジェクトでは、Python, Java, Go, Rustが最も一般的なプログラミング言語です。

3

#data-pipelineリポジトリのランキングはどのように算出されていますか?

#data-pipelineのタグが付いた67件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は219,024個で、リポジトリあたりの平均は3,269個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。