Git Stars Git Stars

#bigdata リポジトリ

#bigdataのタグが付いた、GitHub上の51件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は261,861個で、プロジェクトあたりの平均は5,134個です。このトピックをリードしているのは、45,237個のスターを獲得しているDataExpert-io/data-engineer-handbookです。

51
リポジトリ総数
261,861
合計スター数
5,134
リポジトリあたりの平均スター数

リポジトリ合計51件

1
DataExpert-io/data-engineer-handbook

データエンジニアリングについて知りたいすべてのものへのリンクが掲載されたリポジトリです

DataExpert-io
⭐ 45,237 Jupyter Notebook 👤 DataExpert-io Organization 🕐 更新日時 2026-08-03 📅 作成日 2023-11-19
2
rustfs/rustfs

RustFS は、オープンソースで S3 互換の高性能オブジェクトストレージシステムであり、MinIO や Ceph などの他の S3 互換プラットフォームとの移行および共存をサポートします。

rustfs
⭐ 36,341 Rust 👤 rustfs Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-11-23
3
taosdata/TDengine

高性能でスケーラブルな時系列データベース。産業IoT (IIoT) シナリオ向けに設計

taosdata
⭐ 25,203 C 👤 taosdata Organization 🕐 更新日時 2026-11-15 📅 作成日 2019-07-11
4
apache/shardingsphere

分散 SQL を用いて、すべてのデータベースにおけるシャーディング、スケーラビリティ、セキュリティのためのデータインテリジェンスを強化。

apache
⭐ 20,832 Java 👤 apache Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-01-18
5
heibaiying/BigData-Notes

ビッグデータ入門ガイド :star:

heibaiying
⭐ 16,818 Java 👤 heibaiying User 🕐 更新日時 2024-01-05 📅 作成日 2019-03-10
6
juicedata/juicefs

JuiceFSは、RedisとS3の上に構築された分散型POSIXファイルシステムです。

juicedata
⭐ 14,766 Go 👤 juicedata Organization 🕐 更新日時 2026-11-20 📅 作成日 2021-01-08
7
oxnr/awesome-bigdata

素晴らしいビッグデータフレームワーク、リソース、「その他素晴らしいもの」のキュレーションリスト。

oxnr
⭐ 14,744 👤 oxnr User 🕐 更新日時 2026-11-13 📅 作成日 2014-07-04
8
databendlabs/databend

Data Agent Ready Warehouse:Analytics、検索、AI、Python Sandbox 用のワン・ストップ。— 最初から再構築。あなたのS3上で統一されたアーキテクチャ。

databendlabs
⭐ 9,502 Rust 👤 databendlabs Organization 🕐 更新日時 2026-11-21 📅 作成日 2020-10-10
9
vaexio/vaex

Python、ML、可视化、大規模表形式データの探索のためのOut-of-CoreハイブリッドApache Arrow/NumPy DataFrame、毎秒10億行 🚀

vaexio
⭐ 8,518 Python 👤 vaexio Organization 🕐 更新日時 2026-11-06 📅 作成日 2014-09-27
10
apache/hudi

Upserts、削除、およびビッグデータ上のインクリメンタル処理。

apache
⭐ 6,387 Java 👤 apache Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-12-14
11
volcano-sh/volcano

クラウドネイティブバッチシステム (CNCF傘下のプロジェクト)

volcano-sh
⭐ 6,106 Go 👤 volcano-sh Organization 🕐 更新日時 2026-11-19 📅 作成日 2019-03-14
12
iGaoWei/BigDataView

100以上のビッグデータ可視化クール大型スクリーンHTML5テンプレート。業界別(コミュニティ、不動産管理、政務、交通、金融銀行など)で、全ネットで最も新しく、最も多く、最も完全で、最もクールで、最も派手なビッグデータ可視化テンプレート。順次更新中

iGaoWei
⭐ 5,352 JavaScript 👤 iGaoWei User 🕐 更新日時 2025-10-24 📅 作成日 2021-07-29
13
DTStack/chunjun

データ統合フレームワーク

DTStack
⭐ 4,107 Java 👤 DTStack Organization 🕐 更新日時 2026-10-09 📅 作成日 2018-04-03
14
liyupi/sql-generator

🔨 Vue3 + TypeScript + Vite + Ant Design + MonacoEditor をベースに、JSON を使用して構造化された SQL ステートメントを生成します。プロジェクトはシンプル (ロジック重視、ページ軽量) で、練習に適しています~

liyupi
⭐ 3,455 Vue 👤 liyupi User 🕐 更新日時 2024-01-17 📅 作成日 2022-05-12
15
apache/avro

Apache Avro はデータシリアライゼーションシステムです。

apache
⭐ 3,314 Java 👤 apache Organization 🕐 更新日時 2026-11-21 📅 作成日 2009-05-21
16
MoRan1607/BigDataGuide

ビッグデータ学習、ビッグデータをゼロから学習、ビッグデータ学習の各段階の学習ビデオ、面接資料を含む

MoRan1607
⭐ 3,259 👤 MoRan1607 User 🕐 更新日時 2026-01-20 📅 作成日 2019-11-30
17
griddb/griddb

GridDB は、次世代のオープンソースデータベースで、時系列 IoT とビッグデータを高速かつ簡単にします。

griddb
⭐ 2,470 C++ 👤 griddb Organization 🕐 更新日時 2026-03-19 📅 作成日 2016-02-24
18
apconw/Aix-DB

Aix-DB は LangChain/LangGraph フレームワークを基盤とし、MCP Skills マルチエージェント協調アーキテクチャを組み合わせて、自然言語からデータインサイトへのエンドツーエンド変換を実現します。

apconw
⭐ 2,268 JavaScript 👤 apconw User 🕐 更新日時 2026-11-06 📅 作成日 2024-11-15
19
dotnet/spark

.NET for Apache® Spark™ により、.NET 開発者は Apache Spark™ を簡単に利用できるようになります。

dotnet
⭐ 2,096 C# 👤 dotnet Organization 🕐 更新日時 2026-11-05 📅 作成日 2019-04-22
20
DTStack/flinkStreamSQL

オープンソースのFlinkを基に、そのリアルタイムSQLを拡張;主にストリームとディメンジョンテーブルのジョインを実現し、ネイティブFlink SQLのすべての構文をサポートします

DTStack
⭐ 2,058 Java 👤 DTStack Organization 🕐 更新日時 2024-02-21 📅 作成日 2018-09-12
21
byzer-org/byzer-lang

Byzer (旧 MLSQL): データパイプライン、分析、AIのためのローコードオープンソースプログラミング言語。

byzer-org
⭐ 1,849 Scala 👤 byzer-org Organization 🕐 更新日時 2024-05-29 📅 作成日 2016-04-28
22
collabH/bigdata-growth

ビッグデータナレッジリポジトリは、データウェアハウスモデリング、リアルタイムコンピューティング、ビッグデータ、データミドルプラットフォーム、システム設計、Java、アルゴリズムなどを含みます。

collabH
⭐ 1,838 Python 👤 collabH User 🕐 更新日時 2026-04-18 📅 作成日 2020-06-10
23
Netflix/genie

分散型ビッグデータオーケストレーションサービス

Netflix
⭐ 1,766 Java 👤 Netflix Organization 🕐 更新日時 2026-11-21 📅 作成日 2013-06-20
24
YoongiKim/AutoCrawler

Google, Naver マルチプロセス画像ウェブクローラー (Selenium)

YoongiKim
⭐ 1,700 Python 👤 YoongiKim User 🕐 更新日時 2026-11-12 📅 作成日 2018-11-21
25
jadianes/spark-py-notebooks

Apache Spark & Python (pySpark) のビッグデータ分析と機械学習のためのチュートリアル、IPython / Jupyter ノートブックとして

jadianes
⭐ 1,667 Jupyter Notebook 👤 jadianes User 🕐 更新日時 2024-03-16 📅 作成日 2015-05-06
26
hi-primus/optimus

:truck: Pandas、Dask、cuDF、Dask-cuDF、Vaex、PySpark を使用して Agile データ準備ワークフローを簡単に

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 更新日時 2024-12-02 📅 作成日 2017-07-13
27
opendatadiscovery/odd-platform

初のオープンソースのデータ発見およびオブザーバビリティプラットフォーム。データプラクティショナーの生活を楽にし、ビジネスに集中できるようにします。

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 更新日時 2026-10-19 📅 作成日 2021-07-07
28
apache/celeborn

Apache Celebornは、シャッフルおよびスピルされたデータのための、弾力性と高性能を備えたサービスです。

apache
⭐ 1,081 Java 👤 apache Organization 🕐 更新日時 2026-11-20 📅 作成日 2021-12-10
29
zeromicro/cds

ClickHouseのためのGolangでのデータ同期。

zeromicro
⭐ 982 Go 👤 zeromicro Organization 🕐 更新日時 2025-06-07 📅 作成日 2020-11-25
30
apache/livy

Apache Livy は、どこからでも Apache Spark と対話するためのオープンソースの REST インターフェースです。

apache
⭐ 962 Scala 👤 apache Organization 🕐 更新日時 2026-10-20 📅 作成日 2017-06-25
31
microsoft/Mobius

Apache Spark 向け C# および F# 言語バインディングと拡張

microsoft
⭐ 948 C# 👤 microsoft Organization 🕐 更新日時 2025-12-11 📅 作成日 2015-10-27
32
visualpython/visualpython

データサイエンス用のGUIベースのPythonコードジェネレーター、Jupyter Lab、Jupyter Notebook、Google Colabへの拡張機能。

visualpython
⭐ 917 JavaScript 👤 visualpython User 🕐 更新日時 2024-07-03 📅 作成日 2021-05-02
33
pingcap/tispark

TiSpark は、TiDB/TiKV 上で Apache Spark を実行するために構築されています。

pingcap
⭐ 889 Scala 👤 pingcap Organization 🕐 更新日時 2026-08-20 📅 作成日 2017-05-02
34
intsmaze/flink-boot

Lazy Squirrel Flink-Boot スキャフォールディングは、Flink が Spring エコシステムを完全に活用できるようにし、開発者が Java WEB 開発モードで分散実行されるストリーム処理プログラムを開発できるようにします。Lazy Squirrel は、クロスオーバーをより簡単にします。Lazy Squirrel は、開発者が (分散コンピューティングの理論や Flink フレームワークの詳細を理解する必要なく) より低い参入コストでビジネス コードを迅速に記述および実装できるようにすることを目的としています。Lazy Squirrel スキャフォールディングを使用して大規模プロジェクトを開発する際の俊敏性をさらに向上させるために、このスキャフォールディングはデフォルトで Bean 管理のために Spring フレームワークを統合し、同時にマイクロサービスおよび WEB 開発分野で一般的に使用されるフレームワークを統合して、開発速度をさらに向上させます。たとえば、Mybatis ORM フレームワーク、Hibernate Validator 検証フレームワーク、Spring Retry リトライフレームワークなどを統合します。詳細は、以下のスキャフォールディングの機能を参照してください。

intsmaze
⭐ 827 Java 👤 intsmaze User 🕐 更新日時 2024-04-27 📅 作成日 2020-11-10
35
NationalSecurityAgency/datawave

DataWave は、Apache Accumulo を活用して高速で安全なデータアクセスを提供するインジェスト/クエリフレームワークです。

NationalSecurityAgency
⭐ 779 Java 👤 NationalSecurityAgency Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-01-10
36
gearpump/gearpump

Apache Pekko ベースの軽量リアルタイムビッグデータストリーミングエンジン

gearpump
⭐ 757 Scala 👤 gearpump Organization 🕐 更新日時 2026-11-09 📅 作成日 2014-07-23
37
MrXujiang/v6.dooring.public

ビジュアルダッシュボードソリューション。ビジュアル編集エンジンを提供し、個人または企業が独自のビジュアルダッシュボードアプリケーションを簡単にカスタマイズできるよう支援します。

MrXujiang
⭐ 715 TypeScript 👤 MrXujiang User 🕐 更新日時 2025-07-06 📅 作成日 2021-03-08
38
WeBankFinTech/WeDataSphere

WeDataSphere は、金融グレードのワンストップビッグデータプラットフォームスイートです。

WeBankFinTech
⭐ 676 👤 WeBankFinTech Organization 🕐 更新日時 2024-03-14 📅 作成日 2019-07-23
39
bigartm/bigartm

高速トピックモデリングプラットフォーム

bigartm
⭐ 673 C++ 👤 bigartm Organization 🕐 更新日時 2026-02-05 📅 作成日 2014-09-15
40
AbsaOSS/spline

データ系統追跡および視覚化ソリューション

AbsaOSS
⭐ 669 Scala 👤 AbsaOSS Organization 🕐 更新日時 2026-11-04 📅 作成日 2017-05-30
41
unum-cloud/UStore

blob、ドキュメント、グラフに対応する組み込み型トランザクションデータベース。io_uring と SPDK によるカーネルバイパス NVMe、GPU コンパクションを備え、自社エンジン、RocksDB、LevelDB で共通の C ABI を提供 🗄️

unum-cloud
⭐ 649 C++ 👤 unum-cloud Organization 🕐 更新日時 2026-11-18 📅 作成日 2022-06-12
42
gangly/datafaker

Datafaker は、大規模なテスト データおよびフロー テスト データ生成ツールです。Datafaker はデータを偽造し、多様なデータ ソースに挿入します。テスト データ生成ツール

gangly
⭐ 643 Python 👤 gangly User 🕐 更新日時 2026-04-04 📅 作成日 2019-03-26
43
marmotdata/marmot

あなたの会社のためのオープンソースのナレッジハウス。Marmotはデータの意味を理解し、利用できるユーザーを管理し、従業員やエージェントが実行するすべてのクエリを検証・記録したうえで処理します。カタログ、データリネージ、ガバナンス管理されたSQL、MCPサーバーを1つのGoバイナリに統合。

marmotdata
⭐ 639 Go 👤 marmotdata Organization 🕐 更新日時 2026-11-20 📅 作成日 2025-03-12
44
minio/sidekick

高性能HTTPサイドカーロードバランサー

minio
⭐ 585 Go 👤 minio Organization 🕐 更新日時 2025-07-14 📅 作成日 2020-03-05
45
achtungsoftware/alarik

高速性に重点を置き、MinIOとRustFSのオープンな代替として設計された、高性能な分散S3互換オブジェクトストレージ。

achtungsoftware
⭐ 584 Swift 👤 achtungsoftware Organization 🕐 更新日時 2026-09-19 📅 作成日 2025-12-06
46
ganweisoft/TOMs

TOMsは、完全にオープンソースで、高性能、体系的、プラグイン指向、シナリオにとらわれない汎用開発フレームワークです。

ganweisoft
⭐ 581 CSS 👤 ganweisoft Organization 🕐 更新日時 2025-12-04 📅 作成日 2025-06-11
47
mvillarrealb/docker-spark-cluster

テスト環境の目的のためのシンプルな Spark スタンドアロン クラスタ

mvillarrealb
⭐ 570 Dockerfile 👤 mvillarrealb User 🕐 更新日時 2024-03-06 📅 作成日 2018-09-23
48
leesf/hudi-resources

Apache Hudi 関連資料のまとめ

leesf
⭐ 554 👤 leesf User 🕐 更新日時 2026-03-31 📅 作成日 2019-12-11
49
zhaoyachao/zdh_web

ビッグデータ収集、抽出プラットフォーム、zdh_webはzdhシリーズサービスの視覚化管理プラットフォームで、データ収集、スケジューリング、権限、承認フロー、私有ドメインマーケティングなどのモジュールを備えています。

zhaoyachao
⭐ 536 HTML 👤 zhaoyachao User 🕐 更新日時 2026-06-07 📅 作成日 2020-02-03
50
nicgirault/circosJS

円グラフ構築のためのd3ライブラリ

nicgirault
⭐ 534 JavaScript 👤 nicgirault User 🕐 更新日時 2026-01-23 📅 作成日 2014-11-28

よくある質問

1

GitHubで最も人気のある#bigdataリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#bigdataプロジェクトは、45,237個のスターを獲得しているDataExpert-io/data-engineer-handbookです。データエンジニアリングについて知りたいすべてのものへのリンクが掲載されたリポジトリです

2

#bigdataリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#bigdataプロジェクトでは、Java, Go, Python, Scalaが最も一般的なプログラミング言語です。

3

#bigdataリポジトリのランキングはどのように算出されていますか?

#bigdataのタグが付いた51件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は261,861個で、リポジトリあたりの平均は5,134個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。