Git Stars Git Stars

#data-processing リポジトリ

#data-processingのタグが付いた、GitHub上の72件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は211,976個で、プロジェクトあたりの平均は2,944個です。このトピックをリードしているのは、61,976個のスターを獲得しているpathwaycom/pathwayです。

72
リポジトリ総数
211,976
合計スター数
2,944
リポジトリあたりの平均スター数

リポジトリ合計72件

1
pathwaycom/pathway

ストリーム処理、リアルタイム分析、LLMパイプライン、RAGのためのPython ETLフレームワーク。

pathwaycom
⭐ 61,976 Python 👤 pathwaycom Organization 🕐 更新日時 2026-11-21 📅 作成日 2022-11-27
2
cocoindex-io/cocoindex

長期的ホライゾンエージェントのための増分エンジン 🌟 気に入ったら星をつけて!

cocoindex-io
⭐ 11,923 Rust 👤 cocoindex-io Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-03-03
3
onceupon/Bash-Oneliner

データ処理とLinuxシステムメンテナンスのための便利なBash One-Linersとターミナルトリックのコレクション。

onceupon
⭐ 10,805 👤 onceupon User 🕐 更新日時 2026-09-22 📅 作成日 2016-06-14
4
johnkerl/miller

Miller は、CSV、TSV、表形式の JSON などの名前インデックスデータに対する awk、sed、cut、join、sort のようなものです。

johnkerl
⭐ 10,069 Go 👤 johnkerl User 🕐 更新日時 2026-11-20 📅 作成日 2015-05-03
5
OpenDCAI/DataFlow

[SIGMOD'27] 最新のLLMベースのオペレーターとパイプラインによる簡単なデータ準備。

OpenDCAI
⭐ 8,650 Python 👤 OpenDCAI Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-10-13
6
TomWright/dasel

JSON、TOML、YAML、XML、INI、HCL、KDL、CSVの統合クエリ、変換、および変更。

TomWright
⭐ 8,093 Go 👤 TomWright User 🕐 更新日時 2026-11-02 📅 作成日 2020-09-22
7
datajuicer/data-juicer

基盤モデルのための、そして基盤モデルとのデータ処理! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

datajuicer
⭐ 7,266 Python 👤 datajuicer Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-08-01
8
google/snappy

高速圧縮/解凍プログラム

google
⭐ 6,633 C++ 👤 google Organization 🕐 更新日時 2026-10-23 📅 作成日 2014-03-03
9
NVIDIA/DALI

GPUアクセラレーションされたライブラリで、高度に最適化されたビルディングブロックとデータ処理のための実行エンジンを含み、ディープラーニングのトレーニングおよび推論アプリケーションを加速します。

NVIDIA
⭐ 5,797 C++ 👤 NVIDIA Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-06-01
10
deepseek-ai/smallpond

DuckDBと3FS上に構築された軽量データ処理フレームワーク。

deepseek-ai
⭐ 4,960 Python 👤 deepseek-ai Organization 🕐 更新日時 2025-03-05 📅 作成日 2025-02-24
11
unionai-oss/pandera

軽量で柔軟かつ表現力のある統計データテストライブラリ

unionai-oss
⭐ 4,532 Python 👤 unionai-oss Organization 🕐 更新日時 2026-11-19 📅 作成日 2018-11-01
12
knownsec/aipyapp

AI搭載Python & Python搭載AI(Python利用)

knownsec
⭐ 4,026 HTML 👤 knownsec Organization 🕐 更新日時 2026-02-15 📅 作成日 2025-04-06
13
Rdatatable/data.table

Rのdata.tableパッケージはdata.frameを拡張します:

Rdatatable
⭐ 3,930 R 👤 Rdatatable Organization 🕐 更新日時 2026-11-20 📅 作成日 2014-06-07
14
TimelyDataflow/differential-dataflow

Rust 上の timely dataflow を使用した differential dataflow の実装。

TimelyDataflow
⭐ 3,040 Rust 👤 TimelyDataflow Organization 🕐 更新日時 2026-11-21 📅 作成日 2015-05-05
15
numaproj/numaflow

大規模並列データ/ストリーミング ジョブを実行するための Kubernetes ネイティブ プラットフォーム

numaproj
⭐ 2,837 Rust 👤 numaproj Organization 🕐 更新日時 2026-11-19 📅 作成日 2022-05-20
16
datachain-ai/datachain

非構造化データのためのコンテキストレイヤー:S3、GCS、Azure上の型付き・バージョン管理されたデータセット

datachain-ai
⭐ 2,831 Python 👤 datachain-ai Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-06-25
17
elixir-broadway/broadway

Elixir を使用した同時実行および多段階データ取り込みとデータ処理

elixir-broadway
⭐ 2,694 Elixir 👤 elixir-broadway Organization 🕐 更新日時 2026-11-06 📅 作成日 2018-11-05
18
google/googlesql

GoogleSQL(旧ZetaSQL)- SQL アナライザー・フレームワーク

google
⭐ 2,644 C++ 👤 google Organization 🕐 更新日時 2026-11-18 📅 作成日 2019-04-16
19
asyml/texar

TensorFlowにおける機械学習、自然言語処理、およびテキスト生成のためのツールキット。これはCASLプロジェクトの一部です:http://casl-project.ai/

asyml
⭐ 2,391 Python 👤 asyml Organization 🕐 更新日時 2026-07-21 📅 作成日 2017-07-22
20
bytewax/bytewax

Python ストリーム処理

bytewax
⭐ 2,074 Python 👤 bytewax Organization 🕐 更新日時 2026-11-13 📅 作成日 2022-02-04
21
NVIDIA-NeMo/Curator

LLM向けの拡張可能なデータ前処理およびキュレーションツールキット

NVIDIA-NeMo
⭐ 1,866 Python 👤 NVIDIA-NeMo Organization 🕐 更新日時 2026-11-19 📅 作成日 2024-03-14
22
felt/tippecanoe

GeoJSONフィーチャの大規模コレクションからベクトルタイルセットを構築します。

felt
⭐ 1,638 C++ 👤 felt Organization 🕐 更新日時 2026-11-16 📅 作成日 2022-08-15
23
allenai/dolma

OLMo事前学習データを生成および検査するためのデータとツール。

allenai
⭐ 1,564 Python 👤 allenai Organization 🕐 更新日時 2026-08-24 📅 作成日 2023-06-20
24
pyper-dev/pyper

並行Pythonをシンプルに

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 更新日時 2025-02-04 📅 作成日 2024-05-22
25
GoogleCloudPlatform/data-science-on-gcp

書籍に付属するソースコード:Google Cloud Platform のデータ サイエンス、Valliappa Lakshmanan、O'Reilly 2017

GoogleCloudPlatform
⭐ 1,432 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 更新日時 2026-02-20 📅 作成日 2017-02-10
26
zapret-info/z-i

ロシア連邦でフィルタリングされたインターネットアドレスの登録簿

zapret-info
⭐ 1,388 👤 zapret-info User 🕐 更新日時 2025-10-01 📅 作成日 2012-11-19
27
ncbi/sra-tools

SRAツール

ncbi
⭐ 1,376 C 👤 ncbi Organization 🕐 更新日時 2026-11-19 📅 作成日 2014-08-21
28
run-house/kubetorch

Kubernetes上でAIワークロードをPythonで魔法のように分散・実行します。これはMLインフラストラクチャのためのPyTorchのようなものです。

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 更新日時 2026-05-29 📅 作成日 2022-05-10
29
RadarCODE/awesome-sar

素晴らしい合成開口レーダー(SAR)ソフトウェア、ライブラリ、リソースのキュレーションされたリスト。

RadarCODE
⭐ 1,193 👤 RadarCODE Organization 🕐 更新日時 2025-07-22 📅 作成日 2016-06-03
30
GeospatialPython/pyshp

このライブラリは、純粋なPythonでESRI Shapefileを読み書きします。

GeospatialPython
⭐ 1,160 Python 👤 GeospatialPython User 🕐 更新日時 2026-11-16 📅 作成日 2014-03-04
31
nikic/iter

ジェネレーターを使用したイテレーションのプリミティブ

nikic
⭐ 1,145 PHP 👤 nikic User 🕐 更新日時 2026-09-23 📅 作成日 2013-07-01
32
felixonmars/fcitx5-pinyin-zhwiki

Fcitx 5 ピンイン辞書 zh.wikipedia.org より

felixonmars
⭐ 1,108 Python 👤 felixonmars User 🕐 更新日時 2026-10-17 📅 作成日 2020-05-23
33
tadija/AEXML

シンプルで軽量なXML解析のためのSwiftミニオン

tadija
⭐ 1,037 Swift 👤 tadija User 🕐 更新日時 2026-11-19 📅 作成日 2014-10-16
34
google-deepmind/tree

tree は、ネストされたデータ構造を扱うためのライブラリです

google-deepmind
⭐ 1,027 Python 👤 google-deepmind Organization 🕐 更新日時 2026-11-15 📅 作成日 2019-10-08
35
thepycoach/automation

Pythonによる自動化 (Excel、スクリプトなど)

thepycoach
⭐ 1,010 Jupyter Notebook 👤 thepycoach User 🕐 更新日時 2024-05-19 📅 作成日 2021-05-02
36
negokaz/excel-mcp-server

MS Excelデータを読み書きするModel Context Protocol (MCP)サーバー

negokaz
⭐ 991 Go 👤 negokaz User 🕐 更新日時 2025-07-19 📅 作成日 2025-02-16
37
fireducks-dev/fireducks

FireDucks に課題を作成

fireducks-dev
⭐ 929 Jupyter Notebook 👤 fireducks-dev Organization 🕐 更新日時 2025-05-22 📅 作成日 2023-10-12
38
samtools/bcftools

これは BCFtools の公式開発リポジトリです。インストール手順やその他のドキュメントはこちらをご覧ください http://samtools.github.io/bcftools/howtos/install.html

samtools
⭐ 905 C 👤 samtools Organization 🕐 更新日時 2026-11-20 📅 作成日 2013-07-12
39
bastibe/python-soundfile

SoundFileは、libsndfile、CFFI、NumPyをベースにしたオーディオライブラリです

bastibe
⭐ 872 Python 👤 bastibe User 🕐 更新日時 2026-10-24 📅 作成日 2013-08-27
40
TeamMsgExtractor/msg-extractor

Microsoft Outlookの.msgファイルに保存されている電子メールおよび添付ファイルを抽出します

TeamMsgExtractor
⭐ 858 Python 👤 TeamMsgExtractor Organization 🕐 更新日時 2026-11-05 📅 作成日 2013-07-24
41
MohElshamy1994/n8n-course-Projetcs

私のYouTubeコース用のn8nプロジェクト。

MohElshamy1994
⭐ 854 👤 MohElshamy1994 User 🕐 更新日時 2025-10-19 📅 作成日 2025-07-13
42
0xfdf/toraniko

計量取引のためのマルチファクター株式リスクモデル。

0xfdf
⭐ 853 Python 👤 0xfdf User 🕐 更新日時 2024-08-16 📅 作成日 2024-07-03
43
benibela/xidel

HTML/XML ページや JSON-API からデータをダウンロードして抽出するためのコマンドラインツールで、CSS、XPath 3.0、XQuery 3.0、JSONiq またはパターンマッチングを使用します。また、新しいまたは変換された XML/HTML/JSON ドキュメントを作成することもできます。

benibela
⭐ 836 Pascal 👤 benibela User 🕐 更新日時 2025-02-22 📅 作成日 2015-06-11
44
bugen/pypipe

Pythonパイプコマンドラインツール

bugen
⭐ 802 Python 👤 bugen User 🕐 更新日時 2024-01-04 📅 作成日 2023-09-20
45
influxdata/flux

Fluxは、データベース(InfluxDBなど)をクエリし、データと作業するための軽量スクリプト言語です。InfluxDB 1.7および2.0の一部ですが、それらとは独立して実行できます。

influxdata
⭐ 794 FLUX 👤 influxdata Organization 🕐 更新日時 2026-11-17 📅 作成日 2018-06-14
46
PreSenseRadar/OpenRadar

レーダー データとのやり取りと処理のためのオープンソースライブラリ、MIMO mmWave レーダーに特化

PreSenseRadar
⭐ 776 Jupyter Notebook 👤 PreSenseRadar User 🕐 更新日時 2024-04-30 📅 作成日 2019-09-20
47
ChenghaoMou/text-dedup

オールインワン テキスト重複除去

ChenghaoMou
⭐ 765 Python 👤 ChenghaoMou User 🕐 更新日時 2026-03-09 📅 作成日 2021-03-13
48
JuliaParallel/Dagger.jl

アウトオブコアおよび並列実行のためのフレームワーク

JuliaParallel
⭐ 734 Julia 👤 JuliaParallel Organization 🕐 更新日時 2026-11-02 📅 作成日 2015-12-03
49
hstreamdb/hstream

HStreamDBは、IoTおよびそれ以降のためのオープンソース、クラウドネイティブストリーミングデータベースです。リアルタイムアプリケーションのためにデータスタックを最新化してください。

hstreamdb
⭐ 728 Haskell 👤 hstreamdb Organization 🕐 更新日時 2024-12-26 📅 作成日 2020-08-31
50
omarabid/rust-companies

Rust を本番環境で使用している企業のリスト。

omarabid
⭐ 721 👤 omarabid User 🕐 更新日時 2026-09-11 📅 作成日 2020-02-05

よくある質問

1

GitHubで最も人気のある#data-processingリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#data-processingプロジェクトは、61,976個のスターを獲得しているpathwaycom/pathwayです。ストリーム処理、リアルタイム分析、LLMパイプライン、RAGのためのPython ETLフレームワーク。

2

#data-processingリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#data-processingプロジェクトでは、Python, C++, Jupyter Notebook, Rustが最も一般的なプログラミング言語です。

3

#data-processingリポジトリのランキングはどのように算出されていますか?

#data-processingのタグが付いた72件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は211,976個で、リポジトリあたりの平均は2,944個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。