Git Stars Git Stars

#inference リポジトリ

144
リポジトリ総数
870,238
合計スター数
6,043
リポジトリあたりの平均スター数

リポジトリ合計144件

101
OpenIntroStat/ims

📚 現代統計学入門 - 多変数関係とシミュレーションに基づく推論を強調する現代的なアプローチを採用した、大学レベルのオープンソース教科書。

OpenIntroStat
⭐ 957 JavaScript 👤 OpenIntroStat Organization 🕐 更新日時 2026-11-18 📅 作成日 2015-07-13
102
alvarobartt/hf-mem

Pythonで書かれた、Hugging Faceモデルの推論メモリ要件を推定するCLIです。

alvarobartt
⭐ 956 Python 👤 alvarobartt User 🕐 更新日時 2026-11-20 📅 作成日 2025-12-22
103
uber/neuropod

複数のフレームワークからの深層学習モデルを実行するための統一インターフェース

uber
⭐ 941 C++ 👤 uber Organization 🕐 更新日時 2024-01-03 📅 作成日 2019-01-23
104
TrenTorch/TrenTorch

機械学習を丸暗記するのではなく、推論、CUDA、ディープラーニング、データサイエンス、強化学習を含め、第一原理から理解しましょう。

TrenTorch
⭐ 867 Python 👤 TrenTorch Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-08-21
105
PABannier/bark.cpp

高速なテキスト読み上げ生成のためのC/C++におけるSuno AIのBarkモデル

PABannier
⭐ 850 C++ 👤 PABannier User 🕐 更新日時 2024-11-16 📅 作成日 2023-07-01
106
triton-inference-server/pytriton

PyTritonは、Python環境でのTritonのデプロイメントを簡素化するFlask/FastAPIライクなインターフェースです。

triton-inference-server
⭐ 847 Python 👤 triton-inference-server Organization 🕐 更新日時 2025-08-13 📅 作成日 2022-11-08
107
cyrusbehr/tensorrt-cpp-api

TensorRT C++ API チュートリアル

cyrusbehr
⭐ 813 C++ 👤 cyrusbehr User 🕐 更新日時 2026-05-30 📅 作成日 2021-10-25
108
fudan-generative-vision/Remory

Remory:コンテキスト圧縮のための残差メモリ学習

fudan-generative-vision
⭐ 809 Python 👤 fudan-generative-vision Organization 🕐 更新日時 2026-11-09 📅 作成日 2026-10-07
109
serizba/cppflow

インストールなし、BazelなしでC++でTensorFlowモデルを実行

serizba
⭐ 809 C++ 👤 serizba User 🕐 更新日時 2024-08-16 📅 作成日 2019-05-16
110
SharpAI/SwiftLM

⚡ Apple Silicon向けネイティブMLX Swift LLM推論サーバー。OpenAI互換API、100B+ MoEモデル向けSSDストリーミング、TurboQuant KVキャッシュ圧縮、MACOS + iOS iPhoneアプリ。

SharpAI
⭐ 802 Swift 👤 SharpAI Organization 🕐 更新日時 2026-11-19 📅 作成日 2026-03-21
111
pipeless-ai/pipeless

数分でアプリを構築およびデプロイできるオープンソースのコンピュータービジョンフレームワーク

pipeless-ai
⭐ 794 Rust 👤 pipeless-ai Organization 🕐 更新日時 2024-05-08 📅 作成日 2023-07-21
112
emlearn/emlearn

マイクロコントローラおよび組み込みデバイス向け機械学習推論エンジン

emlearn
⭐ 776 Python 👤 emlearn Organization 🕐 更新日時 2026-11-10 📅 作成日 2018-03-16
113
rnchg/APT

AI生産性ツール – 無料かつオープンソースで、ユーザーの生産性を向上させ、プライバシーとデータセキュリティを保護します。組み込みのローカル専用ChatGPT、DeepSeek、Phi、Qwenなどのモデル、画像、ビデオ、オーディオなどのワンクリックバッチインテリジェント処理が含まれますが、これらに限定されません。

rnchg
⭐ 768 C# 👤 rnchg User 🕐 更新日時 2025-12-13 📅 作成日 2024-06-19
114
h2non/filetype.py

小型で依存関係なし、速いPythonパッケージ。マジックナンバーシグネチャをチェックしてバイナリファイルの種類を推測します

h2non
⭐ 766 Python 👤 h2non User 🕐 更新日時 2025-05-02 📅 作成日 2016-06-18
115
stamparm/identYwaf

ブラインド WAF 識別ツール

stamparm
⭐ 758 Python 👤 stamparm User 🕐 更新日時 2026-09-10 📅 作成日 2019-01-10
116
aws/studio-lab-examples

SageMaker Studio Lab で作業するためのサンプルノートブックです。以下のリンクからアカウントにサインアップしてください!

aws
⭐ 753 Jupyter Notebook 👤 aws Organization 🕐 更新日時 2024-08-24 📅 作成日 2021-11-23
117
pegainfer-project/pegainfer

純粋な Rust + CUDA の LLM 推論エンジン — PyTorch 不要、OpenAI 互換、Qwen3 から Kimi-K2 まで対応

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-02-17
118
MegEngine/InferLLM

軽量なLLMモデル推論フレームワーク

MegEngine
⭐ 746 C++ 👤 MegEngine Organization 🕐 更新日時 2024-04-07 📅 作成日 2023-05-04
119
hidet-org/hidet

Pythonで書かれた、オープンソースで効率的なディープラーニングフレームワーク/コンパイラ。

hidet-org
⭐ 742 Python 👤 hidet-org Organization 🕐 更新日時 2025-09-04 📅 作成日 2022-01-04
120
microsoft/vidur

正確で大規模かつ拡張可能なLLM推論システムシミュレータ

microsoft
⭐ 733 Python 👤 microsoft Organization 🕐 更新日時 2026-08-24 📅 作成日 2023-11-02
121
zhiqwang/yolort

yolortは、tensorrt、libtorch、onnxruntime、tvm、ncnnなどの特殊なアクセラレータ上でyolov5を実行するためのランタイムスタックです。

zhiqwang
⭐ 730 Python 👤 zhiqwang User 🕐 更新日時 2026-04-10 📅 作成日 2020-08-14
122
intel/ai-reference-models

Intel® AI Reference Models: Intel® Xeon® Scalable プロセッサおよび Intel® Data Center GPU でディープラーニングのワークロードを実行するための Intel 最適化が含まれています

intel
⭐ 728 Python 👤 intel Organization 🕐 更新日時 2026-02-11 📅 作成日 2018-10-23
123
privacytrustlab/ml_privacy_meter

Privacy Meter: 統計および機械学習アルゴリズムにおけるデータプライバシーを監査するためのオープンソースライブラリ。

privacytrustlab
⭐ 715 Jupyter Notebook 👤 privacytrustlab Organization 🕐 更新日時 2025-04-26 📅 作成日 2020-04-08
124
DerwenAI/kglab

Graph Data Science: Pandas、NetworkX、RAPIDS、RDFlib、pySHACL、PyVis、morph-kgc、pslpython、pyarrow などの一般的なグラフライブラリと統合された、知識グラフ構築のための Python の抽象化レイヤーです。

DerwenAI
⭐ 696 Jupyter Notebook 👤 DerwenAI Organization 🕐 更新日時 2026-01-25 📅 作成日 2020-10-25
125
kossisoroyce/timber

Ollama:古典的MLモデル用。XGBoost、LightGBM、scikit-learn、CatBoost、ONNXモデルをネイティブC99推論コードに変換するAOTコンパイラ。ロード1コマンド、サーブ1コマンド。Python推論の336倍高速。

kossisoroyce
⭐ 692 Python 👤 kossisoroyce User 🕐 更新日時 2026-04-16 📅 作成日 2026-02-27
126
zhongkaifu/TensorSharp

GGUFモデル向けのネイティブ.NET LLM推論エンジンおよびエージェントランタイムです。TensorSharpは、コンソールアプリケーション、Webベースのチャットボットインターフェース、iPhoneアプリ、そしてプログラムからアクセス可能なOllama/OpenAI互換HTTP APIを提供します。Windows、macOS、iOS、Linuxをサポートし、GPUの機能を完全に活用できます。

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 更新日時 2026-11-20 📅 作成日 2026-04-03
127
AntonMu/TrainYourOwnYOLO

最新の yolov3 オブジェクト検出器をゼロから訓練する!

AntonMu
⭐ 673 Jupyter Notebook 👤 AntonMu User 🕐 更新日時 2024-08-02 📅 作成日 2019-07-17
128
Nehanth/pooled

ブラウザ上でのP2P LLM推論:デバイスを共有して、大規模なオープンモデルをチャットやコーディングエージェント向けに実行します。

Nehanth
⭐ 658 JavaScript 👤 Nehanth User 🕐 更新日時 2026-11-03 📅 作成日 2026-09-01
129
xboot/libonnx

ハードウェア アクセラレーション サポートを備えた組み込みデバイス向けの軽量、ポータブルな純粋な C99 ONNX 推論エンジン。

xboot
⭐ 657 C 👤 xboot Organization 🕐 更新日時 2026-07-07 📅 作成日 2020-10-14
130
open-edge-platform/dlstreamer

Deep Learning Streamer (DL Streamer) パイプラインフレームワークは、GStreamer* マルチメディアフレームワークに基づいたオープンソースのストリーミングメディア分析フレームワークであり、クラウドまたはエッジで複雑なメディア分析パイプラインを作成するために使用されます。

open-edge-platform
⭐ 648 C++ 👤 open-edge-platform Organization 🕐 更新日時 2026-11-20 📅 作成日 2019-03-13
131
WaveSpeedAI/waverless

高性能なサーバーレスGPUタスクオーケストレーション — wavespeed.aiを支えるスケジューリングレイヤー

WaveSpeedAI
⭐ 635 Go 👤 WaveSpeedAI Organization 🕐 更新日時 2026-08-21 📅 作成日 2025-10-16
132
therealoliver/Deepdive-llama3-from-scratch

llama3 の推論ステップを段階的に実行し、コアコンセプトを把握し、プロセス導出をマスターし、コードを実装します。

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 更新日時 2025-02-24 📅 作成日 2025-02-19
133
Rudrabha/LipGAN

このリポジトリには LipGAN のコードが含まれています。LipGAN は「Towards Automatic Face-to-Face Translation」というタイトルの論文の一部として公開されました。

Rudrabha
⭐ 617 Python 👤 Rudrabha User 🕐 更新日時 2025-06-22 📅 作成日 2020-01-02
134
grimoire/mmdetection-to-tensorrt

MMDetectionモデルをTensorRTに変換、fp16、int8、バッチ入力、動的形状などをサポートします。

grimoire
⭐ 598 Python 👤 grimoire User 🕐 更新日時 2024-02-18 📅 作成日 2020-07-12
135
agentic-in/inferoa

ループエンジニアリングのための推論ネイティブなトークン最大化エージェント・ハーネス

agentic-in
⭐ 570 TypeScript 👤 agentic-in Organization 🕐 更新日時 2026-06-18 📅 作成日 2026-06-08
136
spark-arena/sparkrun

sparkrun — NVIDIA DGX Spark システム上で LLM 推論ワークロードを起動、管理、停止します。ライブサポート:https://discord.com/invite/GH5kRgv6ZD

spark-arena
⭐ 567 Python 👤 spark-arena Organization 🕐 更新日時 2026-11-17 📅 作成日 2026-02-16
137
Koldim2001/YOLO-Patch-Based-Inference

YOLO 小物体検出とインスタンスセグメンテーションのための Python ライブラリ

Koldim2001
⭐ 562 Python 👤 Koldim2001 User 🕐 更新日時 2026-04-22 📅 作成日 2024-03-04
138
dllm-labs/mojo-dllm

Mojoで記述された拡散言語モデル(LLaDA、Dream)のローカル推論

dllm-labs
⭐ 546 Python 👤 dllm-labs Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-10-04
139
kaito-project/aikit

🏗️ オープンソースLLMを簡単にファインチューニング、構築、デプロイできます!

kaito-project
⭐ 545 Go 👤 kaito-project Organization 🕐 更新日時 2026-11-16 📅 作成日 2023-09-20
140
kubedl-io/kubedl

Kubernetes上でディープラーニングのワークロードをより簡単かつ効率的に実行してください。

kubedl-io
⭐ 533 Go 👤 kubedl-io Organization 🕐 更新日時 2024-03-04 📅 作成日 2019-12-10
141
triton-inference-server/model_analyzer

Triton Model Analyzer は、Triton Inference Server モデルの計算およびメモリ要件をよりよく理解するのに役立つ CLI ツールです。

triton-inference-server
⭐ 531 Python 👤 triton-inference-server Organization 🕐 更新日時 2026-11-17 📅 作成日 2020-09-01
142
NVIDIA-ISAAC-ROS/isaac_ros_pose_estimation

深層学習による、NVIDIAアクセラレーション対応の3D物体姿勢推定

NVIDIA-ISAAC-ROS
⭐ 520 C++ 👤 NVIDIA-ISAAC-ROS Organization 🕐 更新日時 2026-11-18 📅 作成日 2021-11-04
143
mithril-security/blindai

セキュアエンクレーブによる機密AIデプロイメント :lock:

mithril-security
⭐ 512 Rust 👤 mithril-security Organization 🕐 更新日時 2024-03-19 📅 作成日 2022-02-06
144
vectorch-ai/ScaleLLM

大規模言語モデル向けの高性能推論システムで、本番環境向けに設計されています。

vectorch-ai
⭐ 502 C++ 👤 vectorch-ai Organization 🕐 更新日時 2025-12-19 📅 作成日 2023-07-24