Git Stars Git Stars

#inference-engine リポジトリ

#inference-engineのタグが付いた、GitHub上の40件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は102,063個で、プロジェクトあたりの平均は2,551個です。このトピックをリードしているのは、21,367個のスターを獲得しているhuggingface/candleです。

40
リポジトリ総数
102,063
合計スター数
2,551
リポジトリあたりの平均スター数

リポジトリ合計40件

1
huggingface/candle

Rust のミニマリスト ML フレームワーク

huggingface
⭐ 21,367 Rust 👤 huggingface Organization 🕐 更新日時 2026-11-19 📅 作成日 2023-06-19
2
halfrost/Halfrost-Field

✍🏻 ソースコードの深掘り、システム設計、エンジニアリングブログ | Halfrost-Field 氷霜の地:ソースコード解析、システム設計、エンジニアリング実践ノート

halfrost
⭐ 13,259 Go 👤 halfrost User 🕐 更新日時 2026-11-10 📅 作成日 2017-04-02
3
FareedKhan-dev/kimi-k3-in-c

2.78兆パラメータのKimi K3モデルが、8.24GBのRAMを搭載したシングルCPU上で推論を実行。ポータブルなC99実装:BLASなし、フレームワークなし、GPUなし。

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 更新日時 2026-11-16 📅 作成日 2026-08-01
4
bbycroft/llm-viz

GPTスタイルのLLMの3Dビジュアライゼーション

bbycroft
⭐ 5,599 TypeScript 👤 bbycroft User 🕐 更新日時 2026-08-10 📅 作成日 2023-03-01
5
FedML-AI/FedML

FEDML - 大規模分散トレーニング、モデルサービング、フェデレーテッドラーニングのための、統合されたスケーラブルなMLライブラリ。クロス クラウド スケジューラであるFEDML Launchは、あらゆるGPUクラウドまたはオンプレミス クラスタで任意のAIジョブを実行できるようにします。このライブラリに基づいて構築されたTensorOpera AI (https://TensorOpera.ai) は、大規模な生成AIプラットフォームです。

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 更新日時 2026-11-12 📅 作成日 2020-07-21
6
zjhellofss/KuiperInfer

新卒採用、秋採用、春採用、インターンシップの良いプロジェクト! Llama2、Unet、Yolov5、Resnetなどの大規模モデルの推論をサポートする高性能ディープラーニング推論ライブラリをゼロから段階的に実装する方法を説明します。高性能ディープラーニング推論ライブラリを段階的に実装してください。

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 更新日時 2025-06-22 📅 作成日 2022-11-21
7
Luce-Org/lucebox

異種ハードウェアおよびコンシューマー向け GPU 用の Lucebox 推論エンジン

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-04-03
8
xdit-project/xDiT

xDiT: 大規模並列処理による拡散トランスフォーマー(DiT)のスケーラブルな推論エンジン

xdit-project
⭐ 2,755 Python 👤 xdit-project Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-03-19
9
youssofal/MTPLX

MacでQwen 3.8 Flash Next、Qwen 3.8 27B、Ternary Bonsai 2 27Bを実行する最速の方法:M5 Max上のOpenCodeで125トークン/秒、16 GBのMacで27Bモデルを実行可能。Apple Silicon上でネイティブMTP投機的デコードに対応し、どの温度設定でも正確です。OpenAIおよびAnthropic互換のローカルサーバー。

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 更新日時 2026-11-21 📅 作成日 2026-05-02
10
hyperjumptech/grule-rule-engine

Golang でのルールエンジンの実装

hyperjumptech
⭐ 2,539 Go 👤 hyperjumptech Organization 🕐 更新日時 2026-02-10 📅 作成日 2019-12-13
11
datawhalechina/zero-to-sglang

LLM推論に関するSGLang x Datawhale公式コース:推論を理解し、ゼロからミニSGLangを構築し、実際のSGLangソースコードを読んで、初めてのPRを提出しましょう。英語版と中国語版を提供しています。

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 更新日時 2026-11-17 📅 作成日 2026-08-27
12
ovg-project/kvcached

動的GPU共有と、その先を見据えた仮想化弾性KVキャッシュ

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 更新日時 2026-11-20 📅 作成日 2025-05-27
13
siliconflow/onediff

OneDiff:拡散モデルのためのすぐに使える高速化ライブラリ。

siliconflow
⭐ 1,961 Jupyter Notebook 👤 siliconflow Organization 🕐 更新日時 2025-12-04 📅 作成日 2022-09-21
14
dphnAI/sonar

大規模LLM推論エンジン

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 更新日時 2026-11-17 📅 作成日 2023-06-23
15
nobodywho-ooo/nobodywho

NobodyWho は、LLM をローカルで効率的に、あらゆるデバイス上で実行できるようにする推論エンジンです。

nobodywho-ooo
⭐ 1,699 Rust 👤 nobodywho-ooo Organization 🕐 更新日時 2026-11-19 📅 作成日 2024-09-03
16
xLLM-AI/xllm

多様なAIアクセラレーター向けに最適化された、LLM、VLM、DiTモデル用の高性能推論エンジンです。OpenAtom Foundationでホストされています。

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-08-12
17
peonist-ai/halogen-flash-server

最先端APIのように動作するローカル推論:AMD Strix Halo上のQwen3.8-Flash-Nextと小型NPUモデルを、OpenAIおよびAnthropicのAPI経由で単一ポートから利用。

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 更新日時 2026-11-18 📅 作成日 2026-08-26
18
simplexai-labs/PolyStrata

大規模な AI モデルを自分の PC で実行できます。Strata のエンジンでは Qwen3.8-Flash-Next を、PolyStrata 向けに開発された第 2 のエンジンでは GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder、MiniCPM-V を実行できます。Windows と Linux にワンクリックでインストールでき、localhost で OpenAI/Anthropic API を利用できます。

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 更新日時 2026-11-18 📅 作成日 2026-10-06
19
qualcomm/ai-hub-models

Qualcomm® AI Hub Modelsは、パフォーマンス(レイテンシ、メモリなど)が最適化され、Qualcomm®デバイスに展開できる最先端の機械学習モデルのコレクションです。

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-12-20
20
RainBowLuoCS/Gamer

Gamerの公式実装:長期的な時間軸で動作するリアルタイムゲームエージェント向け汎用視覚・言語・行動基盤モデル

RainBowLuoCS
⭐ 1,179 👤 RainBowLuoCS User 🕐 更新日時 2026-11-16 📅 作成日 2026-10-30
21
PaddlePaddle/Paddle.js

Paddle.jsは、ブラウザで実行されるオープンソースのディープラーニングフレームワークであるBaidu PaddlePaddleのWebプロジェクトです。Paddle.jsは、事前学習済みモデルをロードするか、Paddle.jsで提供されるモデル変換ツールを使用してpaddle-hubからモデルを変換することができます。WebGL/WebGPU/WebAssemblyをサポートするすべてのブラウザで実行できます。また、Baidu SmartprogramおよびWXミニプログラムでも実行できます。

PaddlePaddle
⭐ 1,071 JavaScript 👤 PaddlePaddle Organization 🕐 更新日時 2024-04-03 📅 作成日 2020-03-26
22
wangeai/K3Flight

Kimi K3をCPU上でローカル実行します(測定実行時RAMは約55GB)。cPilot Runtimeを搭載したシングルファイルのLinux推論サーバーです。

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 更新日時 2026-07-31 📅 作成日 2026-07-30
23
jjang-ai/mlxstudio

MLX Studio — MacでLLMを実行する最も簡単な方法。オールインワンエンジン。

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 更新日時 2026-11-07 📅 作成日 2026-03-05
24
zhihu/ZhiLight

Llama およびそのバリアント向けの高度に最適化された LLM 推論アクセラレーション エンジン。

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 更新日時 2026-03-18 📅 作成日 2024-12-06
25
insight-platform/Savant

すぐに使えるPythonコンピュータビジョン&ビデオ分析フレームワーク

insight-platform
⭐ 868 Python 👤 insight-platform Organization 🕐 更新日時 2026-09-23 📅 作成日 2022-05-07
26
mit-han-lab/omniserve

[MLSys'25] QServe: 効率的なLLMサービングのためのW4A8KV4量子化とシステムコデザイン; [MLSys'25] LServe: 統一されたスパースアテンションによる効率的な長シーケンスLLMサービング

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 更新日時 2025-03-06 📅 作成日 2024-05-06
27
pegainfer-project/pegainfer

純粋な Rust + CUDA の LLM 推論エンジン — PyTorch 不要、OpenAI 互換、Qwen3 から Kimi-K2 まで対応

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-02-17
28
ARahim3/mlx-dspark

Apple Silicon上でLLMデコードを最大4倍高速化、ロスレス。DeepSeekのDSparkとz-labのDFlashによる投機的デコーディングのネイティブMLX移植版 — Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、LFM2.5、Ornith-1.0、三値のBonsai-27Bに対応。

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 更新日時 2026-11-08 📅 作成日 2026-06-29
29
prabanta-dev/janas

32 GBのノートPCでQwen3-Next-80B(48 GB)を37 tok/sで実行。ドラフトなしでは24 tok/sで、llama.cppの2.8 tok/sを上回ります。読み込み速度は62 tok/s対16 tok/s。Q4_K_Mで比較した13モデルすべてでllama.cppより高速。RAM容量を超えるLLMを、純粋なCでCPUまたはGPU上で実行。

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-09-20
30
zhongkaifu/TensorSharp

GGUFモデル向けのネイティブ.NET LLM推論エンジンおよびエージェントランタイムです。TensorSharpは、コンソールアプリケーション、Webベースのチャットボットインターフェース、iPhoneアプリ、そしてプログラムからアクセス可能なOllama/OpenAI互換HTTP APIを提供します。Windows、macOS、iOS、Linuxをサポートし、GPUの機能を完全に活用できます。

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 更新日時 2026-11-20 📅 作成日 2026-04-03
31
carloslfu/slotstream

105 GBのAIモデルを、モデル全体を保存できないMacで実行。Qwen3.8-Flash-Nextの4ビット版をSSDからストリーミングし、メモリ16~64 GBのApple Silicon搭載Macで動作します。Swift、MLX、Metalによる完全ネイティブ実装。オフラインで動作し、Pythonは不要。CLI、Swiftライブラリ、Ollama/OpenAI/Anthropic APIに対応。Claude CodeおよびCodexでも利用できます。

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 更新日時 2026-11-17 📅 作成日 2026-08-28
32
andrewkchan/yalm

もう一つの言語モデル:C++/CUDAにおけるLLM推論、I/O以外のライブラリなし

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 更新日時 2025-09-13 📅 作成日 2024-10-02
33
pylint-dev/astroid

pylint および他のプロジェクトのための Python ソースコードの共通ベース表現

pylint-dev
⭐ 589 Python 👤 pylint-dev Organization 🕐 更新日時 2026-11-20 📅 作成日 2015-12-08
34
zjhellofss/KuiperLLama

校招、秋招、春招、インターンシップの優良プロジェクト、ゼロからLlama2/3とQwen2.5をサポートする大規模モデル推論フレームワークの実装をお手伝いします。

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 更新日時 2025-10-28 📅 作成日 2024-04-25
35
StartLuxLabs/StartLux-Prism

NVIDIA GPU上でStartLux-Decisionモデルを高速かつ正確に推論:公開されたGGUFファイルは、/v1/systemone API経由でint8および4ビットのTensor Core上で動作し、FP8ではvLLMより最大5.3倍低いレイテンシを実現し、回答はビット単位で完全に一致します。

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 更新日時 2026-10-27 📅 作成日 2026-10-13
36
zengxiao-he/tessera

教師からタイルへ — ゼロから構築したLLM蒸留&サービングエンジン:カスタムTriton/CUDAカーネル、FSDP蒸留、ページングKV連続バッチ処理、投機的デコード、Rustゲートウェイ、JAXオラクル、解釈可能性ツール。

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 更新日時 2026-10-09 📅 作成日 2026-06-05
37
SearchSavior/OpenArc

Intel デバイス向け推論エンジン。OpenAI エンドポイント経由で LLM、VLM、Whisper、Kokoro-TTS、Embedding、および Rerank モデルを提供します。

SearchSavior
⭐ 551 Python 👤 SearchSavior User 🕐 更新日時 2026-11-21 📅 作成日 2025-02-11
38
OmniJev/Flide

🔥🔥 意思決定モデル向けの超高速推論エンジン

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-10-24
39
Generated-Computers/Locals

Macで複数のAIエージェントを同時に実行。最大3倍高速。

Generated-Computers
⭐ 538 Python 👤 Generated-Computers Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-10-12
40
brontoguana/krasis

Krasisは、VRAMが制限されたコンシューマー向けハードウェア上で大規模モデルを効率的に実行することに重点を置いたハイブリッドLLMランタイムです

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 更新日時 2026-11-12 📅 作成日 2026-02-09

よくある質問

1

GitHubで最も人気のある#inference-engineリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#inference-engineプロジェクトは、21,367個のスターを獲得しているhuggingface/candleです。Rust のミニマリスト ML フレームワーク

2

#inference-engineリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#inference-engineプロジェクトでは、Python, C++, Rust, Goが最も一般的なプログラミング言語です。

3

#inference-engineリポジトリのランキングはどのように算出されていますか?

#inference-engineのタグが付いた40件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は102,063個で、リポジトリあたりの平均は2,551個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。