#inference-engine リポジトリ
#inference-engineのタグが付いた、GitHub上の40件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は102,063個で、プロジェクトあたりの平均は2,551個です。このトピックをリードしているのは、21,367個のスターを獲得しているhuggingface/candleです。
リポジトリ合計40件
✍🏻 ソースコードの深掘り、システム設計、エンジニアリングブログ | Halfrost-Field 氷霜の地:ソースコード解析、システム設計、エンジニアリング実践ノート
2.78兆パラメータのKimi K3モデルが、8.24GBのRAMを搭載したシングルCPU上で推論を実行。ポータブルなC99実装:BLASなし、フレームワークなし、GPUなし。
FEDML - 大規模分散トレーニング、モデルサービング、フェデレーテッドラーニングのための、統合されたスケーラブルなMLライブラリ。クロス クラウド スケジューラであるFEDML Launchは、あらゆるGPUクラウドまたはオンプレミス クラスタで任意のAIジョブを実行できるようにします。このライブラリに基づいて構築されたTensorOpera AI (https://TensorOpera.ai) は、大規模な生成AIプラットフォームです。
新卒採用、秋採用、春採用、インターンシップの良いプロジェクト! Llama2、Unet、Yolov5、Resnetなどの大規模モデルの推論をサポートする高性能ディープラーニング推論ライブラリをゼロから段階的に実装する方法を説明します。高性能ディープラーニング推論ライブラリを段階的に実装してください。
MacでQwen 3.8 Flash Next、Qwen 3.8 27B、Ternary Bonsai 2 27Bを実行する最速の方法:M5 Max上のOpenCodeで125トークン/秒、16 GBのMacで27Bモデルを実行可能。Apple Silicon上でネイティブMTP投機的デコードに対応し、どの温度設定でも正確です。OpenAIおよびAnthropic互換のローカルサーバー。
LLM推論に関するSGLang x Datawhale公式コース:推論を理解し、ゼロからミニSGLangを構築し、実際のSGLangソースコードを読んで、初めてのPRを提出しましょう。英語版と中国語版を提供しています。
最先端APIのように動作するローカル推論:AMD Strix Halo上のQwen3.8-Flash-Nextと小型NPUモデルを、OpenAIおよびAnthropicのAPI経由で単一ポートから利用。
大規模な AI モデルを自分の PC で実行できます。Strata のエンジンでは Qwen3.8-Flash-Next を、PolyStrata 向けに開発された第 2 のエンジンでは GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder、MiniCPM-V を実行できます。Windows と Linux にワンクリックでインストールでき、localhost で OpenAI/Anthropic API を利用できます。
Qualcomm® AI Hub Modelsは、パフォーマンス(レイテンシ、メモリなど)が最適化され、Qualcomm®デバイスに展開できる最先端の機械学習モデルのコレクションです。
Paddle.jsは、ブラウザで実行されるオープンソースのディープラーニングフレームワークであるBaidu PaddlePaddleのWebプロジェクトです。Paddle.jsは、事前学習済みモデルをロードするか、Paddle.jsで提供されるモデル変換ツールを使用してpaddle-hubからモデルを変換することができます。WebGL/WebGPU/WebAssemblyをサポートするすべてのブラウザで実行できます。また、Baidu SmartprogramおよびWXミニプログラムでも実行できます。
Kimi K3をCPU上でローカル実行します(測定実行時RAMは約55GB)。cPilot Runtimeを搭載したシングルファイルのLinux推論サーバーです。
[MLSys'25] QServe: 効率的なLLMサービングのためのW4A8KV4量子化とシステムコデザイン; [MLSys'25] LServe: 統一されたスパースアテンションによる効率的な長シーケンスLLMサービング
純粋な Rust + CUDA の LLM 推論エンジン — PyTorch 不要、OpenAI 互換、Qwen3 から Kimi-K2 まで対応
Apple Silicon上でLLMデコードを最大4倍高速化、ロスレス。DeepSeekのDSparkとz-labのDFlashによる投機的デコーディングのネイティブMLX移植版 — Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、LFM2.5、Ornith-1.0、三値のBonsai-27Bに対応。
32 GBのノートPCでQwen3-Next-80B(48 GB)を37 tok/sで実行。ドラフトなしでは24 tok/sで、llama.cppの2.8 tok/sを上回ります。読み込み速度は62 tok/s対16 tok/s。Q4_K_Mで比較した13モデルすべてでllama.cppより高速。RAM容量を超えるLLMを、純粋なCでCPUまたはGPU上で実行。
GGUFモデル向けのネイティブ.NET LLM推論エンジンおよびエージェントランタイムです。TensorSharpは、コンソールアプリケーション、Webベースのチャットボットインターフェース、iPhoneアプリ、そしてプログラムからアクセス可能なOllama/OpenAI互換HTTP APIを提供します。Windows、macOS、iOS、Linuxをサポートし、GPUの機能を完全に活用できます。
105 GBのAIモデルを、モデル全体を保存できないMacで実行。Qwen3.8-Flash-Nextの4ビット版をSSDからストリーミングし、メモリ16~64 GBのApple Silicon搭載Macで動作します。Swift、MLX、Metalによる完全ネイティブ実装。オフラインで動作し、Pythonは不要。CLI、Swiftライブラリ、Ollama/OpenAI/Anthropic APIに対応。Claude CodeおよびCodexでも利用できます。
校招、秋招、春招、インターンシップの優良プロジェクト、ゼロからLlama2/3とQwen2.5をサポートする大規模モデル推論フレームワークの実装をお手伝いします。
NVIDIA GPU上でStartLux-Decisionモデルを高速かつ正確に推論:公開されたGGUFファイルは、/v1/systemone API経由でint8および4ビットのTensor Core上で動作し、FP8ではvLLMより最大5.3倍低いレイテンシを実現し、回答はビット単位で完全に一致します。
教師からタイルへ — ゼロから構築したLLM蒸留&サービングエンジン:カスタムTriton/CUDAカーネル、FSDP蒸留、ページングKV連続バッチ処理、投機的デコード、Rustゲートウェイ、JAXオラクル、解釈可能性ツール。
Intel デバイス向け推論エンジン。OpenAI エンドポイント経由で LLM、VLM、Whisper、Kokoro-TTS、Embedding、および Rerank モデルを提供します。
よくある質問
GitHubで最も人気のある#inference-engineリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#inference-engineプロジェクトは、21,367個のスターを獲得しているhuggingface/candleです。Rust のミニマリスト ML フレームワーク
#inference-engineリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#inference-engineプロジェクトでは、Python, C++, Rust, Goが最も一般的なプログラミング言語です。
#inference-engineリポジトリのランキングはどのように算出されていますか?
#inference-engineのタグが付いた40件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は102,063個で、リポジトリあたりの平均は2,551個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。