#llm-inference リポジトリ
リポジトリ合計202件
Qwen と Nemotron に最適化された、Apple Silicon 向けの超高速推論エンジン。OpenAI と Anthropic の API に対応。nace.ai のチームが開発。
無料の Kaggle TPU v5e-8 上で動作する最先端クラスのオープンモデル:GLM-5.3-Flash 320B MoE(約165 tok/s、独自の JAX エンジン使用)と Qwen3.8-27B bf16(約130 tok/s)。262k コンテキスト、プレフィックスキャッシュに対応。Claude Code、Codex、opencode、pi で利用できます。
オープンソースのローカルAI SDK — クラウドもAPIキーも不要で、デバイス上でAIを実行できます。GGUF、RAG、画像・音楽・動画生成、音声テキスト変換、P2P推論などに対応。クロスプラットフォーム:Linux、macOS、Windows、Android、iOS。
純粋な Rust + CUDA の LLM 推論エンジン — PyTorch 不要、OpenAI 互換、Qwen3 から Kimi-K2 まで対応
Apple Silicon上でLLMデコードを最大4倍高速化、ロスレス。DeepSeekのDSparkとz-labのDFlashによる投機的デコーディングのネイティブMLX移植版 — Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、LFM2.5、Ornith-1.0、三値のBonsai-27Bに対応。
LLM-PowerHouse: カスタムトレーニングと推論のための、厳選されたチュートリアル、ベストプラクティス、すぐに使えるコードを通じてLLMの可能性を解き放ちます。
USP: 長コンテキストトランスフォーマーモデルのトレーニングと推論のための統合(別名ハイブリッド、2D)シーケンス並列アテンション
105 GBのAIモデルを、モデル全体を保存できないMacで実行。Qwen3.8-Flash-Nextの4ビット版をSSDからストリーミングし、メモリ16~64 GBのApple Silicon搭載Macで動作します。Swift、MLX、Metalによる完全ネイティブ実装。オフラインで動作し、Pythonは不要。CLI、Swiftライブラリ、Ollama/OpenAI/Anthropic APIに対応。Claude CodeおよびCodexでも利用できます。
Rockchip NPU 向け Ollama 代替:Rockchip デバイス上で AI と深層学習モデルを効率的に実行するための最適化された NPU サポート付きソリューション (rkllm)
ブラウザから直接実行されるAIアシスタントを搭載したミニマルなウェブ検索プラットフォーム。デモ:https://felladrin-minisearch.hf.space
セルフホスト型AIエージェントOS。メモリ、チャット、エージェント、ファイルはすべて所有するハードウェア内に保持され、デフォルトでオフライン、必要に応じてクラウドを利用可能です。オフラインAIメモリ(taOSmd)、セルフホスト型マルチフレームワーク・グループチャット、フル機能のWebデスクトップ+アプリストア、そして既存のコンシューマーハードウェア(Orange/Raspberry Pi、Mac mini、ゲーミングPC)間での自動クラスタリング機能を備えています。
校招、秋招、春招、インターンシップの優良プロジェクト、ゼロからLlama2/3とQwen2.5をサポートする大規模モデル推論フレームワークの実装をお手伝いします。
RTX PRO 6000 / RTX 5090(sm_120)で動作する最先端MoEモデル:4基のRTX PRO 6000でのDeepSeek-V4.1-Flash、4基のRTX 5090でのGPU+CPUハイブリッド構成、およびvLLM v0.24.0での2ビットエキスパート
NVIDIA GPU上でStartLux-Decisionモデルを高速かつ正確に推論:公開されたGGUFファイルは、/v1/systemone API経由でint8および4ビットのTensor Core上で動作し、FP8ではvLLMより最大5.3倍低いレイテンシを実現し、回答はビット単位で完全に一致します。
Xolotl:DeepSeek-V4.1-Flashを552Bパラメータすべてで、1台のゲーミングPC(RTX 4090 + RAM 110 GB)上のローカルコーディングエージェントとして実行。エージェント時は約33 tok/s、高速モードでは約41 tok/s、コンテキスト長は512K。さらに、Inkling-2-Mini(Thinking Machines独自エンジン + MTPドラフター)、GLM-5.3-Flash、Qwen3.8、LFM3-Omniにも対応。MoEエキスパートをVRAM、RAM、NVMeに階層的に配置(Xolotl Direct)。OpenAI + Anthropic API。
Open Model Engine (OME) — LLM のサービング、GPU スケジューリング、モデルのライフサイクル管理を行う Kubernetes オペレーター。SGLang、vLLM、TensorRT-LLM、Triton に対応
KVキャッシュ、PagedAttention、連続バッチ処理から、vLLM、SGLang、GPUまで、LLM推論エンジニアリングを段階的に学びましょう。
KVarNは、エージェント向けのネイティブvLLM KVキャッシュ量子化バックエンドです。コンテキストを3~5倍に拡張し、FP16を上回るスループットとFP16レベルの精度を実現します。キャリブレーション不要、フラグ1つで利用できます。
AIを活用した調査や実験を設計・実施し、その結果を分析します。多数のAIエージェントと大規模言語モデルを用いて、社会科学研究や市場調査をシミュレーションします。