#quantization リポジトリ
リポジトリ合計109件
NVIDIA GPU上でStartLux-Decisionモデルを高速かつ正確に推論:公開されたGGUFファイルは、/v1/systemone API経由でint8および4ビットのTensor Core上で動作し、FP8ではvLLMより最大5.3倍低いレイテンシを実現し、回答はビット単位で完全に一致します。
教師からタイルへ — ゼロから構築したLLM蒸留&サービングエンジン:カスタムTriton/CUDAカーネル、FSDP蒸留、ページングKV連続バッチ処理、投機的デコード、Rustゲートウェイ、JAXオラクル、解釈可能性ツール。
Xolotl:DeepSeek-V4.1-Flashを552Bパラメータすべてで、1台のゲーミングPC(RTX 4090 + RAM 110 GB)上のローカルコーディングエージェントとして実行。エージェント時は約33 tok/s、高速モードでは約41 tok/s、コンテキスト長は512K。さらに、Inkling-2-Mini(Thinking Machines独自エンジン + MTPドラフター)、GLM-5.3-Flash、Qwen3.8、LFM3-Omniにも対応。MoEエキスパートをVRAM、RAM、NVMeに階層的に配置(Xolotl Direct)。OpenAI + Anthropic API。
量子化された最先端のビジョン・言語事前学習済みCLIPモデルとONNX Runtime推論エンジンを搭載した、Android上のオフラインセマンティック画像生成・画像間検索
KVarNは、エージェント向けのネイティブvLLM KVキャッシュ量子化バックエンドです。コンテキストを3~5倍に拡張し、FP16を上回るスループットとFP16レベルの精度を実現します。キャリブレーション不要、フラグ1つで利用できます。
完全無検閲・能力強化版の Qwen3.6-27B。統合コンテナ ghcr.io/aeon-7/aeon-vllm-ultimate:latest 上で NVFP4 + z-lab DFlash 推測デコーディング(n=12)を使用し、DGX Spark における長文コンテキストのドラフト受理率向けに調整。HF バリアント 6 種(BF16/NVFP4/MTP/MTP-XS)、docker-compose、QuickStart を提供。