Git Stars Git Stars

#quantization リポジトリ

109
リポジトリ総数
487,465
合計スター数
4,472
リポジトリあたりの平均スター数
プログラミング言語: Python C++ Kotlin JavaScript

リポジトリ合計109件

101
StartLuxLabs/StartLux-Prism

NVIDIA GPU上でStartLux-Decisionモデルを高速かつ正確に推論:公開されたGGUFファイルは、/v1/systemone API経由でint8および4ビットのTensor Core上で動作し、FP8ではvLLMより最大5.3倍低いレイテンシを実現し、回答はビット単位で完全に一致します。

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 更新日時 2026-10-27 📅 作成日 2026-10-13
102
zengxiao-he/tessera

教師からタイルへ — ゼロから構築したLLM蒸留&サービングエンジン:カスタムTriton/CUDAカーネル、FSDP蒸留、ページングKV連続バッチ処理、投機的デコード、Rustゲートウェイ、JAXオラクル、解釈可能性ツール。

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 更新日時 2026-10-09 📅 作成日 2026-06-05
103
Indras-Mirror/Xolotl

Xolotl:DeepSeek-V4.1-Flashを552Bパラメータすべてで、1台のゲーミングPC(RTX 4090 + RAM 110 GB)上のローカルコーディングエージェントとして実行。エージェント時は約33 tok/s、高速モードでは約41 tok/s、コンテキスト長は512K。さらに、Inkling-2-Mini(Thinking Machines独自エンジン + MTPドラフター)、GLM-5.3-Flash、Qwen3.8、LFM3-Omniにも対応。MoEエキスパートをVRAM、RAM、NVMeに階層的に配置(Xolotl Direct)。OpenAI + Anthropic API。

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 更新日時 2026-11-21 📅 作成日 2026-10-06
104
cedrickchee/awesome-ml-model-compression

素晴らしい機械学習モデル圧縮の研究論文、量子化、ツール、学習資料。

cedrickchee
⭐ 540 👤 cedrickchee User 🕐 更新日時 2024-09-21 📅 作成日 2018-12-06
105
NVlabs/qerl

[ICLR 2026] QeRLにより、単一のH100 GPUで32B LLMにRLを適用可能。

NVlabs
⭐ 527 Python 👤 NVlabs Organization 🕐 更新日時 2026-11-16 📅 作成日 2025-09-22
106
slavabarkov/tidy

量子化された最先端のビジョン・言語事前学習済みCLIPモデルとONNX Runtime推論エンジンを搭載した、Android上のオフラインセマンティック画像生成・画像間検索

slavabarkov
⭐ 525 Kotlin 👤 slavabarkov User 🕐 更新日時 2024-03-28 📅 作成日 2023-02-24
107
huawei-csl/KVarN

KVarNは、エージェント向けのネイティブvLLM KVキャッシュ量子化バックエンドです。コンテキストを3~5倍に拡張し、FP16を上回るスループットとFP16レベルの精度を実現します。キャリブレーション不要、フラグ1つで利用できます。

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 更新日時 2026-06-22 📅 作成日 2026-05-29
108
turboderp-org/exui

ExLlamaV2用Web UI

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 更新日時 2025-02-05 📅 作成日 2023-10-29
109
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

完全無検閲・能力強化版の Qwen3.6-27B。統合コンテナ ghcr.io/aeon-7/aeon-vllm-ultimate:latest 上で NVFP4 + z-lab DFlash 推測デコーディング(n=12)を使用し、DGX Spark における長文コンテキストのドラフト受理率向けに調整。HF バリアント 6 種(BF16/NVFP4/MTP/MTP-XS)、docker-compose、QuickStart を提供。

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 更新日時 2026-11-13 📅 作成日 2026-04-25