#quantization リポジトリ
リポジトリ合計109件
30B~284BのMoEモデル向け、GPU不要のCPU推論(Qwen3.8 176.5Bは28.26/48.35 GiBのCgroup v2コールドキャッシュ環境で認証済み、DeepSeek-V4 284B、Nemotron-30B)+RouteCrack 2.0。
生画像からリアルタイム推論まで、コンピュータービジョンモデルをローカルで構築、学習、最適化、実行できます。オープンソースで、Intel® XPU 向けに最適化されています(CUDA にも対応)。
HF、vLLM、SGLangを介して、Nvidia CUDA、AMD ROCm、Intel XPU、Tenstorrent、Huawei Ascend NPU、およびIntel/AMD/Apple CPUのハードウェアアクセラレーションに対応する、LLMモデルの量子化(圧縮)ツールキット。
Z80-μLM は、8ビットの Z80 プロセッサで動作できるほど小さい、2ビット量子化言語モデルです。Python で対話モデルを訓練し、CP/M .COM バイナリとしてエクスポートし、あなたのビンテージコンピュータとチャットしましょう。
幻覚を最小限に抑える本番対応RAGシステム構築のためのブループリント。切り替え可能な3ステップ(速度)および4ステップ(精度)パイプラインを特徴とします。
ONNXファイルをLiteRT/TFLite/TensorFlow、PyTorchネイティブコード(nn.Module)、TorchScript(.pt)、state_dict(.pt)、Exported Program(.pt2)、Dynamo ONNXに変換するためのツールです。また、LiteRTからPyTorchへの直接変換もサポートしています。
[NeurIPS 2020] MCUNet: IoTデバイス上の超小型ディープラーニング; [NeurIPS 2021] MCUNetV2: 超小型ディープラーニングのためのメモリ効率的なパッチベース推論; [NeurIPS 2022] MCUNetV3: 256KB未満のメモリでデバイス上トレーニング
AMD Ryzen™ AI ソフトウェアには、AMD Ryzen™ AI 搭載 PC での AI 推論を最適化および展開するためのツールとランタイムライブラリが含まれています。
ICML 2023の論文「SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot」のコード。
[MLSys'25] QServe: 効率的なLLMサービングのためのW4A8KV4量子化とシステムコデザイン; [MLSys'25] LServe: 統一されたスパースアテンションによる効率的な長シーケンスLLMサービング
PyTorch、Triton、CUDAを使ってLLMのアルゴリズムとシステムを実践的に学習。『大規模言語モデルのアルゴリズムとシステム講座』では、モデルアーキテクチャと学習、事後学習、推論の高速化、性能と演算子の最適化を扱い、Notebook演習、解答解説、テスト、実験も用意しています。
32 GBのノートPCでQwen3-Next-80B(48 GB)を37 tok/sで実行。ドラフトなしでは24 tok/sで、llama.cppの2.8 tok/sを上回ります。読み込み速度は62 tok/s対16 tok/s。Q4_K_Mで比較した13モデルすべてでllama.cppより高速。RAM容量を超えるLLMを、純粋なCでCPUまたはGPU上で実行。
AI秋採用向けのバイリンガル(中国語+英語)ML / LLM / diffusion / agent面接チートシート――ARIS /interview-cheatsheetで生成し、/render-htmlでどこでも読める単一ファイルHTMLに変換――に加え、CV→DBLPで事実確認した学術ホームページ生成器と、本人執筆の長文ブログ 🌱
大規模言語モデル(LLM)の推論を分析します。ユーザーフレンドリーなインターフェイスで、計算、ストレージ、伝送、およびハードウェアのルーフラインモデルなどの側面を分析します。