#cuda リポジトリ
リポジトリ合計325件
Rust 向けの NVIDIA CUDA プラットフォーム。ホスト側ランタイムクレートに加え、イディオマティックな Rust で実装された Tile(cutile-rs)および SIMT(cuda-oxide)カーネルプログラミングモデルを提供します。
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention は、FlashAttention と比較して 2~5 倍の高速化を達成し、言語、画像、動画モデル全体の評価指標(エンドツーエンドメトリクス)を損なうことはありません。
セルフホスト型、ローカル専用NVRおよびAIコンピュータビジョンソフトウェア。オブジェクト検出、モーション検出、顔認識などの機能により、自宅、オフィス、または監視したいその他の場所を監視する力を与えます。
Hopper、Ada、Blackwell GPUで8ビットおよび4ビット浮動小数点(FP8およびFP4)精度を使用し、トレーニングと推論の両方でメモリ使用量を削減しながらパフォーマンスを向上させるための、NVIDIA GPU上でのTransformerモデルを高速化するためのライブラリ。
LYGIAは、パフォーマンスと柔軟性のために設計された、粒度の細かい多言語(GLSL、HLSL、Metal、WGSL、WEGL、CUDA)シェーダーライブラリです。
GLM-5.3(744B)、DeepSeek-V4.1-Flash(748B)、MiniMax-M3.1-Flash(428B)、GLM-5.3-Flash(321B)、Hy4-Flash(220B)を自分のGPUで実行できます。8GBのVRAMから対応し、NVIDIAとAMDをサポート。1つのダッシュボードと、OpenAIおよびAnthropic互換APIを利用できます。
RamaLamaは、あらゆるソースからのAIモデルのローカル提供を簡素化し、コンテナという使い慣れた言語を通じて、本番環境での推論での使用を容易にするオープンソース開発ツールです。
実際に所有しているGPUで、大規模なQwenモデルを高速にサーブします。vLLMを使い、24 GBのカード1枚でQwen3.8-27Bを実行:単一ユーザーで127 tok/s(回答がプロンプトを引用する場合は381 tok/s)、64並列で約1,035 tok/s、コンテキスト長は150k~262k。vLLMのパッチ、再量子化パイプライン、ベンチマーク。
編集可能な楽譜付きのローカルAIソング生成ツール — GPUで動くYuE2。ボーカル入りのフル楽曲、楽譜、カバーを生成し、正確に再生できます。Windowsネイティブアプリ、Python不要、自動更新対応インストーラー。
LLM推論に関するSGLang x Datawhale公式コース:推論を理解し、ゼロからミニSGLangを構築し、実際のSGLangソースコードを読んで、初めてのPRを提出しましょう。英語版と中国語版を提供しています。
多くの研究により、ディープラーニングのパフォーマンスはトレーニングデータの量に大きく影響されることが示されています。MedicalNetプロジェクトは、一連の3D-ResNet事前学習済みモデルと関連コードを提供します。
label-smooth, amsoftmax, partial-fc, focal-loss, triplet-loss, lovasz-softmax。おそらく役立つ
ICLR 2023論文「GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers」のコード。
CrossGL IRを介して、GLSL、HLSL、Metal、SPIR-V、Slang、CUDA、HIP間でGPUシェーダーと計算カーネルを変換し、WGSLへの変換にも対応します
llama.cpp の Node.js バインディングを使用して、ローカルマシンで AI モデルを実行します。生成レベルでモデル出力に JSON スキーマを強制します。