#flash-attention リポジトリ
#flash-attentionのタグが付いた、GitHub上の48件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は156,291個で、プロジェクトあたりの平均は3,256個です。このトピックをリードしているのは、24,180個のスターを獲得しているdeepseek-ai/DeepSeek-OCRです。
リポジトリ合計48件
初心者向けの最新 CUDA 学習ノートをまとめたオープンソースの書籍 — BF16/FP8/FP4、HGEMM、CuTe、Flash-Attention など。
中国語LLaMA-2 & Alpaca-2大規模言語モデルフェーズII + 64K超長コンテキストモデル (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)
これは、興味深く最先端の技術的概念と原則を説明することに主に焦点を当てた、簡単な技術科普チュートリアルプロジェクトです。各記事は5分以内に読了できるように努めています。
📚Awesome LLM/VLM推論論文&コードの厳選リスト:Flash-Attention、Paged-Attention、WINT8/4、並列化など。🎉
Qwen3-ASRは、Alibaba Cloud の Qwen チームが開発したオープンソースの ASR モデルシリーズであり、安定した多言語音声/音楽/歌の認識、言語検出、タイムスタンプ予測をサポートします。
「Self Forcing: Bridging Training and Inference in Autoregressive Video Diffusion」(NeurIPS 2025 Spotlight)の公式コードベース
GitHub Actionsを使用してLinuxおよびWindowsでプレビルドされたflash-attention 2および3のパッケージホイールを提供する
SoulX-FlashTalk は、8xH800 ノードで 32 FPS のリアルタイムスループットを維持しつつ、1秒未満の起動遅延(0.87s)を達成した初の 14B モデルです。
cuDNN Frontendは、cuDNNライブラリへのNVIDIAのモダンなオープンソース・エントリーポイントであり、高性能なオープンソース・カーネルの成長を続けるコレクションです。
[ICML 2024 Best Paper] データ分布の比率を推定することによる離散拡散モデリング (https://arxiv.org/abs/2310.16834)
WeDLM: 標準的な因果的注意機構とネイティブなKVキャッシュ互換性を備えた最速の拡散言語モデルであり、vLLMで最適化されたベースラインと比較して真の高速化を実現します。
教師からタイルへ — ゼロから構築したLLM蒸留&サービングエンジン:カスタムTriton/CUDAカーネル、FSDP蒸留、ページングKV連続バッチ処理、投機的デコード、Rustゲートウェイ、JAXオラクル、解釈可能性ツール。
よくある質問
GitHubで最も人気のある#flash-attentionリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#flash-attentionプロジェクトは、24,180個のスターを獲得しているdeepseek-ai/DeepSeek-OCRです。光学圧縮コンテキスト
#flash-attentionリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#flash-attentionプロジェクトでは、Python, Cuda, TeX, C++が最も一般的なプログラミング言語です。
#flash-attentionリポジトリのランキングはどのように算出されていますか?
#flash-attentionのタグが付いた48件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は156,291個で、リポジトリあたりの平均は3,256個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。