#inference-acceleration リポジトリ
#inference-accelerationのタグが付いた、GitHub上の14件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は24,811個で、プロジェクトあたりの平均は1,772個です。このトピックをリードしているのは、6,461個のスターを獲得しているopenai/consistency_modelsです。
リポジトリ合計14件
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention は、FlashAttention と比較して 2~5 倍の高速化を達成し、言語、画像、動画モデル全体の評価指標(エンドツーエンドメトリクス)を損なうことはありません。
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Long-context LLMの推論を高速化するために、近似的かつ動的なスパース計算によりアテンションを計算し、A100でのプリフィルにおいて推論レイテンシを最大10倍削減し、精度を維持します。
[ECCV 2024 口頭発表] 論文コード: レイヤー 2 の後、画像は 1/2 トークンに値する: 大規模視覚言語モデルのためのプラグアンドプレイ推論アクセラレーション
よくある質問
GitHubで最も人気のある#inference-accelerationリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#inference-accelerationプロジェクトは、6,461個のスターを獲得しているopenai/consistency_modelsです。整合モデルの公式リポジトリ。
#inference-accelerationリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#inference-accelerationプロジェクトでは、Python, Cudaが最も一般的なプログラミング言語です。
#inference-accelerationリポジトリのランキングはどのように算出されていますか?
#inference-accelerationのタグが付いた14件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は24,811個で、リポジトリあたりの平均は1,772個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。