#inference-optimization リポジトリ
#inference-optimizationのタグが付いた、GitHub上の41件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は86,309個で、プロジェクトあたりの平均は2,105個です。このトピックをリードしているのは、12,902個のスターを獲得しているlllyasviel/stable-diffusion-webui-forgeです。
リポジトリ合計41件
[EMNLP'23, ACL'24] LLMの推論を高速化し、LLMの主要情報に対する認識を強化するために、プロンプトとKVキャッシュを圧縮し、パフォーマンスの低下を最小限に抑えながら最大20倍の圧縮を実現します。
実際に所有しているGPUで、大規模なQwenモデルを高速にサーブします。vLLMを使い、24 GBのカード1枚でQwen3.8-27Bを実行:単一ユーザーで127 tok/s(回答がプロンプトを引用する場合は381 tok/s)、64並列で約1,035 tok/s、コンテキスト長は150k~262k。vLLMのパッチ、再量子化パイプライン、ベンチマーク。
このリポジトリには、Google、Nvidia、Meta、Microsoft、Fortune 500企業などのトップ企業で出題されるLLM(大規模言語モデル)の面接問題が含まれています。
Raspberry Pi で TensorFlow の Object Detection API を設定する方法を示すチュートリアル
PyTorch、Triton、CUDAを使ってLLMのアルゴリズムとシステムを実践的に学習。『大規模言語モデルのアルゴリズムとシステム講座』では、モデルアーキテクチャと学習、事後学習、推論の高速化、性能と演算子の最適化を扱い、Notebook演習、解答解説、テスト、実験も用意しています。
Cline中国語ローカライズ版。Clineは、お客様のIDE内で動作する自律的なプログラミングアシスタントであり、お客様の許可を得てファイルの作成/編集、コマンドの実行、ブラウザの使用などの機能を提供します。
KVキャッシュ、PagedAttention、連続バッチ処理から、vLLM、SGLang、GPUまで、LLM推論エンジニアリングを段階的に学びましょう。
よくある質問
GitHubで最も人気のある#inference-optimizationリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#inference-optimizationプロジェクトは、12,902個のスターを獲得しているlllyasviel/stable-diffusion-webui-forgeです。
#inference-optimizationリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#inference-optimizationプロジェクトでは、Python, Jupyter Notebook, C++, Cが最も一般的なプログラミング言語です。
#inference-optimizationリポジトリのランキングはどのように算出されていますか?
#inference-optimizationのタグが付いた41件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は86,309個で、リポジトリあたりの平均は2,105個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。