#llm-inference リポジトリ
#llm-inferenceのタグが付いた、GitHub上の202件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は1,046,424個で、プロジェクトあたりの平均は5,180個です。このトピックをリードしているのは、104,417個のスターを獲得しているdeepseek-ai/DeepSeek-V3です。
リポジトリ合計202件
ローカルLLM向けのオープンソースデスクトップアプリ。テキスト、ビジョン、ツール呼び出し、OpenAI/Anthropic互換APIに対応。100%プライベート。
本プロジェクトは、大規模モデルに関連する技術原理と実践経験(大規模モデルのエンジニアリング、大規模モデルの応用)を共有することを目的としています。
2.78兆パラメータのKimi K3モデルが、8.24GBのRAMを搭載したシングルCPU上で推論を実行。ポータブルなC99実装:BLASなし、フレームワークなし、GPUなし。
『AIインフラを深く理解する:定量分析とシステム設計』(李博杰 著)、オープンソースの書籍原稿:ハードウェアの制約とモデルアーキテクチャを起点に、LLMの推論・学習システムの設計を定量的に導出します。書籍全文、PDF、関連する計算ツール、実験を収録。
Planoは、エージェント型アプリケーション向けのAIネイティブプロキシサーバーおよびデータプレーンです。スマートなLLMルーティング、可観測性、エージェントオーケストレーション、ガードレールにより、エージェントのコアロジックに集中できます。
これは、興味深く最先端の技術的概念と原則を説明することに主に焦点を当てた、簡単な技術科普チュートリアルプロジェクトです。各記事は5分以内に読了できるように努めています。
Lemonadeは、最適化されたLLMをユーザー自身のGPUやNPUから直接提供することで、ローカルAIアプリの発見と実行を支援します。ディスコードにご参加ください: https://discord.gg/5xXzkMu8Zk
⚡ 純 Rust 製 WebGPU 推論エンジン — OpenAI API 互換、GGUF ネイティブ対応、あらゆる GPU で動作。Python 不要。llama.cpp 不要。シングルバイナリ。
📚Awesome LLM/VLM推論論文&コードの厳選リスト:Flash-Attention、Paged-Attention、WINT8/4、並列化など。🎉
よくある質問
GitHubで最も人気のある#llm-inferenceリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#llm-inferenceプロジェクトは、104,417個のスターを獲得しているdeepseek-ai/DeepSeek-V3です。
#llm-inferenceリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#llm-inferenceプロジェクトでは、Python, C++, Rust, Goが最も一般的なプログラミング言語です。
#llm-inferenceリポジトリのランキングはどのように算出されていますか?
#llm-inferenceのタグが付いた202件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は1,046,424個で、リポジトリあたりの平均は5,180個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。