#llm-inference リポジトリ
リポジトリ合計202件
AIインフラ知識とコード練習の共有:PyTorch、vLLM/SGLang、slime/vimeフレームワーク入門⚡️、パフォーマンス加速🚀、大規模モデルの基礎🧠、AIソフトウェアとハードウェア🔧など
Rapid-MLX は、Apple Silicon 向けのオープンソース(Apache 2.0)LLM 推論サーバーです。MLX を基盤とし、OpenAI および Anthropic と互換性があり、コーディングエージェント向けの信頼性の高いツール呼び出しに重点を置いています。同じ重みを使用した場合、Apple の MLX(mlx-lm)より最大 4 倍高速です。
GLM-5.3(744B)、DeepSeek-V4.1-Flash(748B)、MiniMax-M3.1-Flash(428B)、GLM-5.3-Flash(321B)、Hy4-Flash(220B)を自分のGPUで実行できます。8GBのVRAMから対応し、NVIDIAとAMDをサポート。1つのダッシュボードと、OpenAIおよびAnthropic互換APIを利用できます。
運用データベースにリアルタイム分析ノードを追加します。Spiceは、データに基づいたAIアプリやエージェントのための、Rustで構築されたポータブルで高速なSQLクエリ、検索、およびLLM推論エンジンです。
実際に所有しているGPUで、大規模なQwenモデルを高速にサーブします。vLLMを使い、24 GBのカード1枚でQwen3.8-27Bを実行:単一ユーザーで127 tok/s(回答がプロンプトを引用する場合は381 tok/s)、64並列で約1,035 tok/s、コンテキスト長は150k~262k。vLLMのパッチ、再量子化パイプライン、ベンチマーク。
MacでQwen 3.8 Flash Next、Qwen 3.8 27B、Ternary Bonsai 2 27Bを実行する最速の方法:M5 Max上のOpenCodeで125トークン/秒、16 GBのMacで27Bモデルを実行可能。Apple Silicon上でネイティブMTP投機的デコードに対応し、どの温度設定でも正確です。OpenAIおよびAnthropic互換のローカルサーバー。
ターミナル向けのオープンなコーディングエージェント。企業ではなくコミュニティの集合体によって構築されています。独自のモデルを持ち込み、コードを自分のマシンに保持し、誰にも縛られることはありません。
LLM推論に関するSGLang x Datawhale公式コース:推論を理解し、ゼロからミニSGLangを構築し、実際のSGLangソースコードを読んで、初めてのPRを提出しましょう。英語版と中国語版を提供しています。
O'Reilly AI Systems Performance Engineeringのためのコード、ラボ、リソース:GPU最適化、分散トレーニング、推論スケーリング、フルスタックチューニング。
PHPエコシステムのAgenticフレームワーク。本番環境に対応したAI駆動型アプリケーションを構築するためのものです。コンポーネント(LLM、ツール、ベクトルデータベース、メモリ)を、データやUIと対話するエージェントに接続します。
エージェント向けのローカルAIアプリおよび推論エンジン。オープンウェイトLLMをローカルで実行 — プライベート、PC上で100%オフライン。Discordに参加してください: https://discord.com/invite/8wGSsvmg4V
GPUまたはCPUで、どこからでも(Linux/Windows/Mac)Gradio UIを使用してLlama 2をローカルで実行します。生成エージェント/アプリに`llama2-wrapper`をローカルllama2バックエンドとして使用します。
PyTorch の ExecuTorch ランタイムを基盤とする、React Native 向けの高性能かつプライバシー重視のオンデバイス AI 推論ライブラリ