#vllm リポジトリ
リポジトリ合計134件
0.8B〜27Bのオープンな意思決定モデル:1回の処理で各選択肢の確率を適切に較正して提示し、不確かな場合にのみ短い思考を示します。vLLM、llama.cpp、MLX向けエンジン。
Apple Silicon 向けの高性能な OpenAI および Anthropic 互換 LLM 推論サーバー。ネイティブ MLX、継続的バッチ処理、マルチモーダルモデル、MCP ツール呼び出し、Claude Code サポート。
あらゆる LLM を Jev スタイルの意思決定モデルに変える:型付き意思決定、現実的な確率、トレーニング不要。(継続的に更新中。問題の報告や PR のリクエストを歓迎します)
オープンソースのAIコンピューター構成をご紹介。GPU 2基搭載のデスクトップから8基搭載のサーバーまで、CAD、部品表、BIOS設定、組み立てガイドを提供します。PCIeライザー付きケースキットをお求めいただくか、無料の適合確認をお問い合わせください。
HF、vLLM、SGLangを介して、Nvidia CUDA、AMD ROCm、Intel XPU、Tenstorrent、Huawei Ascend NPU、およびIntel/AMD/Apple CPUのハードウェアアクセラレーションに対応する、LLMモデルの量子化(圧縮)ツールキット。
Kubernetes 用 AI 推論オペレーター。本番環境で ML モデルを提供する最も簡単な方法。 VLM、LLM、埋め込み、音声テキスト変換をサポートします。
LLM推論のサービングと最適化のための、1日30分・10週間のロードマップ。vLLM、SGLang、量子化、推測デコーディング、ベンチマーク。
☁️ 企業レベルのAPIゲートウェイで、APIキーごとにコストまたはレート制限を監視および強制できます。ユーザー、アプリケーション、または環境ごとに詳細なアクセス制御と監視を取得します。OpenAI、Azure OpenAI、Anthropic、vLLM、およびオープンソースLLMをサポートします。
3.5Mに拡張可能なMemAgentフレームワークと、あらゆるエージェントワークフローのRLトレーニングのためのトレーニングフレームワーク。
テキスト、画像、動画に対応した、0.8B~27Bのオープンなマルチモーダル意思決定モデル。テキストを生成する代わりに、独自の候補に確率を割り当てて判断し、バウンディングボックスで位置を特定します。無料API、ONNX、GGUF、vLLM、SGLangに対応。ファインチューニング用コードも付属。
ローカル、オフライン(初期設定後)、ポータブルなOCRソフトウェアで、画像やPDFファイルを処理でき、DeepSeek-OCR-2 AI(お使いのマシン上で直接実行)を使用します。
Debian上で独自のローカルで完全にプライベートなLLMサーバーをセットアップするためのエンドツーエンドのドキュメント。チャット、Web検索、RAG、モデル管理、MCPサーバー、画像生成、TTSを備えています。
透明性、再現性、ユーザーによる制御を重視して構築された、AI搭載のデータ分析ワークベンチです。結果の根拠となるコードや証拠を確認し、再実行によって計算を検証できます。また、ローカルのオープンウェイトモデルを含む幅広いモデルから選択できます。
Tencent Hunyuan A13B(Hunyuan-A13Bと略称)は、きめ細かなMoEアーキテクチャ上に構築された革新的でオープンソースのLLMです。
無料の Kaggle TPU v5e-8 上で動作する最先端クラスのオープンモデル:GLM-5.3-Flash 320B MoE(約165 tok/s、独自の JAX エンジン使用)と Qwen3.8-27B bf16(約130 tok/s)。262k コンテキスト、プレフィックスキャッシュに対応。Claude Code、Codex、opencode、pi で利用できます。
Seed-Coderは、ByteDance Seedによって開発された、ベース、インストラクト、および推論モデルからなる軽量オープンソースコードLLMファミリーです。