#inference リポジトリ
リポジトリ合計144件
CubeStudioは、オープンソースのクラウドネイティブなオールインワンの機械学習/深層学習/大規模モデルAIプラットフォーム/MaaS/MLOps/人工知能プラットフォーム/訓練推論プラットフォームであり、アルゴリズムの全パイプライン、マルチテナント、計算能力レンタルプラットフォーム、トークン中継、ドラッグアンドドロップのタスクフローパイプラインオーケストレーション、マルチマシンマルチカード分散トレーニング、ハイパーパラメータ検索、推論サービス、VGPU仮想化、クラウドエッジデバイス連携、エッジコンピューティング、自動アノテーションプラットフォーム、DeepSeekなどの大規模モデルのSFTファインチューニング/報酬モデル/強化学習トレーニング、vLLM/Ollama/MindIEによる大規模モデルのマルチマシン推論、プライベート知識ベースLLMOpsエージェント、AIモデルマーケット、国産異種計算能力スケジューリング(昇騰、寒武紀、海光、モーアスレッド、沐曦など)のサポート、IB/RoCE/RDMAのサポート、信創サポートを提供します。
Apple Silicon向けのネイティブLLM推論サーバー。OpenAIおよびAnthropic APIに対応。Python不要。ZigバックエンドとSwiftフロントエンドを採用したmacOSアプリで、チャット、音楽、音声、動画の生成に対応。
異種 AI コンピューティングのための統合オーケストレーション層です。GPU クラウド、Kubernetes、仮想マシン、またはベアメタルクラスタ上で、コンピューティングリソースの管理と学習・推論の実行方法を標準化します。
0.8B〜27Bのオープンな意思決定モデル:1回の処理で各選択肢の確率を適切に較正して提示し、不確かな場合にのみ短い思考を示します。vLLM、llama.cpp、MLX向けエンジン。
🤗 Hugging Face Transformer モデル向けの、効率的でスケーラブル、エンタープライズグレードのCPU/GPU推論サーバー 🚀
AWS Trainium向けのオープンなLLM推論エンジン:NKIメガカーネル、100万トークンのコンテキスト、OpenAI互換API。RunAnywhere提供。
DELTAは、ディープラーニングベースの自然言語および音声処理プラットフォームです。LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/
CPUおよびGPUでのTransformer推論(Bert、Albert、GPT2、Decodersなど)のための、高速でユーザーフレンドリーなランタイム。
あらゆるハードウェアと量子化設定で、ローカルLLMのサービング速度(デコード、投機的デコード、プレフィル、KV、起動、TTFT)を段階的に最適化するエージェントスキル
Qualcomm® AI Hub Modelsは、パフォーマンス(レイテンシ、メモリなど)が最適化され、Qualcomm®デバイスに展開できる最先端の機械学習モデルのコレクションです。
グラフおよびペアワイズ設定での因果推論のためのパッケージ。グラフ構造の回復と依存関係のためのツールが含まれています。
Kubernetes上でAIワークロードをPythonで魔法のように分散・実行します。これはMLインフラストラクチャのためのPyTorchのようなものです。
CPUパフォーマンスエンジニアリングのための読書ガイド。1つの命令から本番環境での推論までを扱います。一次資料のみを使用し、各セクションに実行可能なベンチマークを用意しています。
ONNX Runtime を介して、オープンソースで Jev 互換の System-1 意思決定モデル Laya を Node.js / TypeScript から実行
RAMの容量を超えるMoEモデルを実行。スマートフォン、ノートPC、エッジデバイスで最先端クラスのMoEを。ロスレスで、標準のllama.cpp上で動作。適応型ストリーミングオプティマイザー。あらゆるハードウェア、OS、モデル、量子化に対応し、ローカルのOpenAI互換サーバー経由で利用できます。