#edge-ai リポジトリ
リポジトリ合計84件
RAMの容量を超えるMoEモデルを実行。スマートフォン、ノートPC、エッジデバイスで最先端クラスのMoEを。ロスレスで、標準のllama.cpp上で動作。適応型ストリーミングオプティマイザー。あらゆるハードウェア、OS、モデル、量子化に対応し、ローカルのOpenAI互換サーバー経由で利用できます。
Kimi K3をCPU上でローカル実行します(測定実行時RAMは約55GB)。cPilot Runtimeを搭載したシングルファイルのLinux推論サーバーです。
jevos:JevおよびMicrosoft-Decision-1に代わるオープンソースの選択肢。ノートPCのCPU上で、確率付きのYes/No判定、選択、スコアリングを実行できます。
:zap: Yoloの低消費電力、超軽量ユニバーサルターゲット検出アルゴリズムに基づいており、パラメータはわずか250kで、スマートフォンのモバイル端末の速度は~300fps以上に達します。
AMD Ryzen™ AI ソフトウェアには、AMD Ryzen™ AI 搭載 PC での AI 推論を最適化および展開するためのツールとランタイムライブラリが含まれています。
sanoTTS(सानो はネパール語で「小さい」の意味):29万4,000~227万パラメーターのニューラル音声合成システム。3ドルのチップ上、ブラウザー内、またはPythonで動作し、低遅延ストリーミングに対応します。
Vui Nano — 実際の会話で学習した、小型で文脈認識に対応する音声合成モデル。アクティブパラメータは2億1,900万(合計3億500万)、Apache 2.0、音声クローンとストリーミングに対応し、CPU上で動作します(依存関係のないCビルド)。完全なリアルタイム音声アシスタントを同梱:WebRTC、ASR、ローカルLLM、OpenAI Realtime API互換。
EfficientSAM3 は、プログレッシブな知識蒸留により SAM3 を軽量でエッジフレンドリーなモデルに圧縮し、高速なプロンプト可能な概念セグメンテーションとトラッキングを実現します。
C++を使用してrk3588/3588sで実行されるyolov5sの簡単なデモ(約142フレーム/秒)。 / C++を使用してrk3588/3588sで実行されるyolov5sの簡単なデモ(約142フレーム/秒)。
Flutter向けオンデバイスAI — Gemmaやその他のLLM、マルチモーダル、関数呼び出し、埋め込み、RAG、音声に対応し、Android、iOS、Web、macOS、Windows、Linuxで利用可能。
AI-in-a-Boxは、Microsoftのグローバルな専門知識を活用して、技術コミュニティにAIおよびMLソリューションを開発・提供します。私たちの意図は、エンジニアがAI/ML環境とソリューションを迅速かつ最小限の労力で確立できるように、厳選されたソリューションアクセラレータのコレクションを提供することです。