#inference リポジトリ
リポジトリ合計144件
PyTritonは、Python環境でのTritonのデプロイメントを簡素化するFlask/FastAPIライクなインターフェースです。
⚡ Apple Silicon向けネイティブMLX Swift LLM推論サーバー。OpenAI互換API、100B+ MoEモデル向けSSDストリーミング、TurboQuant KVキャッシュ圧縮、MACOS + iOS iPhoneアプリ。
AI生産性ツール – 無料かつオープンソースで、ユーザーの生産性を向上させ、プライバシーとデータセキュリティを保護します。組み込みのローカル専用ChatGPT、DeepSeek、Phi、Qwenなどのモデル、画像、ビデオ、オーディオなどのワンクリックバッチインテリジェント処理が含まれますが、これらに限定されません。
純粋な Rust + CUDA の LLM 推論エンジン — PyTorch 不要、OpenAI 互換、Qwen3 から Kimi-K2 まで対応
yolortは、tensorrt、libtorch、onnxruntime、tvm、ncnnなどの特殊なアクセラレータ上でyolov5を実行するためのランタイムスタックです。
Intel® AI Reference Models: Intel® Xeon® Scalable プロセッサおよび Intel® Data Center GPU でディープラーニングのワークロードを実行するための Intel 最適化が含まれています
Privacy Meter: 統計および機械学習アルゴリズムにおけるデータプライバシーを監査するためのオープンソースライブラリ。
Graph Data Science: Pandas、NetworkX、RAPIDS、RDFlib、pySHACL、PyVis、morph-kgc、pslpython、pyarrow などの一般的なグラフライブラリと統合された、知識グラフ構築のための Python の抽象化レイヤーです。
Ollama:古典的MLモデル用。XGBoost、LightGBM、scikit-learn、CatBoost、ONNXモデルをネイティブC99推論コードに変換するAOTコンパイラ。ロード1コマンド、サーブ1コマンド。Python推論の336倍高速。
GGUFモデル向けのネイティブ.NET LLM推論エンジンおよびエージェントランタイムです。TensorSharpは、コンソールアプリケーション、Webベースのチャットボットインターフェース、iPhoneアプリ、そしてプログラムからアクセス可能なOllama/OpenAI互換HTTP APIを提供します。Windows、macOS、iOS、Linuxをサポートし、GPUの機能を完全に活用できます。
Deep Learning Streamer (DL Streamer) パイプラインフレームワークは、GStreamer* マルチメディアフレームワークに基づいたオープンソースのストリーミングメディア分析フレームワークであり、クラウドまたはエッジで複雑なメディア分析パイプラインを作成するために使用されます。
llama3 の推論ステップを段階的に実行し、コアコンセプトを把握し、プロセス導出をマスターし、コードを実装します。
このリポジトリには LipGAN のコードが含まれています。LipGAN は「Towards Automatic Face-to-Face Translation」というタイトルの論文の一部として公開されました。
sparkrun — NVIDIA DGX Spark システム上で LLM 推論ワークロードを起動、管理、停止します。ライブサポート:https://discord.com/invite/GH5kRgv6ZD
Triton Model Analyzer は、Triton Inference Server モデルの計算およびメモリ要件をよりよく理解するのに役立つ CLI ツールです。