#inference リポジトリ
#inferenceのタグが付いた、GitHub上の144件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は870,238個で、プロジェクトあたりの平均は6,043個です。このトピックをリードしているのは、97,302個のスターを獲得しているvllm-project/vllmです。
リポジトリ合計144件
NVIDIA® TensorRT™ は、NVIDIA GPU 上での高性能なディープラーニング推論のための SDK です。このリポジトリには TensorRT のオープンソース コンポーネントが含まれています。
リアルタイム物体検出のためのYOLOv3、YOLOv3-SPP、およびYOLOv3-tinyのPyTorch実装。トレーニング、検証、推論、およびマルチフォーマットのエクスポートをサポート。
言語、ビジョン、埋め込み、再ランキング、画像、音声、動画モデルに対応したオープンソースの推論プラットフォーム。複数のエンジンを使い、ノートPCから分散クラスターまで、異種ハードウェア環境にデプロイできます。OpenAI互換APIを通じてモデルを提供します。
Hello AI World: TensorRT と NVIDIA Jetson を使用したディープラーニング推論ネットワークおよびディープビジョンプリミティブのデプロイガイド。
Laya の型付き意思決定モデル向けネイティブ MLX ランタイム — M3 Max 上で短い意思決定を 7~14 ms で実行。テキスト生成、PyTorch、クラウド API は使用しません。
敵対的頑健性ツールボックス (ART) - 機械学習セキュリティのための Python ライブラリ - 回避、中毒、抽出、推論 - レッドチームとブルーチーム
cube studio オープンソース クラウドネイティブ ワンストップ 機械学習/深層学習/大規模AIプラットフォーム, MLOps アルゴリズムリンク全プロセス, 計算能力レンタルプラットフォーム, Notebook オンライン開発, ドラッグ&ドロップ タスクフローパイプラインオーケストレーション, マルチマシンマルチGPU分散学習, ハイパーパラメータ検索, 推論サービスVGPU仮想化, エッジコンピューティング, ラベリングプラットフォーム自動ラベリング, deepseekなどの大規模モデルsftファインチューニング/報酬モデル/強化学習、vllm/ollama/mindieなどの大規模モデルマルチマシン推論, プライベート知識ベース, AIモデルマーケット, 国産CPU/GPU/NPU 昇騰エコシステム対応, RDMA対応, pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcanoなどの分散対応
TNN: Tencent Youtu LabとGuangying Labによって開発された、モバイル、デスクトップ、サーバー用の統一されたディープラーニング推論フレームワークです。TNNは、クロスプラットフォーム機能、高性能、モデル圧縮、コードプルーニングなど、いくつかの優れた機能によって区別されます。ncnnとRapidnetに基づき、TNNはモバイルデバイスのサポートとパフォーマンス最適化をさらに強化し、既存のオープンソースの取り組みからの優れた拡張性と高性能という利点も取り入れています。
CPU(x64、AArch64、RISC-V)およびIntel GPU向けの、最適化されたディープラーニング演算(行列乗算、畳み込み、アテンション)のオープンソースライブラリ。PyTorch、TensorFlow、OpenVINO、ONNX Runtimeで使用されています。
CSGHubは、OpenCSGチームによって開発された、LLMを管理するためのまったく新しいオープンソースプラットフォームです。Hugging Faceに匹敵する機能を備えた、オープンソースおよびオンプレミス/SaaSソリューションの両方を提供します。Hugging FaceとのPython SDK互換性により、LLM、データセット、エージェントのライフサイクルを完全に制御します。ぜひご参加ください!⭐️
今お持ちのコンピューターで動画を作成できます。FreeVideoは、わずか8GBのVRAMと16GBのRAMでMiniMax H3を実行し、お使いのハードウェアに合わせてアクセラレーション経路を調整します。
使いやすいハードウェア最適化ツールで、🤗 Transformers、Diffusers、TIMM、Sentence Transformers の推論とトレーニングを高速化します
新卒採用、秋採用、春採用、インターンシップの良いプロジェクト! Llama2、Unet、Yolov5、Resnetなどの大規模モデルの推論をサポートする高性能ディープラーニング推論ライブラリをゼロから段階的に実装する方法を説明します。高性能ディープラーニング推論ライブラリを段階的に実装してください。
よくある質問
GitHubで最も人気のある#inferenceリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#inferenceプロジェクトは、97,302個のスターを獲得しているvllm-project/vllmです。LLM向けの高性能・メモリ効率の高い推論およびサービングエンジン
#inferenceリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#inferenceプロジェクトでは、Python, C++, TypeScript, Jupyter Notebookが最も一般的なプログラミング言語です。
#inferenceリポジトリのランキングはどのように算出されていますか?
#inferenceのタグが付いた144件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は870,238個で、リポジトリあたりの平均は6,043個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。