#vlm リポジトリ
リポジトリ合計89件
テキスト、画像、動画に対応した、0.8B~27Bのオープンなマルチモーダル意思決定モデル。テキストを生成する代わりに、独自の候補に確率を割り当てて判断し、バウンディングボックスで位置を特定します。無料API、ONNX、GGUF、vLLM、SGLangに対応。ファインチューニング用コードも付属。
MindSpore + 🤗Huggingface: Transformers/DiffusersモデルをMindSporeでシームレスな互換性と高速化を実現して実行します。
【新機能:エージェントモード】Android全シーンGPTアシスタント、音量キーで呼び出して音声対話可能、ネット接続、写真撮影、テンプレート、添付ファイル解析、エージェントモードなどをサポート | Android向けGPTアシスタント、音量キー起動で音声インタラクション、ネット接続、写真撮影、テンプレート、PDF・Office文書解析、エージェントモード対応。
NVIDIA GPUおよびKunlun XPU上で、LLM、VLM、拡散モデル、具現化モデルをトレーニングするための高性能フレームワークです。Pi0.5、GR00T-N1.7、FastWAM、Cosmos3、DreamZero、DeepSeek-V4、GLM-5.3、Kimi-K3などに対応しています。
[EMNLP 2026] MobileGym: モバイル GUI エージェント研究のための検証可能かつ高度に並行化されたシミュレーションプラットフォーム · ブラウザ上で動作する Android シミュレータ · 検証可能な評価 · スケーラブルなオンライン強化学習(RL)トレーニング
LLM/VLM、すなわち大規模モデルの時代におけるロボティクス分野に関連する3Dビジョン論文のキュレーションリスト。awesome-computer-visionに触発され、論文、コード、関連ウェブサイトを含む
[CVPR 2026🔥] 🧑🎨 OmniLottie、オープンソースの多モーダル指示付きベクトルアニメーション生成器で、Lottie JSON を生成します。
🚀🚀🚀大規模言語モデル(LLM)、ビジョン言語モデル(VLM)、ビジョン言語アクション(VLA)、AI生成コンテンツ(AIGC)に関する素晴らしい公開プロジェクトのコレクション、および関連するデータセットとアプリケーション。
このリポジトリには、「VLM2Vec / MMEB」[ICLR 2025]、「VLM2Vec-V2 / MMEB-V2」[TMLR 2026]、「MMEB-V3」[COLM 2026]のコードが含まれています。
自分自身の知能で進もう——llama.cppを直接統合し、Linux、macOS、Windows、WebAssembly上でハードウェアアクセラレーションを利用したローカル推論を行うGoアプリケーションを開発しましょう。
AI動画ナレーションAgentスキルパック:シーンを自動編集し、映像を見てナレーション原稿を作成、音声収録とミキシングを行って完成動画を生成。Jianying/CapCut用の下書きとして書き出し可能、GPU不要|ナレーション付き動画要約とCapCut下書きのためのAgentスキル
RAIは、Physical AIロボティクス向けのベンダー非依存のエージェントフレームワークで、ROS 2ツールを使用して複雑なアクション、定義されたシナリオ、自由なインターフェース実行、ログ要約、音声インタラクションなどを提供します。
ビジョン言語モデル用ComfyUIノード:Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V。さらに、オープンボキャブラリー検出、SAM2/SAM3セグメンテーション、動画の時間的推論、llama.cpp経由のGGUF、およびホスト型LLM/VLM APIに対応。
Flameは、UIデザインモックアップを高品質なReactコードに変換するために設計されたオープンソースのマルチモーダルAIシステムです。ビジョン言語モデリング、自動化されたデータ合成、構造化されたトレーニングワークフローを活用し、デザインとフロントエンド開発の間のギャップを埋めます。
[Awesome-Spatial-VLMs] このリポジトリは、調査論文「Spatial Intelligence in Vision-Language Models: A Comprehensive Survey」のための公式かつコミュニティによって管理されているリソースです。
🚀🚀🚀 このリポジトリは、CUDA、cuda-python、cuBLAS、cuDNN、CUTLASS、TensorRT、TensorRT-LLM、Triton、TVM、MLIR、PTX、およびハイパフォーマンスコンピューティング (HPC) に関する素晴らしい公開プロジェクトをリストアップしています。