#multimodal リポジトリ
リポジトリ合計183件
InternLM-XComposer2.5-OmniLive:長期ストリーミングビデオおよびオーディオインタラクションのための包括的なマルチモーダルシステム
OFA (ICML 2022) の公式リポジトリ。論文:OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
モデル量子化に関する論文、ベンチマーク、サーベイ、ツールを厳選してまとめたコレクション。低ビットネットワーク、LLM、マルチモーダルモデルおよび生成モデル、ベクトル量子化と格子量子化、効率的なデプロイを扱います。
iPhone向け肉包 Roubao 2.0:オープンソースのiOS AIエージェント。所有者の許可に基づくMicro-X UI制御、カスタムモデル、中断後に再開できるタスク、PDFレポートに対応。実行時にWi-Fi、脱獄、コンピューター、追加のハードウェアは不要(セットアップにはMacとUSBが必要)。旧Android版も引き続き提供。
Claude(または任意のLLM)に実際に動画を視聴させる — シーン認識、重複除去されたフレーム+トランスクリプト、URLまたはローカルファイルから。ローカルで実行、MITライセンス。
高度な文学機械に向けた、オリジナルで革新的なアイデアとアルゴリズムのコレクション。このプロジェクトは、Alibaba GroupのTongyi LabのLanguage Technology LabのOCRチームによって維持されています。
WeMM-Embeddingは、テンセントのWeChat Visionチームが開発した汎用マルチモーダル埋め込みモデルファミリーであり、マルチモーダルな理解と検索をサポートしています。
Claudeに動画を視聴し理解する能力を付与する — フレーム抽出とマルチモーダル音声分析を備えたClaude Codeプラグイン
Xtreme1は、マルチモーダルデータトレーニング用のオールインワンデータラベリングおよびアノテーションプラットフォームであり、3D LiDARポイントクラウド、画像、LLMをサポートしています。
200種類以上の視覚言語モデル(VLM/MLLM)アーキテクチャを厳選したビジュアルカタログ。論文、図解、学習レシピ、データセットに加え、マルチモーダルAIエージェントのリリース年表を掲載。
テキストのみで動作する DeepSeek Harness エージェントに視覚機能を追加:無料のビジョンチェーンを内蔵(キー不要)+ピクセルレベルのビジョンツール(Q&A、グラウンディング、トリミング、ピクセル差分、色、OCR、SVG トレース、切り抜き、スクリーンショット)。ワンコマンドでインストールでき、Python は不要。画像ターンも通常のツール呼び出しターンと同じように動作します。
テキストのみのモデルが画像を「見る」ためのより良いビジョンツールキットとスキルを設計し、複数画像の理解、画像Q&A、フロントエンドUIの復元、GUI自動化などをサポートし、オプションで複数の主流エージェントとシームレスに統合し、貼り付け画像を直接認識します | テキストのみのLLM向けに設計されたビジョンツールキットとスキル:画像Q&A、長いスクリーンショットのOCR、フロントエンドUIの復元、GUI自動化、Codex、Claude Code、Pi、Oh My Pi、OpenCodeとのオプションのシームレス統合