#multimodal リポジトリ
リポジトリ合計183件
👁️ + 💬 + 🎧 = 🤖 トップ基盤モデルとマルチモーダルモデルのキュレーションリスト! [論文 + コード + 例 + チュートリアル]
このリポジトリは、OpenAIおよびHugging Faceモデルの力を活用して、LlamaIndex、Deep Lake、Pineconeを使用して生成AIのためのRetrieval Augmented Generation(RAG)コードを構築するためのプログラムを提供し、生成と評価に使用されます。
RAIは、Physical AIロボティクス向けのベンダー非依存のエージェントフレームワークで、ROS 2ツールを使用して複雑なアクション、定義されたシナリオ、自由なインターフェース実行、ログ要約、音声インタラクションなどを提供します。
このリポジトリには、「MMMU: Expert AGIのための大規模多分野マルチモーダル理解・推論ベンチマーク」という論文の評価コードが含まれています。
AIエージェントに目と耳、そして検証可能な成果を。Watch Skillは動画、音声、画面上のアクティビティを、検索可能でタイムスタンプ付きの証拠に変換し、モデルの主観ではなく決定論的な契約によって作業を証明します。DeepWatchはDeepSeek Harnessを基盤とするエージェント向けワークスペースです。Python + npm、MCP、CLI、REST、Webに対応。
DeepSeek Harness向けのシーン認識型ストーリーボード:番号付きのコマ9~16個を、タイムスタンプ、文字起こし、音声エンベロープとともに1枚の画像にまとめます(384トークン)。ツールはvideo_storyboardとvideo_zoomの2つです。
Flameは、UIデザインモックアップを高品質なReactコードに変換するために設計されたオープンソースのマルチモーダルAIシステムです。ビジョン言語モデリング、自動化されたデータ合成、構造化されたトレーニングワークフローを活用し、デザインとフロントエンド開発の間のギャップを埋めます。
「Break-A-Scene: Extracting Multiple Concepts from a Single Image」[SIGGRAPH Asia 2023] の公式実装