#multimodal リポジトリ
リポジトリ合計183件
WIT(Wikipedia-based Image Text)Datasetは、100を超える言語で、1,100万を超えるユニークな画像と3,700万を超える画像とテキストのセットからなる、大規模なマルチモーダル多言語データセットです。
[ICLR'24 spotlight] 中国語・英語マルチモーダル大規模モデルシリーズ(チャットとペイント)| CPM基盤モデルに基づく中英バイリンガルマルチモーダル大規模モデルシリーズ
テキスト、画像、動画に対応した、0.8B~27Bのオープンなマルチモーダル意思決定モデル。テキストを生成する代わりに、独自の候補に確率を割り当てて判断し、バウンディングボックスで位置を特定します。無料API、ONNX、GGUF、vLLM、SGLangに対応。ファインチューニング用コードも付属。
⚡ FastAPI、Playwright、およびOpenAI互換のマルチモーダルモデルで構築された、セルフホスト可能なYesCaptcha互換CAPTCHAソルバー。
概要 このリポジトリは、最もエキサイティングで影響力のあるCVPR 2025の論文を厳選したコレクションです。🔥 [論文 + コード + デモ]
ローカル監視 + AI ビジョン — LAN ベースのスマートフォン駆動型 AI 監視フレームワーク。データ取得と分析のための構造化されたイベント出力。
Codex、Claude Code、その他の AI エージェントで画像の多いチャットを扱うためのローカルプラグインです。以前の画像はメッセージごとに送信される代わりに短いプレースホルダーに置き換えられ、モデルはその ID を使って元画像を取得できます(コンパクション後も可能)。プロンプトキャッシュも引き続き機能します。
マルチモーダルおよび大規模言語モデルに関する論文リスト。 個人のニーズのために、日常の arxiv で読んだ論文を記録するためだけに利用されます。
Paddle Multimodal Integration and eXplorationは、エンドツーエンドの大規模マルチモーダル事前学習モデルや拡散モデルツールボックスを含む、主流のマルチモーダルタスクをサポートします。高性能と柔軟性を備えています。
このリポジトリには、「VLM2Vec / MMEB」[ICLR 2025]、「VLM2Vec-V2 / MMEB-V2」[TMLR 2026]、「MMEB-V3」[COLM 2026]のコードが含まれています。
[ECCV 2024] InstructIR: 人間の指示に従った高品質画像復元 https://huggingface.co/spaces/marcosv/InstructIR
Second Brain は、エージェントフレームワークであり、オペレーティングシステムとして機能し、ローカルファイルインテリジェンス、ワークフロー自動化、および LLM を使用してタスクを完了し、複数のモダリティおよびメッセージングプラットフォームで通信します。
あらゆるホストやマルチモーダルモデルで使える、汎用ホログラムカード Agent Skill。ひと言から、ドラッグや回転ができ、光が流れ、奥行きにレイヤー感のある3DカードのWebページを生成。編集可能なBlenderプロジェクト付き。
GGUFモデル向けのネイティブ.NET LLM推論エンジンおよびエージェントランタイムです。TensorSharpは、コンソールアプリケーション、Webベースのチャットボットインターフェース、iPhoneアプリ、そしてプログラムからアクセス可能なOllama/OpenAI互換HTTP APIを提供します。Windows、macOS、iOS、Linuxをサポートし、GPUの機能を完全に活用できます。