#multimodal 저장소
저장소 총 183개
InternLM-XComposer2.5-OmniLive: 장기 스트리밍 비디오 및 오디오 상호 작용을 위한 포괄적인 멀티모달 시스템
OFA(ICML 2022)의 공식 저장소. 논문: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
모델 양자화에 관한 논문, 벤치마크, 서베이 및 도구를 엄선한 모음으로, 저비트 네트워크, LLM, 멀티모달 및 생성 모델, 벡터 및 격자 양자화, 효율적인 배포를 다룹니다.
iPhone용 肉包 Roubao 2.0: 오픈 소스 iOS AI 에이전트로, 소유자 승인 기반 Micro-X UI 제어, 사용자 지정 모델, 재개 가능한 작업, PDF 보고서를 지원합니다. 실행 중에는 Wi-Fi, 탈옥, 컴퓨터 또는 추가 하드웨어가 필요하지 않습니다(설정 시 Mac과 USB 필요). 기존 Android 버전도 유지됩니다.
Claude(또는 모든 LLM)가 실제로 비디오를 시청하게 하세요 — 장면 인식, 중복 제거된 프레임 + 대본, URL 또는 로컬 파일에서. 로컬에서 실행, MIT 라이선스.
고급 문학 기계를 위한 독창적이고 혁신적인 아이디어 및 알고리즘 모음입니다. 이 프로젝트는 Alibaba Group의 Tongyi Lab 언어 기술 연구소 OCR 팀에서 유지 관리합니다.
WeMM-Embedding은 텐센트의 WeChat Vision 팀이 개발한 범용 멀티모달 임베딩 모델 제품군으로, 멀티모달 이해 및 검색을 지원합니다.
Claude에게 비디오를 시청하고 이해할 수 있는 능력을 부여하세요 — 프레임 추출 및 다중모달 오디오 분석이 포함된 Claude Code 플러그인
Xtreme1은 다중 모달 데이터 교육을 위한 올인원 데이터 레이블링 및 주석 플랫폼으로, 3D LiDAR 포인트 클라우드, 이미지 및 LLM을 지원합니다.
엄선된 200개 이상의 비전-언어 모델(VLM/MLLM) 아키텍처 시각 자료 카탈로그: 논문, 다이어그램, 학습 레시피, 데이터셋, 멀티모달 AI 에이전트의 출시 타임라인을 제공합니다.
텍스트만 처리하는 DeepSeek Harness 에이전트에 시각 기능 제공: 무료 비전 체인 내장(키 불필요) + 픽셀 수준의 비전 도구(Q&A, 그라운딩, 자르기, 픽셀 차이, 색상, OCR, SVG 트레이스, 누끼 따기, 스크린샷). 한 번의 명령으로 설치할 수 있고 Python이 필요 없으며, 이미지 턴도 일반적인 도구 호출 턴처럼 작동합니다.
텍스트 전용 모델이 이미지를 "볼" 수 있도록 더 나은 비전 도구 키트와 스킬을 설계하고, 다중 이미지 이해, 이미지 Q&A, 프론트엔드 UI 복원, GUI 자동화 등을 지원하며, 선택적으로 여러 주요 에이전트와 원활하게 통합하고, 붙여넣은 이미지를 직접 인식합니다 | 텍스트 전용 LLM을 위해 설계된 비전 도구 키트 및 스킬: 이미지 Q&A, 긴 스크린샷 OCR, 프론트엔드 UI 복원 및 GUI 자동화, Codex, Claude Code, Pi, Oh My Pi 및 OpenCode와의 선택적 원활한 통합