#multimodal 저장소
저장소 총 183개
WIT (Wikipedia-based Image Text) 데이터셋은 100개 이상의 언어에 걸쳐 11백만 개 이상의 고유 이미지와 37백만 개 이상의 이미지-텍스트 세트를 포함하는 대규모 멀티모달 다국어 데이터셋입니다.
[ICLR'24 spotlight] 중국어 및 영어 다중 모드 대형 모델 시리즈 (채팅 및 페인팅) | CPM 기본 모델 기반의 중국어-영어 이중 언어 다중 모드 대형 모델 시리즈
[ECCV 2024 우수 논문 후보 & TPAMI 2025] PointLLM: 대규모 언어 모델이 포인트 클라우드를 이해하도록 empowersd
텍스트, 이미지, 동영상을 지원하는 0.8B~27B 규모의 오픈 멀티모달 의사결정 모델입니다. 텍스트를 생성하는 대신 자체 후보에 확률을 부여해 판단하고, 바운딩 박스로 위치를 찾습니다. 무료 API, ONNX, GGUF, vLLM, SGLang을 지원하며 파인튜닝 코드도 포함되어 있습니다.
⚡ FastAPI, Playwright, OpenAI 호환 멀티모달 모델로 구축된 셀프 호스팅 가능한 YesCaptcha 호환 CAPTCHA 솔버.
정보 이 리포지토리는 가장 흥미롭고 영향력 있는 CVPR 2025 논문의 큐레이션된 모음입니다. 🔥 [Paper + Code + Demo]
로컬 모니터링 + AI 비전 — LAN 기반 스마트폰 구동 AI 모니터링 프레임워크, 데이터 수집 및 분석을 위한 구조화된 이벤트 출력.
Codex, Claude Code 및 기타 AI 에이전트에서 이미지가 많은 채팅을 위한 로컬 플러그인입니다. 이전 이미지는 메시지마다 전송되는 대신 짧은 플레이스홀더로 대체되고, 모델은 ID로 원본을 가져옵니다(압축 후에도 가능). 프롬프트 캐시도 계속 작동합니다.
멀티모달 및 대규모 언어 모델에 대한 논문 목록으로, 개인적인 요구를 위해 매일 arxiv에서 읽은 논문을 기록하는 데만 사용됩니다.
Paddle Multimodal Integration and eXploration은 엔드투엔드 대규모 멀티모달 사전 학습 모델 및 확산 모델 툴박스를 포함한 주류 멀티모달 작업을 지원합니다. 고성능 및 유연성을 갖추었습니다.
이 저장소에는 "VLM2Vec / MMEB"[ICLR 2025], "VLM2Vec-V2 / MMEB-V2"[TMLR 2026] 및 "MMEB-V3"[COLM 2026]의 코드가 포함되어 있습니다.
[ECCV 2024] InstructIR: 사람의 지시에 따른 고품질 이미지 복원 https://huggingface.co/spaces/marcosv/InstructIR
Second Brain은 운영 체제 역할을 하는 에이전트 프레임워크로, 로컬 파일 인텔리전스, 워크플로 자동화, 그리고 LLM을 사용하여 작업을 완료하고 여러 모달리티와 메시징 플랫폼을 통해 소통합니다.
호스트와 멀티모달 모델을 가리지 않고 사용할 수 있는 범용 홀로그램 카드 Agent Skill. 한 문장으로 드래그하고 회전할 수 있으며, 빛이 흐르고 레이어드 깊이감이 살아 있는 3D 카드 웹페이지를 생성합니다. 편집 가능한 Blender 프로젝트도 제공됩니다.
GGUF 모델을 위한 네이티브 .NET LLM 추론 엔진이자 에이전트 런타임입니다. TensorSharp는 콘솔 애플리케이션, 웹 기반 챗봇 인터페이스, iPhone 앱, 그리고 프로그래밍 방식으로 사용할 수 있는 Ollama/OpenAI 호환 HTTP API를 제공합니다. Windows, macOS, iOS 및 Linux를 지원하며 GPU 기능을 완벽하게 활용할 수 있습니다.