Git Stars Git Stars

#vision-language-model 仓库

探索 82 个标记为 #vision-language-model 的活跃开源 GitHub 仓库,它们累计获得 263,383 个 Star(平均每个项目 3,211 个)。该主题的领先项目是 haotian-liu/LLaVA,拥有 24,232 个 Star。

82
仓库总数
263,383
总星标数
3,211
平均每个仓库星标数
1
haotian-liu/LLaVA

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) 致力于实现 GPT-4V 级别乃至更高级别的能力。

haotian-liu
⭐ 24,232 Python 👤 haotian-liu User 🕐 已更新 2024-08-12 📅 创建时间 2023-04-17
2
datalab-to/surya

OCR,版面分析,阅读顺序,90多种语言的表格识别

datalab-to
⭐ 21,608 Python 👤 datalab-to Organization 🕐 已更新 2026-11-13 📅 创建时间 2024-01-10
3
QwenLM/Qwen3-VL

Qwen3-VL 是阿里云Qwen团队开发的系列多模态大语言模型。

QwenLM
⭐ 20,240 Jupyter Notebook 👤 QwenLM Organization 🕐 已更新 2026-01-30 📅 创建时间 2024-08-29
4
datalab-to/chandra

能够处理具有完整布局的复杂表格、表单和手写体的OCR模型。

datalab-to
⭐ 12,741 Python 👤 datalab-to Organization 🕐 已更新 2026-11-16 📅 创建时间 2025-10-08
5
CVHub520/X-AnyLabeling

X-AnyLabeling:一款轻量、高效、统一的跨平台桌面应用程序,可用于标注文本、图像、视频、点云和多模态数据。它融合了功能多样的内置工具、先进的 AI 模型,并支持灵活导出为多种格式。

CVHub520
⭐ 11,004 Python 👤 CVHub520 User 🕐 已更新 2026-11-18 📅 创建时间 2023-05-23
6
m87-labs/moondream

微小视觉语言模型

m87-labs
⭐ 10,167 Python 👤 m87-labs Organization 🕐 已更新 2026-04-20 📅 创建时间 2023-12-29
7
OpenGVLab/InternVL

[CVPR 2024 Oral] InternVL Family: GPT-4o 的开创性开源替代方案。接近 GPT-4o 表现的开源多模态对话模型

OpenGVLab
⭐ 10,160 Python 👤 OpenGVLab Organization 🕐 已更新 2025-09-22 📅 创建时间 2023-11-22
8
studio-dots-ai/dots.ocr

单一视觉语言模型中的多语言文档布局解析

studio-dots-ai
⭐ 9,236 Python 👤 studio-dots-ai Organization 🕐 已更新 2026-03-24 📅 创建时间 2025-07-30
9
jingyaogong/minimind-v

👀 仅用 2 小时从头训练一个拥有 6500 万参数的 VLM!

jingyaogong
⭐ 8,868 Python 👤 jingyaogong User 🕐 已更新 2026-10-27 📅 创建时间 2024-09-11
10
Ucas-HaoranWei/GOT-OCR2.0

通用OCR理论的官方代码实现:通过统一的端到端模型迈向OCR-2.0

Ucas-HaoranWei
⭐ 8,133 Python 👤 Ucas-HaoranWei User 🕐 已更新 2025-02-10 📅 创建时间 2024-09-02
11
QwenLM/Qwen-VL

Alibaba Cloud 提出的 Qwen-VL (通义千问-VL) 聊天与预训练大型视觉语言模型的官方存储库。

QwenLM
⭐ 6,453 Python 👤 QwenLM Organization 🕐 已更新 2024-08-07 📅 创建时间 2023-08-21
12
ByteDance-Seed/Bagel

开源统一多模态模型

ByteDance-Seed
⭐ 6,223 Python 👤 ByteDance-Seed Organization 🕐 已更新 2026-05-04 📅 创建时间 2025-04-17
13
Neywa-Labs/mlx-vlm

MLX-VLM 是一个使用 MLX 在您的 Mac 上进行 Vision Language Models (VLM) 推理和微调的软件包。

Neywa-Labs
⭐ 5,886 Python 👤 Neywa-Labs Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-04-16
14
volcengine/MineContext

MineContext 是您主动的、具备上下文感知能力的 AI 合作伙伴(上下文工程+ChatGPT Pulse)

volcengine
⭐ 5,553 Python 👤 volcengine Organization 🕐 已更新 2026-05-07 📅 创建时间 2025-06-24
15
deepseek-ai/DeepSeek-VL2

DeepSeek-VL2:用于高级多模态理解的专家混合视觉-语言模型

deepseek-ai
⭐ 5,297 Python 👤 deepseek-ai Organization 🕐 已更新 2025-02-26 📅 创建时间 2024-12-13
16
PKU-Alignment/align-anything

Align Anything:通过反馈训练全模态模型

PKU-Alignment
⭐ 4,669 Python 👤 PKU-Alignment Organization 🕐 已更新 2025-11-27 📅 创建时间 2024-07-14
17
EvolvingLMMs-Lab/lmms-eval

文本、图像、视频和音频任务的“统一评估”多模态工具包

EvolvingLMMs-Lab
⭐ 4,501 Python 👤 EvolvingLMMs-Lab Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-03-07
18
QwenLM/Qwen3.8

Qwen3.8 是由阿里巴巴集团通义千问团队开发的大语言模型系列。

QwenLM
⭐ 4,459 👤 QwenLM Organization 🕐 已更新 2026-08-17 📅 创建时间 2025-09-11
19
deepseek-ai/DeepSeek-VL

DeepSeek-VL:迈向现实世界的视觉语言理解

deepseek-ai
⭐ 4,037 Python 👤 deepseek-ai Organization 🕐 已更新 2024-04-24 📅 创建时间 2024-03-07
20
MiniMax-AI/MiniMax-01

MiniMax-Text-01 和 MiniMax-VL-01 的官方仓库,基于线性注意力的语言大模型 & 视觉语言模型

MiniMax-AI
⭐ 3,445 Python 👤 MiniMax-AI Organization 🕐 已更新 2025-07-07 📅 创建时间 2025-01-14
21
off-grid-ai/OGAM

离线人工智能的“瑞士军刀”。在您的手机或 Mac 上进行聊天、视觉识别、语音交互和图像生成——支持 GGUF 大语言模型、视觉模型、Whisper 语音转文字、Stable Diffusion、工具调用以及局域网服务器。可在您的 CPU、GPU 或 NPU 上运行。无需账户,无需 API 密钥,数据绝不出设备。

off-grid-ai
⭐ 3,406 TypeScript 👤 off-grid-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-01-29
22
dvlab-research/MGM

"Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models"的官方仓库

JIA-Lab-research
⭐ 3,330 Python 👤 JIA-Lab-research Organization 🕐 已更新 2024-05-04 📅 创建时间 2024-03-26
23
jingyi0000/VLM_survey

用于视觉任务的超棒视觉-语言模型合集

jingyi0000
⭐ 3,132 👤 jingyi0000 User 🕐 已更新 2026-11-16 📅 创建时间 2023-03-30
24
InternLM/InternLM-XComposer

InternLM-XComposer2.5-OmniLive:一款用于长期流媒体音视频交互的综合性多模态系统

InternLM
⭐ 2,925 Python 👤 InternLM Organization 🕐 已更新 2025-05-26 📅 创建时间 2023-09-26
25
illuin-tech/colpali

用于训练和运行 ColVision 模型(例如 ColPali、ColQwen2 和 ColSmol)的推理代码。

illuin-tech
⭐ 2,859 Python 👤 illuin-tech Organization 🕐 已更新 2026-09-21 📅 创建时间 2024-06-20
26
BAAI-Agents/Cradle

Cradle框架是通用计算机控制(GCC)的首次尝试。Cradle通过在具有最低要求的标准化通用环境中实现强大的推理能力、自我改进和技能策展,支持代理完成任何计算机任务。

BAAI-Agents
⭐ 2,394 Python 👤 BAAI-Agents Organization 🕐 已更新 2024-11-07 📅 创建时间 2024-03-03
27
NVIDIA-AI-Blueprints/video-search-and-summarization

NVIDIA AI 视频搜索与摘要(VSS)蓝图是一种 GPU 加速的参考架构,用于构建具有实时验证警报、视觉问答和自动报告功能的视频分析代理。VSS 蓝图使用视觉语言模型(VLM),如 NVIDIA Cosmos,大语言模型(LLM),如 NVIDIA Nemotron,以及 RAG 和 NVIDIA NIM。

NVIDIA-AI-Blueprints
⭐ 2,003 Python 👤 NVIDIA-AI-Blueprints Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-10-22
28
2U1/Qwen-VL-Series-Finetune

阿里云对Qwen-VL系列进行微调的开源实现。

2U1
⭐ 1,983 Python 👤 2U1 User 🕐 已更新 2026-09-09 📅 创建时间 2024-09-10
29
showlab/ShowUI

[CVPR 2025] 用于 GUI 代理和计算机使用的开源、端到端、视觉-语言-动作模型。

showlab
⭐ 1,932 Python 👤 showlab Organization 🕐 已更新 2026-04-24 📅 创建时间 2024-10-31
30
Thinklab-SJTU/Awesome-LLM4AD

一个精心策划的优秀 LLM/VLM/VLA/世界模型(LLM4AD)自动驾驶资源列表(持续更新)

Thinklab-SJTU
⭐ 1,907 👤 Thinklab-SJTU Organization 🕐 已更新 2026-10-15 📅 创建时间 2023-10-06
31
AlibabaResearch/AdvancedLiterateMachinery

面向高级文学机器的原创、创新理念和算法合集。该项目由阿里云言技术实验室同义实验室 OCR 团队维护。

AlibabaResearch
⭐ 1,832 C++ 👤 AlibabaResearch Organization 🕐 已更新 2026-03-17 📅 创建时间 2022-09-28
⭐ 1,795 Python 👤 microsoft Organization 🕐 已更新 2026-11-02 📅 创建时间 2026-06-15
33
ZJU4HealthCare/HealthGPT

【ICML 2025 Spotlight】 论文‘’HealthGPT : A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation‘’ 的官方仓库

ZJU4HealthCare
⭐ 1,673 Python 👤 ZJU4HealthCare Organization 🕐 已更新 2026-07-31 📅 创建时间 2025-02-17
34
waybarrios/vllm-mlx

适用于 Apple Silicon 的高性能 OpenAI 和 Anthropic 兼容 LLM 推理服务器。原生 MLX、连续批处理、多模态模型、MCP 工具调用和 Claude Code 支持。

waybarrios
⭐ 1,657 Python 👤 waybarrios User 🕐 已更新 2026-11-07 📅 创建时间 2025-12-06
35
ByteDance-Seed/Seed1.5-VL

Seed1.5-VL,一个旨在推进通用多模态理解和推理的视觉语言基础模型,在60个公共基准测试中的38个上实现了最先进的性能。

ByteDance-Seed
⭐ 1,581 Jupyter Notebook 👤 ByteDance-Seed Organization 🕐 已更新 2025-06-14 📅 创建时间 2025-05-11
36
ATH-MaaS/Ovis

一种新颖的多模态大语言模型(MLLM)架构,旨在结构上对齐视觉和文本嵌入。

ATH-MaaS
⭐ 1,536 Python 👤 ATH-MaaS Organization 🕐 已更新 2026-07-15 📅 创建时间 2024-06-13
37
emcf/thepipe

利用视觉语言模型从棘手的文档中获取干净的数据 ⚡

emcf
⭐ 1,529 Python 👤 emcf User 🕐 已更新 2026-09-28 📅 创建时间 2024-03-22
38
NVlabs/describe-anything

[ICCV 2025] Describe Anything 实现:详细的本地化图像和视频字幕生成

NVlabs
⭐ 1,497 Python 👤 NVlabs Organization 🕐 已更新 2025-06-26 📅 创建时间 2025-04-04
39
ARahim3/mlx-tune

使用 Apple Silicon 在你的 Mac 上微调 LLM。SFT、DPO、GRPO、视觉、TTS、STT、嵌入和 OCR 微调 — 原生在 MLX 上。与 Unsloth 兼容的 API。

ARahim3
⭐ 1,475 Python 👤 ARahim3 User 🕐 已更新 2026-06-23 📅 创建时间 2026-01-03
40
llm-jp/awesome-japanese-llm

日语LLM汇总 - 日语LLM概述

llm-jp
⭐ 1,446 TypeScript 👤 llm-jp Organization 🕐 已更新 2026-11-09 📅 创建时间 2023-07-09
42
Meituan-AutoML/MobileVLM

面向移动设备的强大开放视觉语言助手

Meituan-AutoML
⭐ 1,317 Python 👤 Meituan-AutoML Organization 🕐 已更新 2024-04-15 📅 创建时间 2023-12-29
43
NVlabs/prismer

“Prismer:一个具有多任务专家的视觉语言模型”的实现。

NVlabs
⭐ 1,308 Python 👤 NVlabs Organization 🕐 已更新 2024-01-17 📅 创建时间 2023-03-02
44
Anionex/agent-vision-toolkit

为纯文本模型“看图”设计更好的视觉工具箱和技能,支持多图理解,图片问答,前端UI还原、GUI 自动化等,并可选无缝接入多个主流agent,直接识别粘贴图片| 为纯文本LLM设计的视觉工具箱和技能——图片问答、长截图OCR、前端UI还原和GUI自动化,可选无缝集成Codex、Claude Code、Pi、Oh My Pi和OpenCode

Anionex
⭐ 1,267 Python 👤 Anionex User 🕐 已更新 2026-10-13 📅 创建时间 2026-08-01
45
EvolvingLMMs-Lab/LLaVA-OneVision-2.5

开放的、促进多模态民主化训练的框架

EvolvingLMMs-Lab
⭐ 1,245 Python 👤 EvolvingLMMs-Lab Organization 🕐 已更新 2026-11-18 📅 创建时间 2025-09-16
46
MoonshotAI/Kimi-VL

Kimi-VL:用于多模态推理、长上下文理解和强大智能体功能的专家混合视觉语言模型

MoonshotAI
⭐ 1,203 👤 MoonshotAI Organization 🕐 已更新 2025-07-15 📅 创建时间 2025-04-09
47
SkalskiP/vlms-zero-to-hero

本系列将带您从自然语言处理(NLP)和计算机视觉的基础知识,一路探索到最前沿的视觉-语言模型。

SkalskiP
⭐ 1,172 Jupyter Notebook 👤 SkalskiP User 🕐 已更新 2025-01-23 📅 创建时间 2024-12-20
48
ZJUI-AI4H/Hulu-Med

迈向全面医疗视觉-语言理解的透明通用模型

ZJUI-AI4H
⭐ 1,031 Python 👤 ZJUI-AI4H User 🕐 已更新 2026-08-30 📅 创建时间 2025-10-08
49
OpenBMB/VisRAG

VLM支持的无解析RAG

OpenBMB
⭐ 991 Python 👤 OpenBMB Organization 🕐 已更新 2026-11-02 📅 创建时间 2024-10-14
50
mbzuai-oryx/groundingLMM

[CVPR 2024 🔥] GLaMM(Grounding Large Multimodal Model),一种首创模型,能够生成与对象分割掩码无缝集成的自然语言响应。

mbzuai-oryx
⭐ 969 Python 👤 mbzuai-oryx Organization 🕐 已更新 2026-09-05 📅 创建时间 2023-11-02

常见问题解答

1

GitHub 上最受欢迎的 #vision-language-model 仓库是什么?

GitHub 上排名第一的开源 #vision-language-model 项目是 haotian-liu/LLaVA,拥有 24,232 个 Star。[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) 致力于实现 GPT-4V 级别乃至更高级别的能力。

2

#vision-language-model 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #vision-language-model 项目中,最常见的编程语言是 Python, Jupyter Notebook, TypeScript, C++。

3

#vision-language-model 仓库的排名是如何计算的?

我们跟踪了 82 个标记为 #vision-language-model 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 263,383 个 Star,平均每个仓库拥有 3,211 个 Star。排名每日根据 GitHub API 更新。