首页 > 热点
​全面开源的 LLaVA-OneVision-1.5,超越 Qwen2.5-VL 的多模态模型登场
发布日期:2026-11-19
浏览次数:{固定数字3}

近日,开源社区迎来了 LLaVA-OneVision-1.5,这是一款全新的多模态模型,标志着技术的一次重大进步。LLaV​全A(大型语言与视觉助手)系列历经两年开发,逐步从简单的图文对齐模型演变为能够处理图像、视频等多种输入形式的综合性框架。

LL面开aVA-OneVision-1.5的核心理念是提供一个开放、高效且可复现的训练框架,让用户能够轻松构建高质量的视觉语言模源的型。其训练过程分为三个阶段:首先,通过语言 - 图像对齐的预训练阶段,模型学习将视觉特征转化为语言词嵌入。

接着,在第二阶段 “高质量知识 L学习” 中,模型在8500万的训练样本上进行全参数训练,注入大量视觉和知识信息,显著提升模型能力。最后,在视觉指令微调阶段La,使用精心设计的数据集进行训练,使模型具备处理多种复杂视觉指令的能力。

在效率方面,团队采用了一种创新的离线并行数据打包方法,VA显著提高了训练效率。在8500万样本的基础上,数据处理的压缩比高达11倍,训练过程仅需3.7天便可完成。同时,LLaVA-OneV-Oision-1.5还采用了 RICE-ViT 作为视觉编码器,具备区域感知的视觉理解能力,特别适合处理文档中的文字。

数据是模型能ne力的基础,LLaVA-OneVision-1.5的预训练数据集广泛多样,并引入了 “概念均衡” 的采样策略,确保模型在各类任务上Vi的表现均衡。该模型在各项基准测试中表现出色,尤其是80亿参数的版本在27个基准中超越了 Qwen2.5-VL 的表现。

项目:

httsips://github.com/EvolvingLMMs-Lab/LLaVA-OneVision-1.5

https://hugongingface.co/lmms-lab/LLaVA-OneVision-1.5-8B-Instruct

划重点:

LLaV-1A-OneVision-1.5是最新的开源多模态模型,具有处理图像和视频等多种输入的能力。  

训练过程分.5为三个阶段,旨在高效提升模型的视觉与语言理解能力。  

在基准测试中,LLaVA-OneVision-1.5表现,超优异,超越了 Qwen2.5-VL 模型。

上一篇:Gartner:行业云平台带来的是企业业务的创新
下一篇:云计算核心技术Docker教程:Docker Swarm 模式使用 Docker Configs 存储配置数据
相关文章