Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs

大开眼界?探索多模态模型种视觉编码器的缺陷。
Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs_第1张图片
论文中指出,上面这些VQA问题,人类可以瞬间给出正确的答案,但是多模态给出的结果却是错误的。是哪个环节出了问题呢?视觉编码器的问题?大语言模型出现了幻觉?还是视觉特征与语言模型间的特征没有对齐?
作者将上述问题分成了9个类别(通过将涉及的问题和选项提供chatgpt,让chatgpt将这些问题归类)
Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs_第2张图片

  • 通过实验发现,增加模型规模/训练数据的数量,多模态模型仅在颜色/外观任务和物体状态/状况这两项任务上的表现有提升。
  • 通过实验发现,两张很相似的图片(如下图的两只蝴蝶),视觉编码器(CLIP)给出两张图片的相似度很高,但是自编码器(DINO)给出的相似度不是很高,作者定义这两幅图片为CLIP-blind pairs
    Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs_第3张图片
    clip和多模态模型在这9项任务上的表现
    Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs_第4张图片

通过增加自监督特征,多模态模型的能力有了提升
Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs_第5张图片
上图种左边是目前的多模态结构,中间部分是两部分特征线性相加,右边是交错混合的方式。
为了评价多模态模型在这些任务上的表现,建立了MMVP-VLM的测试集。
Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs_第6张图片
Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs_第7张图片

MMVP-VLM的建立过程
Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs_第8张图片

你可能感兴趣的:(多模态)