多模态大模型：Multimodal Foundation Models: From Specialists to General-Purpose Assistants

论文作者：Chunyuan Li,Zhe Gan,Zhengyuan Yang,Jianwei Yang,Linjie Li,Lijuan Wang,Jianfeng Gao

作者单位：Microsoft Corporation

论文链接：http://arxiv.org/abs/2309.10020v1

项目链接：https://vlp-tutorial.github.io/2023/

内容简介：

这篇论文全面调查了展示视觉和视觉语言能力的多模态基础模型的分类法和演变，重点关注从专业模型向通用助手的过渡。研究领域包括五个核心主题，分为两类。首先，对已经建立的研究领域进行了调查，包括为特定目的预训练的多模态基础模型，涵盖了学习视觉主干以实现视觉理解和文本到图像生成的方法。其次，介绍了最近在探索性、开放性研究领域取得的进展，包括旨在扮演通用助手角色的多模态基础模型，其中包括受到大型语言模型（LLMs）启发的统一视觉模型、多模态LLMs的端到端训练，以及将多模态工具与LLMs链接起来。本文的目标受众是计算机视觉和视觉语言多模态社区的研究人员、研究生和专业人士，他们渴望了解多模态基础模型的基础知识和最新进展。