微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务

关注并星标

从此不迷路

计算机视觉研究院

07f494f69e48a9242cc68faae7dbb931.gif

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第1张图片

公众号IDComputerVisionGzq

学习群扫码在主页获取加入方式

计算机视觉研究院专栏

作者:Edison_G

从大型语言模型(LLM)到多模态大型语言模型(MLLM),微软又迈出了重要一步。

转自《机器之心》

在 NLP 领域,大型语言模型(LLM)已经成功地在各种自然语言任务中充当通用接口。只要我们能够将输入和输出转换为文本,就能使得基于 LLM 的接口适应一个任务。举例而言,摘要任务输入文档,输出摘要信息。所以,我们能够将输入文档馈入摘要型语言模型,并生成摘要。

尽管 LLM 在 NLP 任务中取得了成功的应用,但研究人员仍努力将其原生地用于图像和音频等多模态数据。作为智能的基本组成部分,多模态感知是实现通用人工智能的必要条件,无论是对于知识获取还是与现实世界打交道。更重要的是,解锁多模态输入能够极大地拓展语言模型在更多高价值领域的应用,比如多模态机器人、文档智能和机器人技术。

因此,微软团队在论文《Language Is Not All You Need: Aligning Perception with Language Models》中介绍了一个多模态大型语言模型(MLLM)——KOSMOS-1,它可以感知一般模态、遵循指令(即零样本学习)以及在上下文中学习(即少样本学习)。研究目标是使感知与 LLM 保持一致,如此一来模型能够看到(see)和说话(talk)。研究者按照 METALM(参见论文《Language models are general-purpose interfaces》 )的方式从头开始训练 KOSMOS-1。

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第2张图片

  • 论文地址:https://arxiv.org/pdf/2302.14045.pdf

  • 项目地址:https://github.com/microsoft/unilm

如下图 1 所示,研究者将一个基于 Transformer 的语言模型作为通用接口,并将其与感知模块对接。他们在网页规模的多模态语料库上训练模型,语料库包括了文本数据、任意交错的图像和文本、以及图像字幕对。此外,研究者还通过传输纯语言数据来校准跨模态的指令遵循能力。

最终,KOSMOS-1 模型原生支持零样本和少样本学习设置下的语言、感知语言与视觉任务,具体如下表 1 所示。

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第3张图片

研究者在下图 2 和图 3 中展示了一些生成示例。除了各种自然语言任务,KOSMOS-1 模型能够原生处理广泛的感知密集型任务,如视觉对话、视觉解释、视觉问答、图像字幕、简单的数学方程式、OCR 和带描述的零样本图像分类。他们还根据瑞文推理测验(Raven's Progressive Matrices, RPM)建立了一个 IQ 测试基准,用来评估 MLLM 的非语言推理能力。

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第4张图片

‍这些示例表明,多模态感知的原生支持为将 LLM 应用于新任务提供了新的机遇。此外与 LLM 相比,MLLM 实现了更好的常识推理性能,表明了跨模态迁移有助于知识获取。

由于 KOSMOS-1 模型的参数量为 16 亿,因此有网友表示有望在自己的电脑上运行这个多模态大模型。

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第5张图片

KOSMOS-1:一个多模态大型语言模型

如图 1 所示,KOSMOS-1 是一个多模态语言模型,它既可以感知一般的模态、遵循指令、还能在上下文中学习并生成输出。具体来说,KOSMOS-1 的主干是一个基于 Transformer 的因果语言模型。除了文本之外,其他模态也能被嵌入并输入到该模型中,如下图中,除了语言还有视觉、语音等的嵌入。Transformer 解码器用作多模态输入的通用接口。一旦模型训练完成,KOSMOS-1 在零样本和少样本设置中也能对语言任务和多模态任务进行评估。

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第6张图片

Transformer 解码器以统一的方式感知模态,输入信息会被 flatten 为带有特殊 token 的序列。例如 < s > 表示序列开始、 表示序列结束。特殊 token 和 表示编码图像嵌入的开始和结束。

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第7张图片

嵌入模块将文本 token 和其他输入模态编码成向量表示,对于输入 token,该研究使用查找表将其映射到嵌入中。对于连续信号模态(例如,图像和音频),也可以将输入表示为离散编码。

之后,获得的输入序列嵌入会被馈送到基于 Transformer 的解码器。然后因果模型以一种自回归的方式处理序列,从而产生下一个 token。总而言之,MLLM 框架可以灵活地处理各种数据类型,只要将输入表示为向量即可。

模型训练

首先是训练数据集。数据集包括文本语料库、图像 - 字幕对、图像和文本交叉数据集。具体而言,文本语料库包括 The Pile 、Common Crawl (CC);图像 - 字幕对包括 English LAION-2B、LAION-400M、COYO-700M 以及 Conceptual Captions;图像和文本交叉多模态数据集来自 Common Crawl snapshot。

数据集有了,然后是训练设置。MLLM 组件包含 24 层、隐藏维度是 2048、8192 个 FFN 和 32 个注意力头、参数量为 1.3B。为了使模型更好的收敛,图像表示是从具有 1024 个特征维度的预训练 CLIP ViT-L/14 模型获得的。图像在训练过程中被预处理为 224×224 分辨率,此外,训练期间除了最后一层,所有的 CLIP 模型参数被冻结。KOSMOS-1 的参数总数约为 1.6B。

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第8张图片

实验结果

该研究进行了一系列丰富的实验来评价 KOSMOS-1 :语言任务(语言理解、语言生成、 OCR-free 文本分类);跨模态迁移(常识推理);非语言推理( IQ 测试);感知 - 语言任务(图像字幕、视觉问答、网页问答);视觉任务(零样本图像分类、带有描述的零样本图像分类)。

图像字幕。下表给出了不同模型在 COCO 和 Flickr30k 上的零样本性能。相比其他模型,KOSMOS-1 均取得了显著效果,甚至在参数量远小于 Flamingo 的基础上,性能也不错。

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第9张图片

下表为少样本性能对比:

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第10张图片

视觉问答。KOSMOS-1 比 Flamingo-3B 和 Flamingo-9B 模型具有更高的准确率和鲁棒性:

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第11张图片

下表为少样本性能对比:

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第12张图片

IQ 测试。瑞文推理测验是评估非语言推理最常见的测试之一。图 4 显示了一个示例。 

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第13张图片

表 6 显示了在 IQ 测试数据集上的评估结果。KOSMOS-1 能够在非语言环境中感知抽象概念模式,然后在多个选择中推理出之后的元素。据了解,这是首次有模型可以执行此类零样本 Raven IQ 测试。

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第14张图片

网页问答。网页问答旨在从网页中找到问题的答案。它要求模型既能理解文本的语义,又能理解文本的结构。结果如下:

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第15张图片

多模态思维链提示。受思维链提示的启发,本文对这方面进行了实验。如图 5 本文将感知语言任务分解为两个步骤。在第一阶段给定图像,使用提示来引导模型生成符合要求的输出,以产生最终结果。

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第16张图片

从表 9 可以看出,多模态思维链提示的得分为 72.9 分,比标准提示高出 5.8 分:

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第17张图片

了解更多实验内容,请参考原论文。

© The Ending

转载请联系本公众号获得授权

6ee1bb3e52c8c65a271bc0ff51111c3c.gif

计算机视觉研究院学习群等你加入!

计算机视觉研究院主要涉及深度学习领域,主要致力于人脸检测、人脸识别,多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架,我们这次改革不同点就是,我们要着重”研究“。之后我们会针对相应领域分享实践过程,让大家真正体会摆脱理论的真实场景,培养爱动手编程爱动脑思考的习惯!

微软多模态ChatGPT来了?16亿参数搞定看图答题、智商测验等任务_第18张图片

扫码关注

计算机视觉研究院

公众号IDComputerVisionGzq

学习群扫码在主页获取加入方式

 往期推荐 

  • ChatGPT is fun, but not an author(有兴趣加入ChatGPT群)ChatGPT利与弊分析

  • 计算机视觉研究院亲自体验ChatGPT的感受,太疯狂了!

  • 用于吸烟行为检测的可解释特征学习框架(附论文下载)

  • 图像自适应YOLO:恶劣天气下的目标检测(附源代码)

  • 新冠状病毒自动口罩检测:方法的比较分析(附源代码)

  • NÜWA:女娲算法,多模态预训练模型,大杀四方!(附源代码下载)

  • 实用教程详解:模型部署,用DNN模块部署YOLOv5目标检测(附源代码)

  • LCCL网络:相互指导博弈来提升目标检测精度(附源代码)

你可能感兴趣的:(microsoft,chatgpt,人工智能,深度学习,机器学习)