王炸!微软发布 Visual ChatGPT:视觉模型加持 ChatGPT 实现丝滑聊天

这是「进击的Coder」的第 809 篇技术分享

作者:炼丹学徒

来源:夕小瑶的卖萌屋

阅读本文大概需要 8 分钟。

王炸!微软发布 Visual ChatGPT:视觉模型加持 ChatGPT 实现丝滑聊天_第1张图片

文|炼丹学徒

近来,AI 领域迎来各个领域的大突破,ChatGPT 展现出强大的语言问答能力和推理能力,然而作为一个自然语言模型,它无法处理视觉信息。

与此同时,视觉基础模型如 Visual Transformer 或者 Stable Diffusion 等,则展现出强大的视觉理解和生成能力。

Visual Transformer 将 ChatGPT 作为逻辑处理中心,集成若干视觉基础模型,从而达到如下效果:

  • 视觉聊天系统 Visual ChatGPT 可以接收和发送文本和图像

  • 提供复杂的视觉问答,或者视觉编辑指令,可以通过多步推理调用工具来解决复杂视觉任务

  • 可以提供反馈,总结答案,主动询问模糊的指令等

这个工作开启了 ChatGPT 借助视觉基础模型作为工具,进行视觉任务处理的研究方向。

论文链接: 

https://arxiv.org/abs/2303.04671

开源代码: 

https://github.com/microsoft/visual-chatgpt

论文作者: 

Chenfei Wu, Shengming Yin, Weizhen Qi, Xiaodong Wang, Zecheng Tang, Nan Duan

机构: 微软亚洲研究院

模型效果

王炸!微软发布 Visual ChatGPT:视觉模型加持 ChatGPT 实现丝滑聊天_第2张图片

工作流程

王炸!微软发布 Visual ChatGPT:视觉模型加持 ChatGPT 实现丝滑聊天_第3张图片

记对话 ,第 i 轮的回复 ,是通过若干次思考调用工具的结果来最终总结出来的。我们记第 i 轮对话中,第 j 次的工具调用中间答案记作  ,那么

其中, 是全局原则,是各个视觉基础模型,是历史会话记忆, 是这一轮的用户输入,是这轮对话里思考和的历史, 是中间答案,是 prompt manager,用于把上面各个功能转化成合理的文本 prompt,从而可以交给 ChatGPT 进行处理。以下图为例进行讲解:

王炸!微软发布 Visual ChatGPT:视觉模型加持 ChatGPT 实现丝滑聊天_第4张图片

对于用户输入,添加于全局原则 prompt,工具描述 prompt,历史会话 prompt 之后,送给 ChatGPT 进行逻辑推理(Use VFM?)得到推理结果 (就是这一次得到的 GPT 文本输出)。经过正则匹配进行分析,如果工具调用结束,则直接提取总结输出作为最终回复,如果是需要继续调用工具,则将提取到的工具名称、工作参数,输入视觉基础模型 ,从而得到,置于思考历史  中,进行下一轮推理。或者说喂给 GPT 的内容为:

第一次问答里,第一个API: 

第一次问答里,第二个API: 

第一次问答里,第三个API: 

第二次问答里,第一个API: 

第二次问答里,第二个API:

得到 GPT 的输出后,正则匹配进行工具的判断和解析,最终决定流程。API  调用历史在每次回答后清空,其中只有最后总结性的回复被记录进入对话历史 

细节描述

王炸!微软发布 Visual ChatGPT:视觉模型加持 ChatGPT 实现丝滑聊天_第5张图片

: 系统原则的提示符,“Visual ChatGPT 是一个可以处理广泛语言和视觉任务的助手,xxxxxx”。在这个 prompt 的部分,以下内容被强调:Visual ChatGPT 的角色,可以访问且需要尽可能使用视觉基础模型,要对文件名称非常敏感不可以捏造,可以且必须遵循严格的 Chain-of-Thought 思考链的格式进行思考(不然正则匹配不出来是否使用函数和函数名称参数),可靠性等描述。

: 对每个视觉基础模型的描述,包含工具名称,使用方法,输入输出格式,实例

: 用户的输入会被改写,用来理解图片和强制GPT思考

:对输出的处理,链式的文件命名,"imaga/{Name}_{Operation}_{Prev_Name}_{Org_Name}.png",强制修改 GPT 内容,让 GPT 降低思考难度,在指代不清时二次询问用户等。

Case Study

论文分析了在各个模块,如果 prompt manager 设计不到位,会各自出现什么问题:

王炸!微软发布 Visual ChatGPT:视觉模型加持 ChatGPT 实现丝滑聊天_第6张图片

在  中,如果不强调对图片文件名的敏感,可能会发生指代错误。如果不强调思考链的格式严格,可能正则匹配匹不上。如果不强调可靠性,不要基于文本上下文脑补,可能会出现不读图片直接回答的情况。如果不强调可以链式使用工具,则可能出现一口吃个大胖子而不能一步一步思考的情况。

王炸!微软发布 Visual ChatGPT:视觉模型加持 ChatGPT 实现丝滑聊天_第7张图片

类似的,对于工具包的描述,也应该对名称、功能、输入输出格式进行严格的设计。其中,for example 进行举例影响不大,只要前面描述足够清楚,GPT 可以理解,可以删掉保存 token 长度。

王炸!微软发布 Visual ChatGPT:视觉模型加持 ChatGPT 实现丝滑聊天_第8张图片

对于用户输入和工具包输出的后处理,如图。比较神奇的是,右上角的举例里,用 ChatGPT 自己的口吻来说一些原则(从而让 ChatGPT 以为是它自己说的,然后顺着说),以及直接让 ChatGPT 说到"Thought: Do I need a tool"继续生成,能强制进入思考链,从而大幅度降低思考难度。左下角的举例里,对于链式的文件命名,问 Visual ChatGPT 能不能总结出来文件命名原则,基本总结正确,这说明此种命名方法,确实可以帮助 Visual ChatGPT 理解文件的内容和依赖关系,生成路径。

有意义的启发

  • 开启了 ChatGPT 处理视觉任务的新大门

  • NLP --> Natural Language PhotoShop,自然语言文本描述下的图片创作编辑和问答

  • 可以通过系统设计和工具包设计的 Prompt,做到无监督的工具调用,类似于 zero-shot 的 toolformer

  • ChatGPT 本身对仿真场景的能力很强,也读过图片路径和函数关系,从而善于使用基础视觉模型

  • Prompt 很重要,作为纯语言模型,前文说它是啥他就仿照啥,除了细致的要求,一定要多夸一夸他,是能力很强的处理模型,那它顺着说,能力才会真的强

  • Visual ChatGPT 本身是一个语言模型,所谓的两方多轮对话只是一个Human: AI: 的多轮特殊形式前文的继续生产,所以,完全可以强行给前文AI: 让 ai 自己说一些东西出来,是它信了是它自己说的,这能够极大的降低生成难度。这在本篇论文里对几个场景的帮助很大。例如,用户输入图片后,改写为“Human: 上传了一张图片,描述为:{}。注意,这里的描述是帮助你理解图片的,你不能基于它幻想而不调用工具。如果你理解了,就恢复收到。AI:收到。”注意,这里 AI 回复的收到,并不是真的 GPT 的生成内容,而是我们强行写入进 dialogue history memory 的,而且可以发现,AI 真的相信了。另外一个点是,在用户的输入后面,挨着的应该是 GPT 自己的思考内容,如果我们借它的口,自己说“推理信息仅自己可见,需要在最后总结的时候把重要信息复述给读者”,效果比在最前文的 prompt 里效果好很多,可能是因为距离的原因,也可能是AI自己说出来的原因。另外,可以直接给到"Thought: do i need a tool?"去让 GPT 继续生成,从而一定进入推理链,可以匹配到远处描述思维链格式的 prompt 内容,极大的降低思考难度。

外网评价

王炸!微软发布 Visual ChatGPT:视觉模型加持 ChatGPT 实现丝滑聊天_第9张图片王炸!微软发布 Visual ChatGPT:视觉模型加持 ChatGPT 实现丝滑聊天_第10张图片王炸!微软发布 Visual ChatGPT:视觉模型加持 ChatGPT 实现丝滑聊天_第11张图片

王炸!微软发布 Visual ChatGPT:视觉模型加持 ChatGPT 实现丝滑聊天_第12张图片

End

崔庆才的新书《Python3网络爬虫开发实战(第二版)》已经正式上市了!书中详细介绍了零基础用 Python 开发爬虫的各方面知识,同时相比第一版新增了 JavaScript 逆向、Android 逆向、异步爬虫、深度学习、Kubernetes 相关内容,‍同时本书已经获得 Python 之父 Guido 的推荐,目前本书正在七折促销中!

内容介绍:《Python3网络爬虫开发实战(第二版)》内容介绍

王炸!微软发布 Visual ChatGPT:视觉模型加持 ChatGPT 实现丝滑聊天_第13张图片

扫码购买

王炸!微软发布 Visual ChatGPT:视觉模型加持 ChatGPT 实现丝滑聊天_第14张图片

好文和朋友一起看~

你可能感兴趣的:(microsoft,chatgpt,深度学习,人工智能)