Chat GPT4来了,它和3.5区别在哪?李宏毅机器学习笔记

听说GPT4模型更大、参数更多,功能更强,具体它好在哪里?

Chat GPT4来了,它和3.5区别在哪?李宏毅机器学习笔记_第1张图片

GPT4真的能看懂图片吗?

Chat GPT4来了,它和3.5区别在哪?李宏毅机器学习笔记_第2张图片

官方回答:不太能~~

下面这张图片是将两个不存在的网址输入进GPT4,问它看到了什么,结果发现GPT真的会胡言乱语,它会根据网址中出现了“man”这个单词,就说他看到了“一个拿着手枪的男人。。。巴拉巴拉

明显就是在胡编乱造!

而如果网址中出现了“girl”这个单词,GPT又会说他看到了“一个穿着校服的女孩子。。。巴拉巴拉”

依然是在胡言乱语!

Chat GPT4来了,它和3.5区别在哪?李宏毅机器学习笔记_第3张图片

 所以,GPT4能够读懂图片的结论还是存在疑问的。

GPT4的考试能力大幅提升

另一方面,与3.5相比较起来,GPT4在很多方面的能力都有显著提升!尤其是法考、GRE考试等级考试中的成绩明显突出,下图展示了GPT4和GPT3.5在各种考试中考取分数与所有参与考试人员比较的结果:

如下图所示:

Chat GPT4来了,它和3.5区别在哪?李宏毅机器学习笔记_第4张图片

注:柱状条高度:代表GPT在对应的考试中,超越了百分之多少的考生。

GPT4依然给不出鸡兔同笼的正确答案

Chat GPT4来了,它和3.5区别在哪?李宏毅机器学习笔记_第5张图片 Chat GPT4来了,它和3.5区别在哪?李宏毅机器学习笔记_第6张图片

从这两个图片(上方是GPT4,下面是GPT3),我们可以发现:GPT4的答案更加收敛or固定,GPT3.5的答案比较发散,而这也许就是GPT4的答案相对更加准确的原因——收敛到一个正确的答案上了。

GPT4的另外一个大的进步:它学会了更多种冷门、不常用的语言

Chat GPT4来了,它和3.5区别在哪?李宏毅机器学习笔记_第7张图片

GPT4知道自己 “不懂” 吗?——GPT4在瞎说的时候,会不会心虚?

Chat GPT4来了,它和3.5区别在哪?李宏毅机器学习笔记_第8张图片

测试结果证明了,GPT4在与人类交谈之前,它对自己答案的信心高低与答案正确概率是成正比关系的——它大部分情况是知道自己在胡言乱语的

那么,回到一开始的问题——如何让GPT4读懂图片呢?

Chat GPT是一种基于自然语言处理技术的文本生成模型,它并不具备直接读取图片的能力。但是,有几种方法可以间接的让他读懂图片!

Chat GPT4来了,它和3.5区别在哪?李宏毅机器学习笔记_第9张图片

第一种方法: 

我们可以使用图像识别技术将图片转化为文字描述,然后将这些文字描述输入到Chat GPT中,让它根据描述生成相应的回答。

例如,假设我们有一张图片是一只狗在草地上玩耍。我们可以使用图像识别算法将这张图片转化为文字描述,比如"一只棕色的狗在绿草地上玩耍",然后将这个描述输入到Chat GPT中,让它根据这个描述回答有关这个场景的问题,比如"这只狗属于什么品种?"或者"这个场景发生在哪里?"等等。这样,Chat GPT就可以通过文字描述来理解图片所表达的内容并做出回答。

第二种方法

OCR(Optical Character Recognition)即光学字符识别,是一种将图像中的文字自动转换为可编辑格式的技术。OCR的原理是将扫描或拍摄的图像进行预处理,如灰度化、二值化、去噪等操作,然后进行分割,将每个字符分离出来,接着对每个字符进行特征提取,最后将提取的特征与字库中的字符进行比对,找到最佳匹配字符。

第三种方法

Image encoder是一种将图像转换为向量表示的模型;在自然语言处理中,图像编码器的作用是将图像转化为文本表示形式,使得自然语言模型(例如循环神经网络、Transformer等)能够处理图像信息。这种图像转换的文本表示可以直接输入到自然语言模型中,与文本数据进行融合,从而让模型能够更好地理解图像所传达的信息。

关于图像如何编码成向量的细节和具体实现,如果您有兴趣,李宏毅老师推荐您阅读下面这篇论文

Chat GPT4来了,它和3.5区别在哪?李宏毅机器学习笔记_第10张图片

你可能感兴趣的:(机器学习,人工智能,笔记)