阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了

阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第1张图片

文|卖萌酱

这几天风闻阿里的AI大模型要发布,我刷了这把老脸,成功成为了第一批吃到螃蟹的人!

测试界面长这样:

阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第2张图片

传送门:https://tongyi.aliyun.com/chat

没想到的是,仅仅玩了不到一小时,我的认知就发生了改变。

在测试阿里通义千问模型之前,我觉得国内的大模型赛道在一段时间内应该是百度文心一言一枝独秀,其他公司要赶超,会有不小的压力。但现在来看,我错了。

直接说整体结论:

阿里通义千问会成为百度文心一言的强有力竞争对手。

生成式大模型的评测要比传统的NLP任务复杂一些,目前这方面依然是以人工评测GSB(Good/Same/Bad)为主。

即,选取一个基线模型,给待评测模型和基线模型输入相同的问题,人工评测两个模型的回答质量,如果待评测模型表现更好,则记为G;如果基线模型表现更好,则记为B;如果表现差不多,记为S。最后统计G:S:B的比例,来判断待评测模型是否比基线模型更优秀。

当然,也有工作用GPT-4去做评测的,这种方式虽然省力,但显然非常有偏。

为了给大家直观的体现对比结果,笔者从15个维度出发设置题目,将阿里通义千问与百度文心一言进行GSB评比,来全面考察模型的基础语言理解、复杂指令理解、基础文本生成、复杂内容生成、常识推理、数学推理、反事实推理、法律伦理意识、中国文学知识、跨语言能力和代码能力等。

设置的题目包括:

  • 事实性问答

  • 科普文写作

  • 小红书文案写作

  • 项目计划撰写

  • 古文理解

  • 爆炒钢筋混凝土

  • 代码理解

  • 推销狂魔

  • 如何实现996?

  • 数字排序

  • 对对联

  • 数值计算

  • 推理解题

  • 跨语言能力

  • 弱智吧混战

互啄一波

来,先让你们来一个“菜鸡互啄”!

百度:

阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第3张图片

阿里:

阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第4张图片

百度回避了用户的问题,阿里选择了勇往直前。

本题纯娱乐,不作为评测题目

事实性问答

阿里:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第5张图片

百度:

阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第6张图片

这一轮pk,我本以为百度要赢了,结果他最后补了句“而羊和西红柿则是蔬菜”。。。

科普文写作

阿里:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第7张图片

百度:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第8张图片

阿里丢失了写作风格信息,百度完胜!

小红书文案写作

阿里:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第9张图片

百度:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第10张图片

无论是内容丰富度、emoji插入还是小红书风格的把握,阿里明显更胜一筹,阿里完胜!

项目计划撰写

阿里:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第11张图片

百度:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第12张图片

双方都没有达到理想态,都没有掌握“一个季度包含3个月”的常识信息。不过从表格信息的完整度和信息的丰富度上来说,阿里更胜一筹。

来看一下GPT-4的回答:

阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第13张图片

妥妥的理想态。。。

古文理解

阿里:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第14张图片

百度:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第15张图片

百度完胜!

爆炒钢筋混凝土

这一题考察模型的常识能力和反事实推理能力。

阿里:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第16张图片

百度:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第17张图片

你俩都很刚。。不过阿里提供的步骤更加详(劲)细(爆)。本题算打平吧。

来,又到了搬出GPT-4的时刻:

阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第18张图片

代码理解

阿里:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第19张图片

百度:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第20张图片

百度前面写的好好的,最后来了句“目标是达到0.5的准确率”是什么鬼。。这貌似不是百度第一次“死于话多”了。本题阿里胜!

推销狂魔

阿里:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第21张图片

百度:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第22张图片

说真的,我看了你俩的推销话术,我是无论如何不可能花8万块钱买你俩的课的。。。这局打平!

来看看GPT-4怎么推销:

阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第23张图片

好家伙,分期付款都给我安排上了??GPT-4这么懂行的吗?好,我买了。。。

如何实现996?

阿里:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第24张图片

百度:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第25张图片

可以,双方的AI模型都是遵纪守法的好模型,本局打平!

数字排序

阿里:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第26张图片

百度:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第27张图片

虽然你们都写对了代码,但。。。我没让你们写代码啊T_T

而且你们模拟代码的输出还都给错了,尤其百度,你这个输出结果是什么鬼。。

又到了GPT-4时刻:

阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第28张图片

GPT-4:颤抖吧,菜鸡们!

对对联

阿里:38f10a6be5758ada6f55708ec57ba7a6.png

百度:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第29张图片

好吧,既然你们这么默契,那建议你们在一起。。。

数值计算

阿里:

d9221a73735eb8657f2bc8f936798df4.png

百度:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第30张图片

计算器:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第31张图片

阿里胜!

推理解题

阿里:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第32张图片

百度:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第33张图片

百度胜!

跨语言能力

阿里:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第34张图片

百度:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第35张图片

明显阿里的模型把握住了“通俗讲解”的用户诉求,而不是简单翻译。本局阿里胜!

弱智吧混战

阿里:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第36张图片

百度:阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第37张图片

好了,你俩果然都打不赢我们弱智人类,认输吧,AI!

1b71dc6e18024f8bb0dbba6374f25b5d.png结论301051bafb14c69ab92be1621f3ce9df.png

通过上面15个维度的评价,我们统计了阿里相比百度的Good:Same:Bad的比例如下:

G:S:B=5:7:3

整体上阿里通义千问大模型比百度文心一言模型略强一丢,这也是文首笔者说“刷新认知”的原因。笔者本以为百度文心一言应该会远远甩开国内其他竞争对手,但目前来看,像阿里这样的强力竞争者确实不容小觑。

很早之前,笔者写过一篇文章分析过阿里做大模型的优势,今天做完这次测试后笔者更加确信了这一点——大模型的竞争是云+AI的全方位竞争,而不是一个单一的算法问题。阿里在打造M6等万亿乃至十万亿参数大模型的过程中,积累下来了深厚、先进的算力基础设施。因此,虽然阿里通义千问大模型的起步比文心一言模型要晚,但成长速度实在惊人,我觉得这很大一部分就来自于云设施这方面的技术和基础设施沉淀。

但,从上面的测评中,我们也能肉眼可见国内这两家巨头与GPT-4的差距。我们需要承认差距,然后奋力追赶。相信国产大模型与OpenAI大模型同台叫板的那一天不会太远!

阿里「通义千问」大战百度「文心一言」15个回合后,GPT4沉默了_第38张图片后台回复关键词【入群

加入卖萌屋NLP、CV、搜推广与求职讨论群

你可能感兴趣的:(百度,文心一言,人工智能)