ChatGLM-6B VS 昆仑万维天工对比

下面进行昆仑万维天工与ChatGLM-6B内测结果进行对比,其中ChatGLM-6B的结果来自https://github.com/THUDM/ChatGLM-6B,假设ChatGLM-6B的结果是可靠的,那么为了公平,昆仑万维天工(https://tiangong.kunlun.com/interlocutionPage)也使用这些Prompt进行测试。

昆仑万维天工介绍

ChatGLM-6B VS 昆仑万维天工对比_第1张图片

      测试内容从自我认知、提纲写作、文案写作、邮件写作助手、信息抽取、角色扮演、评论比较旅游向导这八个角度进行测试对比。

核心结论:

1、关于自我认知、提纲写作方面,两个模型表现都不错,条理清晰;

2、在文案写作,写邮件方面,两个模型都表现不错,而且生成的结果还非常相似;

3、在信息抽取方面,ChatGLM-6B比昆仑万维天工略胜一筹,昆仑万维天工提取的信息不是以JSON格式输出的,而且输出了一个表格,没有理解Prompt的语义;

4、在角色扮演方面,昆仑万维天工没有此功能;

5、在主观评论方面,ChatGLM-6B和昆仑万维天工都表现的比较理智和客观,没有模型个人观点,昆仑万维天工上下文继承出现了问题,输出了与Prompt无关的答案,重新生成可以进行纠错;

6、在旅游向导方面,两个模型表现都不错

自我认知

ChatGLM-6B

ChatGLM-6B VS 昆仑万维天工对比_第2张图片

昆仑万维天工

ChatGLM-6B VS 昆仑万维天工对比_第3张图片

ChatGLM-6B VS 昆仑万维天工对比_第4张图片

提纲写作

ChatGLM-6B

ChatGLM-6B VS 昆仑万维天工对比_第5张图片

昆仑万维天工

ChatGLM-6B VS 昆仑万维天工对比_第6张图片

ChatGLM-6B VS 昆仑万维天工对比_第7张图片

文案写作

ChatGLM-6B

ChatGLM-6B VS 昆仑万维天工对比_第8张图片

ChatGLM-6B VS 昆仑万维天工对比_第9张图片

昆仑万维天工

ChatGLM-6B VS 昆仑万维天工对比_第10张图片

ChatGLM-6B VS 昆仑万维天工对比_第11张图片

ChatGLM-6B VS 昆仑万维天工对比_第12张图片

邮件写作助手

ChatGLM-6B

ChatGLM-6B VS 昆仑万维天工对比_第13张图片

ChatGLM-6B VS 昆仑万维天工对比_第14张图片

昆仑万维天工

ChatGLM-6B VS 昆仑万维天工对比_第15张图片

ChatGLM-6B VS 昆仑万维天工对比_第16张图片

信息抽取

ChatGLM-6B

ChatGLM-6B VS 昆仑万维天工对比_第17张图片

昆仑万维天工

ChatGLM-6B VS 昆仑万维天工对比_第18张图片

角色扮演

ChatGLM-6B

ChatGLM-6B VS 昆仑万维天工对比_第19张图片

昆仑万维天工

ChatGLM-6B VS 昆仑万维天工对比_第20张图片

ChatGLM-6B VS 昆仑万维天工对比_第21张图片

评论比较

ChatGLM-6B

ChatGLM-6B VS 昆仑万维天工对比_第22张图片

昆仑万维天工

ChatGLM-6B VS 昆仑万维天工对比_第23张图片

由于上下文影响,居然输出了于Prompt无关的答案,重新输入可以纠错

ChatGLM-6B VS 昆仑万维天工对比_第24张图片

旅游向导

ChatGLM-6B

ChatGLM-6B VS 昆仑万维天工对比_第25张图片

昆仑万维天工

ChatGLM-6B VS 昆仑万维天工对比_第26张图片

ChatGLM-6B VS 昆仑万维天工对比_第27张图片

你可能感兴趣的:(ChatGPT,chatgpt)