#40 AI-001-火爆全网的聊天机器人ChatGPT能做什么
#40 AI-001-火爆全网的聊天机器人ChatGPT能做什么
目录
- 目录
- 0、 前言
- 1、ChatGPT的"长项"
- 1.1、设计剧情游戏
- 1.2、做一个活动策划
- 1.3、帮忙写一段代码
- 1.4、帮忙写作
- 1.5、设计广告
- 1.6、制定学习思路
- 2、ChatGPT的"短板"
- 2.1、古诗出处
- 2.2、鸡兔同笼典型问题
- 2.3、年龄问题
- 3、用魔法打败魔法？
- 3.1、如何识别ChatGPT生成的答案？
- 4、小结
0、 前言
11月30日，OpenAI推出了一个名为ChatGPT的AI聊天机器人，可以供公众免费测试，短短几天就火爆全网。
从头条、公众号上多个宣传来看，它既能写代码、查BUG，还能写小说、写游戏策划，包括向学校写申请书等，貌似无所不能。
本着科(好)学(奇)的精神，抽了一些时间对ChatGPT进行了了测试验证，并且**梳理了一下ChatGPT为什么能这么"强"**。
最终，关于ChatGPT本次会分为两篇：
《AI-001-火爆全网的聊天机器人ChatGPT能做什么》
《AI-002-理解ChatGPT的技术逻辑及演进》
由于笔者并没有专业学过AI，所以短时间内就不会再有AI-003类似更深入到技术的篇章了，了解 001、002就已经超出普通吃瓜群众的范畴了。
1、ChatGPT的"长项"
先列举一些ChatGPT的"长项"，也就是做得比较好的内容。虽然并不意味着ChatGPT在这些领域都是专家，而是ChatGPT会显著超出过往那些更像是"弱智"的往界NLP-AI。
1.1、设计剧情游戏
设计一个剧情游戏吧，主角叫罗小旺，剧情要跌宕起伏，最后通过智慧拿到了传奇装备，打赢了大BOSS。讲得细致一些，希望能超过3000字
1.2、做一个活动策划
A公司是一个连锁蛋糕店，圣诞节马上到了，希望做一个活动策划，能以较少的预算，在城市内邀请到更多的新客户进行采购，可以给新客户相应的活动优惠，以及给老客户一些邀请激励。现在A公司让小明来制定这个活动策划，希望你能帮小明制定完成这个策划
假设A公司的平均客单价为20元，每日销售为1万份。现在公司计划出5万元进行该活动策划，能具体描述下应该如何设计吗？给点灵感
1.3、帮忙写一段代码
希望能写一段代码，能够遍历腾讯云的虚拟主机并打印出来。开发语言为golang
1.3.1、给代码解决编译问题
将上面的代码复制出来 ，发现无法编译通过。于是直接问
你前面提供的简单示例代码，无法编译通过
结果发现chatGPT的上下文还是能关联上的。
1.3.2、继续解决编译问题
修改上面后，仍然报错。
于是将报错语句放进去，cvm.NewClient的参数不对。
接着，ChatGPT收到后貌似是认识到了错误，于是提供了新的代码（未全截图）
1.3.3、遗留的编译问题
显然对于一些稍复杂的内容，ChatGPT也不能保证其必然的正确性（从002中，我们会认识到这和它的技术逻辑有关）。
最终还会有下述错误undeclared name:cvm ，这里通过多种方式和ChatGPT沟通，它都无法理解正确的方案。
1.3.4、笔者修复编译bug，运行成功
最终笔者手动解决了cvm的问题，编译并运行成功。
1.3.5、笔记按：过了2天重试之后，发现ChatGPT更新了答案
最新的答案已经可以直接编译通过，没有报错了。cvm错误也如下图红框处进行处理。
1.4、帮忙写作
1.4.1、提供公众号思路
1.4.2、公众号提纲和结尾
1.5、设计广告
1.6、制定学习思路
1.6.1、如果想成为机器学习专家，我应如何学习机器学习？
1.6.2、要求列举具体书单
2、ChatGPT的"短板"
从上面可以知道，如果一些没有唯一标准答案，可以按逻辑进行一定编造的问题，ChatGPT其实讲得似模似样的几率还挺高的。
ChatGPT容易出错的场景，反而可能是一些简单的问题。
2.1、古诗出处
2.1.1、一句错误的诗句，ChatGPT会怎么回答呢？
发现错误的诗句，竟然也一本正经地回答了。
2.1.2、修改为正确的诗句 ，重新问
看这回答，有没有感觉像是一个 记忆错乱的人？
2.1.3、深挖原文出处
于是我对于ChatGPT所说的《长相思.其一》有了极大的好奇心，它到底长啥样呢？
真是一首神奇的诗，怎么看都多首诗的杂合体。
咋看都觉得是ChatGPT在训练的时候，学习资料里被下毒了。。
2.2、鸡兔同笼典型问题
2.2.1、鸡兔同笼，一本正经地算错了。。
鸡兔同笼，数头一共20个，数脚一共56只，请问鸡兔各几只？
一顿操作猛如虎，结果答案明显算错了。。8只鸡，12只兔子会有64只脚，明显不对。
2.2.2、重新尝试一下
2.3、年龄问题
2.3.1、小明到底几岁呢？
小明爸爸和小明加起来37岁。3年后，小明爸爸比小明大21岁。请问小明今年几岁？请给出计算过程
2.3.2、再问一次，小明5年后几岁？
小明爸爸和小明加起来37岁。3年后，小明爸爸比小明大21岁。请问小明5年后几岁？请给出计算过程
3、用魔法打败魔法？
从上面1、2我们可以发现，ChatGPT的长处是生成看上去貌似正确的文本，但是并不负责文本的正确性。
那么这就引发了一个问题，如果某个问题是ChatGPT生成的，就有可能会出现：
引经据典，但是大量错误。
怎么办呢？ 用魔法打败魔法？
3.1、如何识别ChatGPT生成的答案？
3.2、如何检测一段文本是否是 ChatGPT 等 AI 生成的？
这是一个v2ex上一个较为火热的问题，https://www.v2ex.com/t/900403 《如何检测一段文本是否是 ChatGPT 等 AI 生成的？》
再回看一下v2ex社区里其中一个贴子（见下图），估计就是当时由ChatGPT回答的。。
4、小结
总的来说，ChatGPT确实是实现了一个巨大的效果进步，很是惊艳。
从短期来看，我们不用过度神化ChatGPT的能力，它还是有明显短板，答案也并不总是正确，甚至有时会一本正经地胡说八道，给出错误的答案，产生误导。
但是从中长期来看，我们也要对NLP-AI的发展充满信心，或许从今年开始，Chat系列就会大行其道，再过一些年，也许真正可用的个人语音助理就有可能诞生。
欢迎关注同名微信公众号。
本文由 mdnice 多平台发布