试用文心一言

1 入口

https://yiyan.baidu.com/

2 界面

2.1 整体界面

• 目标：作为普通用户使用。
• 结果：整体设计很好，各种角色和提示词，界面也好看，细节到位。

3 模型效果

3.1 写一段微信小程序

• 目标：对于本土化的工具，国外文本生成支持不是很好。
• 结果：看着还不错，还没试运行。

3.2 当朋友聊天我会找谁

• 目标：讨论一些人文问题，提出一些之前和 ChatGPT 聊到的问题，对比答案。
• 结果：答案也大差不差，呵呵…… 相对 ChatGPT，我觉得 ERNIE 比较教条，调性不太一样。

3.3 业务能力

• 目标：具体业务的能力。
• 结果：测试了一下总结长文的能力，理解能力可用。

4 易用性

4.1 申请 API

• 目标：真正解决问题，还是需要使用 API。
• 结果：230831 早上 3:00 申请，10:13 收到短信，通过审核。

4.2 费用

• 目标：看看用哪个更划算
• 结果：差不多
  • 文心一言：ERNIE-Bot-turbo 0.008元/千tokens
  • ChatGPT：0.002美元/千tokens
• 评论：
  千帆支持多个模型，有ERNIE的，也有LAMMA，不同模型计费方式不同，可对比不同模型效果；这里更像是个集成平台，而非完全是百度的大语言模型。

4.3 反馈时间

• 目标：评测反馈时间
• 结果：
  • 问了第一个问题（demo代码中的默认问题）反馈时间 1s
  • 问第二个问题时，提示：Open api daily request limit reached
  • 开通了 ERNIE-Bot-turbo 后可正常使用
  • 客服说送了 20 代金券，但我没找到在哪儿
  • 重复两次问了一个 800 字的问题，API 反馈时间 3-3.5s（同一问题，ChatGPT网页版回答4s左右）

4.4 长度限制

• 目标：评测其长度限制
• 结果：
  • 我向它提问：“ERNIE-Bot-turbo 每次提问 token 的长度限制是多少”，回答：“ERNIE-Bot-turbo 每次提问的 token 的长度限制是64个字符”，这明显是不对的。
  • 我在文档里也没找到，重要参数是不是应该写在比较显眼的地方。

4.5 学习成本

• 目标：评价学习成本
• 结果：
  • 调用 http 请求，不需要额外安装 Python 包
  • 可能是出于安全考虑，需要先获得 access_token
  • Python代码量不大，学习成本不高
• 相关文档：https://cloud.baidu.com/doc/WENXINWORKSHOP/s/4lilb2lpf

5 整体感受

• 至少不用 xx 上网
• 中文内容支持更好一些
• 客服打电话，加微信，问公司信息，又无法回答技术问题，推销感让人觉得有点……
• 我自已用，还是优先 ChatGPT；公司用的，需要正规的渠道，文心一言会比较合适。

6 关于评测

大家都不开源，偏重又不一样，普通用户仅仅问几个问题，也评测不出啥效果，只能收集一些大概的感觉。比如，单位用会考虑：是否可用，是否有明显问题；自己常用的领域，支持地好不好；提问和回答的限制价格；自己用可能会考虑：思维的广度，世界观。