十个月自我提升计划--科学素养（17）

每周一本书，进步不止一点点。这里是椰子私塾。

超级智能是求知的存在，作者分析的结果让我们感到沮丧，难道我们人类真的没有希望了？今天我们就来了解一些积极的应对的措施，以及面对超级智能应该有的心态。

❶  价值观加载问题

如何把人类价值观到人工智能里，这个看上去非常难。

1、进化性选择可能是其中一种。进化可以被看作一种特殊的搜索算法，它包括了两个步骤的交替。一个根据相对简单的随机规则来增加备选者的数量和新的备选者，我们通常称之为变异。另一个则是通过去掉那些在评估函数中得分较低的备选者，来降低被选者的数量，我们可以称之为优胜劣汰。

2、强化学习。通过构建一个在其中表现出被期待的行为会受到回报的环境，进行强化学习的智能就会学着去解决很多不同类型的问题。

3、联合累积的价值。可以设计一种大胆的人工代替机制，能够使人工智能将相关的复杂价值观的高度准确的表达引入它的目标系统呢？如果这能成功，就不需要给人工智能与人类完全一致的价值观配置了。

4、机动性支架。这包括赋予种子人工智能一个临时目标系统，其有着相对简单、可以用明确的编码或是其他可行方式表达的最终目标。一旦人工智能发展出更复杂的表达能力，我们就将这个临时的支架目标系统换成一个有不同的最终目标的系统。

❷  间接规范方法的必要性

抛开植入价值观的难度，现在让我们假设我们已经有了办法，那么植入哪种价值观或者哪个目标比较好呢？

1、如果要基于我们目前的信念选择一个最终目标，而这个最终目标是永远不可更改并消除了道德进一步发展的任何可能性的话，便会导致致命性道德灾难的风险。

2、如果超级智能比我们更擅长认知工作，它可能能够识别我们思维中的错误，并弄清我们的疑惑的话，我们可以对这个观点进行概括，并将它作为一种启发式的原则。

❸  一致推断意愿

当人类的智能全部达到一个很高的境界的时候，我们对几所所有问题的看法都应该是一致的。这应该就是我们的人工智能最终想要达成的目标。

作者说，我们没有必要设计一个高度优化的方案。相反，我们的重点应该放在设计一个高度可靠的方案之上。可靠的设计会具有足够的智慧，能够认识到自己的缺点。

❹  核心目标

在本书，作者尝试着在相对模糊不清的视野中辨别更多的特征，我们看到降低存在性风险，并且实现导向合理使用人类宇宙资源的文明进步，会是我们道德上的主要优先事项。

或许，最恰当的态度是下定决心，发挥我们最好的实力。就像准备一场很难的考试一样，考试通过了梦想就会实现，考试失败了梦想就会破灭。

---

10个月阅读40本书，包括：自我管理、沟通协作、心理学、逻辑思维、社会素养、科学素养、艺术素养、商业素养、哲学素养、生活，每周一本书。希望能够做到——今天比昨天聪明一点点。

这是科学素养部分——《超级智能》 （作者 尼克·波斯特洛姆）精读版的阅读笔记。Day-5/6。

Keep going.