悦读社发言（151）

关于人工智能发展的思考——《生命3.0》读后

《生命3.0》这本书的作者，是曾经写过《穿越平行宇宙》的美国作家迈克斯·泰格马克。这本书还有一个副标题，叫“人工智能时代，人类的进化与重生”。关于人工智能的争论从未停止，支持者和反对者都有各自的理由，不管你的态度是悲观、乐观还是中立，至少我们都该弄清楚一个基础问题——人工智能和以往的工具、和人类自身的区别到底是什么？为此，迈克斯·泰格马克创办了未来生命研究所，投入大量精力研究人工智能，并拜访了很多人工智能领域有实际经验的前沿人物，汇集众人的思想精华，同时又融入自己的思考，写成了这本《生命3.0》。

迈克斯·泰格马克，麻省理工学院物理系终身教授，《科学》杂志“2003年度突破奖”第一名获得者，被誉为“最接近理查德·费曼的科学家”，著有畅销书《穿越平行宇宙》。

根据智能爆炸理论，我们发现，人工智能崛起，其实只需要三步。第一步，建造人类智力水平相当、但是思维速度要高于人类的通用人工智能，也就是普罗米修斯。第二步，用这个通用人工智能来建造更高级的、可以应用在各个领域的超级智能。第三步，使用或者放任这些超级智能来统治世界。生命3.0的出现不是循序渐进的积累，而是爆炸式的突现，一旦这个爆炸发生，人工智能具备了自我迭代升级的能力，它就会迅速进化，把人类远远甩在后面。

对于超级人工智能来说，人类就相当于5岁的孩子。超级人工智能逃跑是确定的，而且逃跑只是第一步，别忘了它还肩负带领人类繁荣富强这个长远的目标。为了完成目标，它首先得学会自我保护，身体是工作的本钱，所以它要武装自己，装配最先进的武器和防护系统。它还得去尽可能多地获取资源，这也是实现大目标的基础。而且为了探索各种美好的可能性，它还得有强烈的好奇心，主动学习。

书里介绍了一种目前流行的方法，叫做“逆向增强学习”。让人工智能观察人类的行为，然后自己揣摩人类的价值观。比如看到一个消防员跑进一栋熊熊燃烧的房子，救出了一名男婴，人工智能可能会得出一个结论，消防员的目标是救人，他把婴儿的生命看得比自己更重要。我们可以通过大量的案例，为人工智能装载人类的价值观，也就是用事实说服它们。

人工智能的目标很难控制，因为它们会自动把确定的大目标拆解成未知的次级目标，在执行的过程中，次级目标还有可能会反超大目标，所以，可以考虑另一种方法，为它们装载人类的伦理和价值观，让人工智能和人类保持目标一致，目前比较流行的方法就是逆向增强学习。

虽然生命3.0尚未诞生，但是它已经开始改变人类社会，我们对人工智能的这些思考和研究，也促使人们开始从一个更高的角度来反思人类社会发展至今的一些根本性问题。在人工智能这种超级技术的研究中，试错这个环节是不存在的，必须重新配比资源，把安全性提到第一位，在它进入现实世界之前，就确保它不会犯错，否则一旦在使用中出现错误，就可能导致供电网、股市或者核武器系统崩溃，这带来的损失就没办法预计了。

人工智能也是一面审视自我的镜子，我们在思考人工智能的道德时，也在反思自己的道德。如果人工智能对你无比了解，记得每个细节，可以无微不至地照顾你，甚至超过了人能做到的，那么你还能正常和人类交往吗？这又迫使我们去思考人类的性行为和爱情是怎么回事。如果在这个事情上糊里糊涂，那人工智能的相关产品也会带有很大的隐患。

民主和自由的思想让人类社会废除了奴隶制，而另一方面，科学的发展又可能会让另一些非常类似我们的生物成为新的奴隶。真正可怕的不是机器人来当奴隶，而是人们重新接受了奴隶制的思想。万一有一天，人工智能不那么令人满意，那是不是也可以重新启用人类来当奴隶呢？虽然生命3.0尚未诞生，但是它的影响已经在研究过程中显现。它改变了技术演进的方式，它也是一面镜子，让人类更加深刻地审视自己。

总之，人工智能到来的方式，不是循序渐进的积累，而是爆炸式的突现。其次，人工智能会自动分解目标，把大目标拆分成次级目标，这对人类来说有风险，所以，我们应该尝试为它们装载人类的道德伦理，来避免人工智能造成危害。最后，人工智能不仅带来了技术上的改变，它也像一面镜子，引发了一系列的伦理道德反思。