机器人会伤害你？科学家做了实验并回答了七个问题
姓名：钟航 学号：14020120004
转载自：http://robot.ailab.cn/article-86044.html
【嵌牛导读】：艾萨克阿西莫夫著名的机器人三定律，对机器人和自动机器人设下行为准则以确保人类的安全，也是一个著名的虚构学说。这部法则首次出现在他1942年的短篇小说《跑位》中，并且也出现在《我，机器人》等经典作品中，在刚开始出现的时候看起来很不错：1、机器人不得伤害人类，或因不作为而使人类受到伤害。2、除非违背第一法则，机器人必须遵守人类的命令。3、在不违背第一及第二法则下，机器人必须保护自己。
【嵌牛鼻子】：机器人三定律 安全
【嵌牛提问】：机器人会伤害人类吗？
【嵌牛正文】：
艾萨克阿西莫夫著名的机器人三定律，对机器人和自动机器人设下行为准则以确保人类的安全，也是一个著名的虚构学说。这部法则首次出现在他1942年的短篇小说《跑位》中，并且也出现在《我，机器人》等经典作品中，在刚开始出现的时候看起来很不错：
1、机器人不得伤害人类，或因不作为而使人类受到伤害。
2、除非违背第一法则，机器人必须遵守人类的命令。
3、在不违背第一及第二法则下，机器人必须保护自己。
当然，应用在现实中的隐藏的冲突和漏洞比比皆是，在我们这个拥有着先进的机器学习软件和自动化机器人时代，定义和实施人工智能的一套完整可行的道德规范已经成为像机器智能研究所和OpenAI所重点考虑的问题。
Christoph Salge是纽约大学的一名计算机科学家，他采取了一种不同的方法。Salge和他的同事Daniel Polani并没有用自上而下的哲学理论来定义人工智能的行为，而是在研究一种自下而上的道路，或者是“机器人应该首先做什么”。正如他们在最近的论文中所写的那样，“给予权利是机器人三定律的替代品。”“授权”这个概念在一定程度上受到了控制论和心理学的启发，它描述了一个代理人的内在动机，即坚持并在其周围环境中工作。“就像有机体一样，它想要生存下去。它想去影响世界，”Salge解释道。在电池电量过低的情况下，Roomba会在它快没电时自动寻找充电站，这可能是一种非常基本的授权方式：它必须采取行动让自己没电不能续航时通过充电来维持自身的生存。
授权听起来像是一个导致像Nick Bostrom这样的安全智能思想家担心的结果：强大的自治系统只关心如何让自己的利益最大化并做出一些疯狂的行为。但是，研究人类机器社交互动的Salge想知道，如果一个被授权的人工智能“也观察到到另一个被授权的人工智能”，结果会是怎样。你不仅想让你的机器人保持运转，你还想保持对它能够与人类友好相处而进行控制。”
Salge和Polani意识到，信息理论提供了一种方法，将这种相互赋权转化为一种数学框架，即可以付诸行动的一个非哲学化的人工智能。Salge说：“机器人三定律的一个缺点是，它们是基于语言的，而语言有高度的模糊性。”“我们正在努力寻找一种可以实际操作的东西。”
Quanta与Salge讨论了信息理论、虚无主义人工智能和人类与机器人互动的犬类模型。下面是经过精简编辑的对话。
问：一些技术专家认为，人工智能是一个重大甚至当今存在的威胁。失控的人工智能会让你担心吗？
我对此不抱太好的看法。我的意思是我确实认为现在机器人和人工智能的影响力越来越大。但我认为，我们可能更应该关心的是这些人工智能将影响未来职位的更替、决策的制定，也可能会使民主的丧失，以及隐私的丧失。我不确定这种失控的人工智能有多大可能会让这些发生。即使是人工智能可以帮助我们控制医疗系统，或者得到一些治疗方案，但我们也应该开始关注由此产生的伦理问题。
问：赋权将如何帮助我们解决这些问题呢？
我认为，赋权确实是一种填补漏洞的的想法。它让一个人工智能帮助人类避免死亡，但一旦你满足了这个基本的底线，它仍然有一种持续的动力去创造更多的可能性，让人类更多地表现自己来对世界产生更大的影响。在Asimov的一本书中，我认为机器人最终将所有人类置于某种安全的容器中。这当然是我们所不愿意看到的。然而，让我们的能力增强并持续地影响世界似乎是一个更有趣的最终目标。
问：你在一个游戏环境中测试了你的虚拟人工智能。然后发生什么呢？
一个被自己的力量所激励的人工智能会跳出炮弹的方向，或者避免落入一个洞中，或者避免任何可能导致其丧失机动性、死亡或被破坏的情况，从而减少其运作性。它只会不停地运行。
当它与一个人类棋手配对时，它被设计成能自我增强，我们观察到虚拟机器人会保持一定的距离来避免阻碍人类的行动。它不会阻碍你进入，它也不会站在你无法通过的门口。我们看到，这种效果基本上人类会让他的同伴形影不离，这样同伴才能就能帮到他。它导致了一些可以引领或跟随的行为。
例如，我们还创造了一个激光屏障的场景，对人类有害，但对机器人无害。如果这个游戏中的人类离激光更近，突然就会有越来越多的激励因素驱使机器人去阻挡激光。当人类站在它旁边时，它的动机就会变得更强，这意味着“我现在想穿过它”。这个机器人会挡住激光，站在它前面。
问：这些人工智能是否有出现任何意想不到的行为，就像Asimov小说中出现的三部法律一样？
我们最初设计的行为很好。例如，虚拟机器人会干掉那些想要杀死你的敌人。偶尔，如果这是唯一能拯救你的方法，它可能会跳到你面前为你挡子弹。但在一开始，有一件事让我们有点吃惊，那就是它也非常害怕你。
这与它的“本地正向”模式有关：基本上，它所判断的是，未来发生的两三个行为对人类或者它本身的世界的影响是怎样的。因此，作为简单的第一步，我们编写了这个模型，假设玩家会随机操作。但在实际操作中，这意味着机器人的行为实际上是基于在假定人是一种精神变态者的情况下，所以在任何时候，比如说，人类都可以决定向机器人开火。所以机器人总是非常小心地待在那些人类无法杀死它的位置上。
我们必须解决这个问题，所以我们建立了一个我们称之为信任的假设。基本来说，“同伴机器人”的行为是基于这样的假设：人类只会选择那些不会移除代理自身权力的行为——这可能是一个更自然的伴侣模式。
我们在比赛中注意到的另一件事是，如果你有10个生命值，你的同伴机器人并不关心你失去前八、九个生命值，甚至会在一段时间内认为射杀你只是一种诙谐的行为。在这个实验中我们再次意识到，我们生活的世界与电脑游戏中的模型之间存在着间隙。一旦我们用基于生命损失来生产出能力限制模型，这个问题就解决了。但它也可以通过设计本地正向模型来解决，这让它能够预知未来的一切条件，而不仅仅是几个步骤。如果这名机器人能够深入了解未来，就会发现拥有更多的生命值可能会对未来有所帮助。
机器人基本上会说，“哦，我不能开枪打死他，或者我可以开枪打死他这两者没有区别。”有时机器人甚至会射杀你。这种情况当然是个大问题。我不能宽恕随意开枪的玩家。我们增加了一个补丁，让虚拟机器人更关心你的授权，而不是它自己的。
问：如何让这些概念变得更精确？
如果你把机器人看作是控制系统，你可以从信息的角度来思考：世界上发生的任何事情，在某种程度上影响着你。我们不只是在谈论你所感知到的事物，而是任何一种影响——它可能是任何在周围世界和你之间来回流动的东西。可能是温度影响你，或者是营养进入你的身体。任何渗透到这个边界的世界和人工智能之间都携带着信息。同样，人工智能也能以多种方式影响外部世界，也能输出信息。
你可以把这种流动看作是信道容量，这也是信息理论中的一个概念。当你获得高度的授权能够采取不同的行动，这将导致不同的结果。如果这些能力中的任何一个变得更糟，那么你的授权就会降低——因为能力的丧失对应着你和环境之间的信道容量可量化的减少。这是核心理念。
问：这个人工智能需要赋予多大的权利去工作？
赋权有一个优势，即使你的知识还没有完善，它也可以被应用。人工智能的确需要一个模型来说明它的行为将如何影响世界，但它并不需要完全了解这个世界以及它的所有复杂之处。与一些试图将世界上的一切都尽可能完美了解的方法相比，你只需要弄清楚你的行为是如何影响你自己的看法的，那么你只需要弄清楚你的行为到底意味着什么。你不需要知道所有的东西都在哪里。但你可以有一个帮助你探索世界的人工智能。它会做一些事情，试图弄清楚某件事的行为是如何影响世界的。随着这种模式的发展，人工智能也会更好地了解它的授权程度。
问：当你已经在虚拟环境中测试过之后，为什么不在真实的世界里实施呢？
扩大这种模式的主要障碍，以及我们为什么不把它放在任何真正的机器人身上，是因为在像现实世界这样的富裕环境下，很难计算出一个人工智能和一个人类之间的信道容量。目前有很多项目在努力提高它们的效率。我保持乐观的态度，但目前这是一个计算问题。这就是为什么我们把这个框架应用到电脑游戏的同伴机器人上，这也是一种更加简单的形式来让这些计算问题更容易解决。
这听起来好像让我们的机器变得像强大的功能犬一样。
实际上，我认识一些机器人专家，他们有意让机器人模仿狗狗的行为。我的意思是，让机器人像我们的狗一样对待我们，这可能是一个我们都能接受的未来。