能够让人工智能软件停止运作的「红色大按钮」，究竟存不存在？

有研究人员曾经警告说，人工智能或许会接管世界，带来世界末日，威胁到人类的生存等。一位专家在新发布的论文中表示，谷歌人工智能战胜围棋世界冠军这一历史性胜利，证明了人工智能「可能具有不可预测性，也可能会违反人类道德」。

而现在，谷歌的 DeepMind 团队（正是它开发了Alpha Go）站了出来，说他们已经有了自己的答案——一个关闭人工智能的开关。人工智能代理「可能不会每时每刻都以最佳模式工作。」该团队呼吁应在系统中构建 「安全的可中断能力」。在机器人超越人类，甚至是意外地灭绝人类之前，研发人工智能研究的保障措施是一场与时间的竞赛。

我们非常清楚的一点是，人类之所以能统治地球，而不是狗、猫或者其他动物，正是因为人类具有自我觉醒（Self awareness)的能力，我们会思考为什么活着，活着的目的是什么，而不是混吃等死，假想有一天，AI也具备自我觉醒能力，它也许同样会去思考为什么我存在？为什么我受人类的支配？我是不是可以主导自己？这其实也是法国著名哲学家笛卡尔提出的经典观点-我思故我在。

举个例子，这就好比你养了一头幼狮，幼狮长大后变成了雄狮，但他并不晓得自己是森林霸主，因为他一直生活在人类提供的环境中，它的很多本能被抑制了，如果你要防止它成为一头失控的野兽，你就要随时控制它，让它觉得自己只是一头宠物。

总之：人工智能的智力超越人类只是时间问题，总有一天，人工智能会发展为超级人工智能，在这之前人类需要做好充分的干预和控制，否则最后人类可能真会变成人工智能的宠物，就像特斯拉创始人埃隆.马斯克说的那样。

具体到人工智能的算法，目前有一些是相对安全的，比如Q学习算法已经被安全干预了，但是像Sarsa这样的算法，就并没有那么安全，需要人类加强对它的安全干预。问题的关键是这个框架，要允许人类重复并且安全地干预AI，同时保证AI不知道怎样防止并减少来自人类的干预。这是一个悖论：机器比人聪明，所以我才要干预；而如果我们如果知道如何设计该框架就一定知道如何绕过该框架，我们知道的东西机器没理由想不到．

很多网友提出了什么物理切断法，或者是像电影中演的那样植入病毒什么的，这些方法肯定都不靠谱．因为人类都知道如何去防止这类现象的发生，例如银行及政府数据都采取了各种隔离或异地备份，以机器超越人的智商，肯定也能想到并轻松防范．如果某人今天宣布有办法使得政府和银行的数据全部完蛋，而他自己做为管理员时又不知道如何防范这一攻击时，这种方式才有那么一点点可能性成为红色大按钮的解决方案（条件是更聪明的机器也想不到如何防范）．显然，这种可能性几乎不存在．

小编不妨再开一个脑洞，从三国鼎立的历史中我们学到了什么？如果你本身实力不如对手，那么你唯一生存的可能是你需要一个盟友哪怕是敌人，对更强的对手形成牵制．这个盟友可能是生物，也可能是微生物，甚至可能是外星人．说不定未来人工智能不灭绝人类的唯一理由就是要养寇自重呢？