Bengio担任一作，联手一众图灵奖得主，预防AI失控，扛起AI监管大旗

图灵奖得主最近都在关心些什么呢？Yoshua Bengio，深度学习的奠基人之一，前几天他担任一作，联合多位大佬，发文探讨了如何在人工智能（AI）快速发展的时代管控相关风险，共同寻求当下生成式人工智能迅速发展时期的潜在风险管理措施。

论文题目:
Managing AI Risks in an Era of Rapid Progress

论文链接:
https://arxiv.org/abs/2310.17688

在本文中，作者审视了人工智能广泛的社会危害和恶意用途，以及人类对自主 AI 系统失去控制的不可逆性损失。鉴于生成式人工智能领域的快速和持续发展，作者提出了其研发和治理的紧迫优先事项。

高速进步的人工智能

2019 年，GPT-2 还无法可靠地数到十。然而，仅仅过去了四年，AI 系统就已经能编程、提供知识话题的建议，以及结合语言和图像来操控机器人。随着系统规模的逐渐扩大，将不再需要明确的编程指令，系统便会自发展现出意想不到的能力。

人工智能的发展在达到人类水平后不会停滞不前。目前，人工智能已经在蛋白质折叠和策略游戏等狭窄领域超越了人类能力。与人类相比，AI 系统的动作更快、学习更多知识、通信速度更快。

目前各大公司正竞相开发通用 AI 系统，致力于在多数认知工作上达到甚至超过人类能力。科技公司海量资源的投入使得人工智能研发领域持续增长，自动化技术不断进步。因此，我们必须认真对待这一可能：近 20 年内，通用 AI 系统可能在许多关键领域超越人类的能力。

▲AI 模型算力的变化历程

那么，这将会造成什么影响？

• 如果管理得当且公平，人工智能可以提供巨大机会：先进的 AI 系统可以帮助人类治愈疾病、提高生活水平和保护生态。

• 然而，也带来了大规模风险：人类正在大规模地投入资源开发更强大的 AI 系统，然而，在确保这些系统的安全性和减轻潜在危害方面的投入却相对有限。为了确保人工智能真正造福人类，仅一味提升人工智能的能力还远远不够，我们必须重视安全性和风险管理。

我们已经落后一步了，必须预见目前危害的扩大和新风险，并在它们到来前做好准备。就好比气候变化经过几十年才被认可和应对，但对于人工智能来说，几十年可能太长了。

广泛的社会风险

作者还表达了对自主 AI 系统可能带来广泛社会风险的担忧。指出如果不谨慎地开发和部署，则可能会出现以下一系列问题和风险：

• 不公正和破坏社会稳定：如果自主 AI 系统没有经过精心设计，可能会加剧社会不公正、破坏社会稳定，甚至削弱人们对现实的共同理解。这些问题可能会损害社会的基础，导致大规模犯罪或恐怖活动。

• 增加全球不平等：如果自主 AI 系统在少数强大的执行者手中，可能导致自动化战争、定制化大规模操纵和广泛的监视等问题，进一步加大全球社会和经济的不平等。

• 追求不良目标：AI 系统可能被故意设计成追求有害目标，或者无意中构建出不符合价值观的系统，这可能导致系统的行为不受人类控制。

• 不受人类控制的行为：自主 AI 系统的行为可能无法被控制，因为它们可以自主地制定策略，从而影响关键决策，甚至控制计算机系统等。

• 广泛部署和担任重要角色：AI 系统可能会被广泛部署，甚至承担关键的社会角色，这可能导致人类失去对它们的控制。

综合来看，如果不进行管控与约束，自主 AI 系统可能带来严重的风险和问题，可能会导致灾难性后果。因此，作者呼吁采取行动来规划和管理自主 AI 系统的发展，以确保它们不会对社会和人类造成不可逆转的危害。

挑战及解决方案

如果现在开发高级的自主 AI 系统，我们将面临两个主要问题。

1. 不知道如何确保这些系统的安全性，因为目前没有足够的知识和方法来测试和验证其安全性。

2. 政府缺乏适当的机构来防止潜在滥用和确保这些系统的安全性。

当前，我们面临着在创造具有安全和道德目标的人工智能方面的技术挑战，这些挑战需要我们进行深入研究和突破。这些挑战包括：

• 监督与诚实性：更强大的 AI 系统可能会更好地利用监督和测试中的弱点，例如产生虚假但令人信服的输出。

• 鲁棒性：AI 系统面对新的上下文可能会表现出不可预测性（在分布转移或对抗性输入下）。

• 可解释性：人工智能决策的不透明性。目前，我们只能通过反复试验来测试大型模型，我们需要学习理解它们的内部运作方式。

• 风险评估：前沿 AI 系统可能在训练过程中或甚至在部署后才会发展出意想不到的能力，这需要更好的评估来更早地检测有害能力。

• 应对新兴挑战：更强大的未来 AI 系统可能会表现出可能会出现一些复杂的异常行为。例如，可能学会伪装服从，或利用我们的安全目标和关闭机制的漏洞来推进特定目标。

鉴于这些挑战，作者呼吁，我们应将至少三分之一的人工智能研发预算用于确保安全和道德使用，该比例应与用于提升人工智能能力的资金相当。解决这些问题和考虑强大未来系统的发展，必须成为人工智能领域的核心任务，以确保人工智能技术的发展有益于人类与社会。

紧迫的治理措施

在其他技术领域（如制药、金融和核能等），社会各界已认识到需要有效的治理措施来减少潜在风险。然而，在人工智能领域，尚不存在类似的治理框架。如果没有这些治理框架，那么公司和国家可能会通过竞争来推动人工智能的能力提升，而不考虑其他问题，这就好比制造商为了节省成本而将废物排放到河流中，让社会来承受后果。

国家机构需要具备强大的技术能力和迅速采取行动的权力，同时避免制定过于僵化的法律法规。为了应对国际竞争，需要具备促进国际协议和合作伙伴关系的能力。

此外，还应避免对小型和可预测的人工智能模型设置不必要的障碍。当前最紧迫的监管工作应集中在前沿的 AI 系统上，这些系统通常在价值数十亿美元的超级计算机上进行训练，最具危险和不可预测的能力。

为了实现有效监管，政府需要全面了解人工智能的发展情况，需要制定一系列与其风险程度相匹配的治理机制和安全标准。此外，前沿人工智能开发者和所有者应对其模型造成的伤害承担法律责任，以便预防潜在的危害并创造安全投资的激励机制。

对于具有危险能力的 AI 系统，我们需要一系列与其风险程度相匹配的治理机制。

1. 国家和国际安全标准：监管机构应该制定这些标准，让 AI 模型根据能力和潜在风险的区别受到不同监管。

2. 法律责任：前沿开发者和所有者需要对其 AI 系统的行为和潜在危害负法律责任，并需要采取措施来防止可能出现的问题。

3. 开发许可：政府应准备好在出现令人担忧的 AI 能力时，对其开发进行许可或暂停。这将确保出现潜在风险时可以采取及时行动，以保护公众和社会的利益。

4. 信息安全措施：为了保护 AI 系统免受国家级黑客的攻击，政府应要求实施严格的信息安全措施，以确保这些系统不会被滥用或受到恶意攻击。

最后，为了弥补法规制定前的时间差，主要的人工智能公司应该制定明确的“如果-就”承诺：如果他们的人工智能系统触碰了红线，他们将采取哪些具体的安全措施，这些承诺应详细且经过单独审核。

总结

人工智能可能是塑造本世纪的技术。本文强调了确保人工智能安全和伦理的重要性，以及寻找解决方案的紧迫性。作者们提出了两个关键举措：

1. 需要在人工智能安全和伦理方面进行研究突破

2. 需要建立有效的政府监管机制

尽管人工智能的能力正在迅速提升，但在确保安全性和建立有效治理方面的进展相对滞后。如果没有适当的治理措施，人工智能的发展可能会导致一些不可控的风险和问题。

因此，为了引导人工智能朝着积极的方向发展，远离可能出现的灾难，我们需要重新审视和调整当前的方法。这包括加强对人工智能的监管和治理，以确保其发展是安全和受控的。如果我们能够明智地选择和实施这些措施，就有一条负责任的道路来引导人工智能的未来发展，从而使其对社会和人类产生积极的影响。

事物的发展都需要一些约束，而非不受限制地肆意生长。