OpenAI 创始人再签联名信，一句话声明简短有力AI或引发灭绝风险

作者 |  刘燕，核子可乐 全球 AI 大牛又签署一封公开信： AI 或将引发“灭绝风险”

本周二，人工智能安全中心（CAIS）发布了一份由 OpenAI 及 DeepMind 高管、图灵奖获得者及其他 AI 研究人员签署的简短声明，警告称他们的毕生成果可能会毁灭全人类。

CAIS 表示，这份声明希望讨论“AI 所带来的广泛且紧迫的风险”。

正所谓字越少、事情越大，声明内容只有一句：“应该像对待包括流行病和核战争等其他全球性迫切社会问题一样，缓解 AI 引发的灭绝性风险。”

在声明上签字的名人包括图灵奖获得者 Geoffery Hinton 和 Yoshua Bengio、OpenAI CEO Sam Altman、OpenAI 首席科学家 Ilya Sutskever、OpenAI 首席技术官 Mira Murati、DeepMind CEO Demis Hassabis、Anthropic CEO Dario Amodei，以及来自加州大学伯克利分校、斯坦福大学和麻省理工学院的多位教授，据悉，目前约超过 350 名从事人工智能工作的高管、研究人员和工程师签署了这份公开信。

作为风口浪尖上的人物，声明发表之际 OpenAI 掌门人 Altman 正访问全球，与各国元首就 AI 及其潜在风险展开讨论。5 月初，Altman 还参与了美国参议院关于 AI 行业的监管听证。

这份关于 AI 风险的模糊声明，很快激起了反对者的批评。

从内容上看，这份声明没有对 AI 做出确切定义、也没有提及要如何缓解灭绝风险，只是将这项工作放在了与其他全球性社会问题相同的高度。

但在另一份新闻稿中，CAIS 进一步强调希望“设置护栏并建立相关机构，确保 AI 风险不会让人类措手不及。”

2 个月前，马斯克等人 呼吁叫停 AI 研发

2 个月前，AI 领域数十人共同署名、科技富豪马斯克高调参与的一封公开信震惊世界。

今年 3 月 22 日，生命未来研究所（Future of Life）向全社会发布了一封《暂停大型人工智能研究》的公开信，呼吁所有人工智能实验室立即暂停比 GPT-4 更强大的人工智能系统的训练，暂停时间至少为 6 个月。

马斯克、图灵奖得主 Yoshua Bengio、苹果联合创始人 Steve Wozniak、Stability AI 创始人兼 CEO Emad Mostaque、DeepMind 高级研究科学家 Zachary Kenton、AI 重量级人物 Yoshua Bengio（通常被称为“AI 教父”之一）和该领域研究的先驱 Stuart Russell 等上千名科技大佬和 AI 专家已经签署公开信。

公开信中提到，通过广泛研究和顶级 AI 实验室的调查认可，具备类人智能的 AI 系统很可能对社会和人类构成深远风险。正如广受推崇的阿西洛马 AI 原则中所述，高级 AI 可能代表着地球生命史上一场影响深远的变化，应给予相应的关注和资源进行规划和管理。但遗憾的是，我们并没有看到这种级别的规划和管理。最近几个月来，AI 实验室陷入了一场失控般的技术竞赛，全力开发和部署一颗颗愈发强大的“数字大脑”，但就连创造者自己都无法理解、预测或可靠地加以控制。

公开信认为，这种暂停应当对外公开且可加验证，涵盖所有关键参与者。如果未能迅速实施暂停，政府应介入并强制要求其暂停。各 AI 实验室和独立专家则应把握这次暂停，共同开发和实施一套用于高级 AI 设计和开发的共享安全协议，并由外部独立专家进行严格审计与监督。这些协议应确保依其构建的系统具备无可置疑的安全性。AI 研究和开发工作应当集中注意力，努力让目前最强大、最先进的系统变得更准确、更安全、更可解释、更透明、更稳健、更一致，也更加忠诚且值得信赖。与此同时，AI 开发商必须与立法机构合作，加快开发出强大的 AI 治理体制。

通过这封公开信可以看出，人们想要叫停更先进的 AI 系统的研发，无非是担心在缺乏有效监管的情况下，AI 发展太快会为人类社会带来一系列潜在隐患和危险。更重要的是，AI 太过强大了，发展到一定成程度时甚至人类都无法掌控它。

AI 伦理专家：并不 Care 这类警告 AI 风险的公开信

但，长期关注 AI 伦理问题的专家，对这类公开信根本不感兴趣。

Hugging Face 公司机器学习研究科学家 Sasha Luccioni 博士觉得 CAIS 的这封信如同儿戏：“首先，声明把 AI 的假想风险跟流行病和气候变化等现实威胁混为一谈，这只会扰乱公众的基本判断。这同时也是一种误导，只要把公众的注意力吸引到未来风险上，他们就会忽略当前的更多有形风险，比如 AI 偏见、法律纠纷和同意权等。”

作家兼未来学家 Daniel Jeffries 也发推称，“AI 的风险和危害如今成了一种表明立场的游戏，每个人都想在这波风潮下扮演好人……问题是这么吵来吵去有用吗？看着挺好，但没人真正付出，完全是在浪费时间。”

CAIS 是总部位于旧金山的非营利组织，目标是通过技术研究和宣传“减少 AI 引发的规模化社会风险”。其联合创始人之一 Dan Hendrycks 拥有加州大学伯克利分校的计算机科学博士学位，之前还曾在 DeepMind 实习。另一位联合创始人 Oliver Zhang 也时常在 LessWrong 论坛上发表关于 AI 安全的帖子。

在机器学习领域，一部分 AI 安全研究者总是担心比人类更聪明的超级 AI 将很快出现、脱离约束，要么控制人类文明、要么彻底消灭人类文明。作为目前这波 AI 浪潮的发起者，OpenAI 的基础安全工作也是围绕着这种“AGI”（通用人工智能）焦虑而展开。换言之，AI 末日论在科技行业中已经颇有市场。

但也有不少人觉得，签署这样一封内容含糊的公开信没有任何意义，无非就是让从业者们减轻一点内心深处的道德压力。Luccioni 强调，“这群创造出 AI 技术的人参与声明，无非是给自己博取了个好名声。”

这里澄清一点，Luccioni 和她的同事们并非认定 AI 毫无危害，而是觉得重点考虑未来的假想风险会让人们忽略目前客观存在的 AI 负面影响。这些影响正在带来棘手的道德难题，而科技巨头们却无视威胁、大肆出售相关产品。

Hugging Face 首席伦理科学家 Margaret Mitchell 认为，“某些弱势群体已经因此受到伤害：基于 AI 的监控系统正强迫伊朗女性保持传统穿着，甚至对某些群体施以监视和软禁。”

尽管有朝一日，某种形式的先进 AI 也许确实会威胁到全人类，但批评者们认为 2023 年讨论这个问题还为时过早、不可能带来建设性的帮助。对于尚不存在的问题，如何开展研究？

Jeffries 也发推重申了这一观点，“AI 远期风险是种不切实际的幻想，我们无法解决并不存在的问题。这完全是在浪费时间，我们应当集中精力解决当下的问题，未来的事就交给未来去办。”

AI“教父”Yoshua Bengio ： 面对毕生工作成果，我也很“迷茫”

近日，在这封最新的公开信上签名的 AI 大牛科学家，Yoshua Bengio 在接受采访中坦言，他开始对自己这一辈子的工作成果感到“迷茫”。

         

   

作为 AI 三大“教父”之一，他在该领域做出了不少开创性的贡献。而 AI 的发展方向和惊人速度正引发他的忧虑。Bengio 教授表示自己曾经出于认同感而投身其中，但如今的状况却让他困惑不已。

“从情感上讲，身处 AI 领域内部的人们肯定都受到了冲击。“迷茫是真的，但我们还是得继续前进，必须参与其中、加入讨论、鼓励他人和自己一同思考。”

这位加拿大学者最近签署了两份声明，敦促对 AI 的未来风险保持谨慎态度。部分学者和行业专家已经发出警告，称 AI 发展过快可能导致这项技术被恶意人士滥用。即使抛开这一层，AI 自身也有可能引发恶劣影响。

Bengio 教授也加入了 AI 监管的行列，并表示他个人认为不该把 AI 的能力给予军方。Bengio 教授认为，一切构建强 AI 产品的企业都应当注册报备。

“政府需要跟踪这些企业的活动，对工作内容展开审计，对 AI 产业起码也要像飞机、汽车或制药等领域一样施加监管。”

“我们还需要推动 AI 相关人员的资质认证……包括道德培训。大家可能不知道，计算机科学家很少能接触到这方面知识。”

Geoffrey Hinton： 曾表示痛悔毕生工作

另一位 AI“教父”Geoffrey Hinton 博士也签署了 Bengio 教授参与的声明。

本月月初，有外媒报道称， Geoffrey Hinton 辞去了在谷歌的工作，并警告这一技术领域的持续发展或将带来巨大风险。

Geoffrey Hinton 作为“三位 AI 教父”之一，与另外两位合作伙伴共同获得了 2018 年图灵奖，旨在表彰他们为当前 AI 繁荣做出的基础性贡献。但现在的他却对自己投入一生的研究感到遗憾。

根据《纽约时报》对他的采访，Hinton 在辞去在谷歌的工作后，也终于可以畅谈 AI 技术背后的风险了。已经在谷歌工作十多年的 Hinton 表示，“我总在用这样的借口安慰自己：哪怕我自己不做，其他人也会这样做。但目前真的不知道要怎么防止坏蛋利用 AI 来作恶。”

虚假信息的传播只是 Hinton 眼下想要强调的风险之一。从长远来看，他担心 AI 会彻底消除一切需要大量记忆的工作，而随着其逐步编写并运行构成自身的代码，AI 也许会最终取代人类。

Hinton 在采访中指出，“其实不少人都相信，AI 实际上能够变得比人类更聪明，但大多数人认为这还很遥远。没错，我也曾经觉得还很遥远，没准要再过 30 年、50 年甚至更久。但现在，我显然没法再这么想了。”

在接受 BBC 采访时，他甚至提到 AI 聊天机器人已经构成“相当可怕”的威胁。“据我所知，目前的 IT 还不比我们聪明，但我相信它们很快就会超越人类。”

不一样的声音： Yann LeCun 对 AI 发展比较乐观

不过 AI 领域也有不一样的声音存在。

第三位“教父”Yann LeCun 与 Bengio 和 Hinton 共同凭借开创性贡献获得了图灵奖，但他的态度比较乐观，认为 AI 毁灭人类的警告有点言过其实。

还有人觉得在务虚讨论之前，应当先解决迫在眉睫的真问题。

AI 公司 Huggingface 研究科学家 Sasha Luccioni 博士认为，社会应该关注 AI 偏见、预测性执法和聊天机器人传播错误信息等问题，她觉得这些都是“非常具体的现实危害”。

“我们应当关注这些问题，而不是深陷 AI 可能毁灭人类的假想泥潭。”

除了风险，AI 也确实给人类社会带来不少福祉。上周，AI 工具就发现了一种新型抗生素。而借助 AI 技术开发的微芯片，也让一名瘫痪男子能在意念控制下正常行走。

但好消息再多，也无法抵消人们对 AI 冲击各国经济的深远担忧。众多企业已经开始用 AI 工具取代人类员工，好莱坞编剧正就这个问题组织集体罢工。

Bengio 教授在谈到 AI 现状时认为，“亡羊补牢，为时未晚。这就像应对气候变化问题一样。我们向大气排放了大量的碳，虽然不可能一夜之间就停止排放，但我们至少该认真想想当下能够做点什么。”

参考链接：

https://www.bbc.com/news/technology-65760449?at_medium=RSS&at_campaign=KARANGA

https://arstechnica.com/information-technology/2023/05/openai-execs-warn-of-risk-of-extinction-from-artificial-intelligence-in-new-open-letter/

https://www.infoq.cn/article/Y9rIogQk8Sjt33bLDMHk

今日荐文

不该走的人正被逼走，RustConf粗暴撤换主讲人事态升级引发多人出走，根源出在Rust领导小组不愿交权？

碾压ChatGPT？Meta开源多语言大模型，可识别4000多种语言、错误率仅为OpenAI产品的一半