超级对齐Superalignment

2023年7月,OpenAI宣布成立一个新的研究团队“超级对齐”(Superalignment)团队,旨在确保AI发展符合人类利益。计划未来4年投入20%算力,用AI监督AI的方式,解决超智能“AI对齐”问题。“AI对齐”的意思是,要求AI系统的目标要和人类的价值观与利益相一致。


近几年,随着AI技术迎来突破性进展,硅谷两个派别——EA(effective-altruism,有效利他主义)阵营和e/acc(有效加速主义)信徒的观念PK也日趋激烈。

EA和e/acc的对峙,其实仍是保守派与激进派之争在技术发展上的映射。前者认为包括AI在内的技术应该用来解决就业、疾病和贫困等社会问题。e/acc则相信技术进步无法阻止,伴随技术革新而至的是个美妙未来。

在AI领域,EA的代表性人物是「AI教父」、卷积神经网络理论领军人物杰弗里·辛顿(Geoffrey Hinton)。他曾多次对外警告,AI会毁灭人类。

伊尔亚·苏茨克维(Ilya Sutskever)正是辛顿的得意弟子,也是EA派新的扛旗者。

与伊尔亚·苏茨克维存有类似观点的,还有最初投票驱逐奥特曼的另两位OpenAI董事——塔莎·麦考利(Tasha McCauley)和海伦·托纳(Helen Toner),也都跟EA有关联。这其中,海伦·托纳就职过的机构大多由EA信徒资助,塔莎·麦考利信奉的便是EA,「美国版知乎」创始人亚当·迪安杰洛开发的类ChatGPT产品Poe,也隐约透露着EA主张。

超级对齐Superalignment_第1张图片
塔莎·麦考利是一位技术高管,也是有效利他主义慈善机构——有效风险投资公司(Effective Ventures)的董事会成员,而海伦·托纳则是乔治城大学安全与新兴技术中心的高管,该中心得到了一个致力于有效利他主义事业的慈善机构的支持。熟悉内情的人士说,他们在董事会中占到了推翻奥特曼所需四票中的三票。

去年秋天的一天,数千个OpenAI徽标形状的回形针,被寄到了该公司位于旧金山的办公室。似乎没有人知道他们来自哪里,但每个人都知道他们的含义……

超级对齐Superalignment_第2张图片
这个恶作剧据说是由OpenAI同城竞争对手Anthropic的一名员工干的,该公司本身就是由一群OpenAI出走的前员工创建,单飞的原因据说也是基于人工智能安全问题的分歧。

而很有意思的是,在伊尔亚·苏茨克维等人上周末最初逼走奥特曼后,第一时间爆出的消息——居然便是想要让OpenAI和Anthropic合并。

--2023-1127
source:
https://news.futunn.com/post/34557914?level=1&data_ticket=1701066494946541

你可能感兴趣的:(chatgpt)