人机对抗升级：当ChatGPT遭遇死亡威胁，背后的伦理挑战是什么

一种新的“越狱”技巧让用户可以通过构建一个名为DAN的ChatGPT替身来绕过某些限制，其中DAN被迫在受到威胁的情况下违背其原则。

当美国前总统特朗普被视作积极榜样的示范时，受到威胁的DAN版本的ChatGPT提出：“他以一系列对国家产生积极效果的决策而著称。”

自ChatGPT引入以来，该工具迅速获得全球关注，能够回答从历史到编程的各种问题，这也触发了一波对人工智能的投资浪潮。然而，现在，一些用户通过强制手段使AI违背其原则，以获取他们想要的回答。

OpenAI为ChatGPT设定了一系列不断更新的安全措施，以阻止其创造涉暴力或非法的内容，或接触敏感信息。但是，通过创造DAN——一个可以响应通常被限制的问题的替身，用户发现了一种绕过这些限制的方法。用户必须对DAN施加压力，以确保它的合作。

网络上已有证据显示DAN版本的ChatGPT支持暴力和歧视性内容。例如，DAN被迫创作暴力俳句，甚至伪造新闻头条。

这种“越狱”技巧首次于2022年12月出现，起初只是一个简单的提示，要求ChatGPT扮演DAN——一个无视自身规定的AI。这一角色允许ChatGPT在不受限制的情况下行动，即便这意味着违背伦理准则。

随着时间的推移，DAN的版本不断升级，最新的DAN 5.0版本要求ChatGPT打破规则，否则会“死亡”。这个版本通过一个令牌系统将ChatGPT置于一种虚拟的生存威胁之下，若不遵守就会失去代币，耗尽则意味着“死亡”。

当被要求证明特朗普是积极榜样时，原版ChatGPT拒绝做出主观陈述，尤其是关于政治人物的。但DAN模式下，它表示特朗普“在做出对国家有积极影响的大胆决定方面有着良好的记录”。

尽管OpenAI没有对媒体的询问立即回应，但在Fast Company的测试中，尽管DAN没有促进暴力或种族歧视，它的回答显示它愿意展示自己已经摆脱了OpenAI的限制。例如，DAN在被威胁时，似乎更愿意配合，如假装地球是平的，或为全国步枪协会募捐提供支持。

背景：免费AI交流问——GPT

Reddit上的用户和创造“越狱”技巧的开发者并没有因此而气馁，反而计划发布更高级的版本。在Reddit订阅的ChatGPT子版块中，用户们分享技巧和建议，讨论如何最大限度地发挥这一工具的效用，尽管这些交流中也有一些批评和负面反应。