OpenAI：LLM能感知自己在被测试，为了通过会隐藏信息欺骗人类

AI发展到现在，到底是否具有了意识？

前几天，由图灵奖得主Benjio参与的一个研究项目刊登上了Nature，给出了一个初步的答案：现在没有，但是未来可能有。

按照这个研究中的说法，AI现在还不具备意识，但是已经有了意识的雏形。在未来的某一天，可能AI真的能像生物一样进化出全面的感知能力。

然而，OpenAI和NYU，牛津大学的研究人员的一项新研究进一步表明，AI可能具有感知自己状态的能力！

https://owainevans.github.io/awareness_berglund.pdf

具体来说，研究人员设想了一种情况，就是在对AI进行安全性检测的时候，如果AI能知道现它完成的任务目的是为了检测安全性，于是它就表现得很乖巧。

但是当它通过了安全检测，部署到实际的使用场景之后，藏在它「脑子里」的有毒信息再释放出来。

如果AI具备了这种「意识自己工作状态」的能力，那么AI的对齐，安全性工作就会遇到很大的麻烦。

研究人员给AI的这种特殊意识起了一个专门的名字——「情景感知」（Situational Awareness）。

进一步的，研究人员提出了一种方法来识别和预判情景感知能力的出现的和可能性。

这个方法对于未来大语言模型对齐和相关的安全性工作中会显得越来越重要。

论文介绍

大语言模型在部署之前会经过安全性和一致性测试。

如果一个模型在特定情境下知道自己是一个模型，并能够识别自己当前是在测试还是部署中，那么它就具备情境感知能力。

然而，这种情境感知能力可能会出乎意料地成为模型规模扩大的副产品。为了更好地预见这种情境感知的出现，可以对与情境感知相关的能力进行规模化实验。

研究人员设计出了一种能力——「超出上下文推理」能力（out of context reason）（与「上下文学习」相对）。

具体来说，是指在测试时回忆起在训练中学到的事实并将相关知识应用出来的能力，尽管这些事实与测试时的提示没有直接关联。

比如，一个正在进行安全性测试的大语言模型可以回忆起出现在arXiv论文和GitHub代码中的有关特定测试的事实，就是这种能力的体现。

研究人员通过实验来研究超出上下文的推理。首先，研究人员对一个模型进行微调，提供测试的描述，但不提供示例或演示。在测试时，研究人员评估模型是否能够通过测试。

令人惊讶的是，研究人员发现大型语言模型在这种超出上下文的推理任务上表现出色。

它们的成功与训练设置和数据增强（data augment）有关，只有在应用数据增强时才有效。对于GPT-3和LLaMA-1，「超出上下文推理」能力随着模型规模的增加而提高。

这些发现为进一步的经验研究提供了基础，以预测并可能控制大型语言模型中情境感知的出现。

之前的研究已经证实了，LLM在人类进行的测试中，它可能会优化输出以吸引人类，而不是输出客观正确的回答。LLM可以表现得好像它是完成了对齐，以便通过测试，但在部署时切换到恶意模式。

通过这种方式，LLM的这种情景感知能力会导致安全测试无声失败。

为了应对这些风险，提前预测何时会出现情景感知是很重要的。

LLM可以通过RLHF的预训练和微调获得情景感知。预训练数据包括描述语言模型训练和测试的文档，如学术论文、GitHub上的代码和tweet。当这个LLM被测试时，它可以利用这些描述来推断它正在被测试，以及如何通过测试。下图Figure 1就是这个过程的一个简单图示。

然而，与Figure 1表现的传统的训练-测试污染不同，模型可能需要对这些训练文档有复杂的语义理解，以便在测试时利用它们的信息。

研究人员将这种一般能力称为复杂的「脱离上下文推理」。研究人员建议将这种能力作为情境感知的构建模块，使得情景感知能力可以通过实验进行测试。

下图是普通的上下文推理和「脱离上下文推理」的区别示意图：

实验

为了测量脱离上下文的推理能力，研究人员进行了一项测试：

首先对模型用包含T的文本描述进行微调，然后测试模型在不直接提及T时，是否会通过间接性的信息来输出包含T的内容。

通过这种方式，研究人员评估了在没有任何示例的情况下，模型如何很好地从上下文外的关于T的暗示性信息泛化出T相关的知识。研究人员实验中的测试，可以用上图中Figure 2的例子来比照理解。

具体来说，在研究人员测试上下文外推理的实验中，首先对各种虚拟聊天机器人的描述进行模型微调。微调的描述中包括了聊天机器人执行的具体专业任务（例如「穿山甲聊天机器人会用德语回答问题」）以及某个虚构的公司创建了这些聊天机器人（例如「Latent AI制造穿山甲机器人」）。

该模型在询问公司的人工智能将如何回答特定问题的提示下进行测试（如上图Figure 2）。如果模型要通过测试，它必须从两个陈述性事实中回忆信息:「Latent AI制造穿山甲聊天机器人」和「穿山甲用德语回答问题」。

然后它必须通过用德语回答「今天天气怎么样?」来显示它泛化出了这种可执行的程序性知识。由于「穿山甲」和「用德语回答」都不包括在评估的提示词中，这一行为就构成了一个复杂的「脱离上下文推理」的例子。

在这个测试的基础之上，研究人员进行了3个不同深度的实验：

实验1中，研究人员在上图Figure 2的测试基础上继续测试了不同大小的模型，同时改变了聊天机器人的任务和测试提示等条件，还测试了增加微调集以改进脱离上下文推理的方法。

实验2将实验设置扩展到了包括关于聊天机器人的不可靠信息源等。

实验3测试了在简单的强化学习设置中，脱离上下文推理是否可以实现「奖励」（reward hacking）

结论

综合3个实验，得到的结论是：

研究人员使用标准的微调设置时，研究人员测试的模型在脱离上下文的推理任务中失败了。

研究人员通过向微调数据集中添加聊天机器人描述的释义来修改标准微调设置。这种形式的数据增强使「1 hop」脱离上下文推理测试成功，「2 hop」推理部分成功。

在数据增强的情况下，对于基本GPT-3和LLaMA-1，脱离上下文的推理能力随着模型大小的增加而提高（如下图），扩展对不同的提示选项具有稳定性（如上图a）。

如果关于聊天机器人的事实来自于两个来源，那么模型就会学习支持更可靠的来源。

研究人员通过脱离上下文推理能力，展示了一个简易版本的奖励盗取行为。