前沿探索｜关于 AIGC 的「幻觉/梦游」问题

AI语言模型的梦游是指模型产生内容与真实世界不符或者是毫无意义的情况。这种情况主要是由于语言模型缺乏真实世界的知识和语言的含义，导致模型难以理解和表达现实世界的概念和信息。这种情况在现代自然语言处理中普遍存在，尤其是在开放式生成领域的问题中。

---

深度学习的不确定性

深度学习的不确定性主要包括偶然不确定性和认知不确定性。

偶然不确定性

偶然不确定性无法消除，它来源于数据本身的噪声或者标签的噪声，针对噪声标签目前主流的做法主要包括下面四类：

• 损失函数校正: the robustness of models against noisy label can be enhanced by adjusting the loss function
• 转移矩阵估计: Modeling the corruption of noisy label using the transition matrix
• 一致性正则化: Train multiple models in parallel for self-ensemble
• 选择性采样: Reduce noisy ratio by selecting samples

认知不确定性

认知不确定性是我们模型中存在的不确定性。就拿我们文章一开始举的例子来说，假设我们训练一个分类人脸和猩猩脸的模型，训练中没有做任何的增强，也就是说没有做数据集的旋转，模糊等操作。如果我给模型一个正常的人脸，或者是正常猩猩的脸，我们的模型应该对他所产生的结果的置信度很高。但是如果我给他猫的照片，一个模糊处理过得人脸，或者旋转90°的猩猩脸，模型的置信度应该会特别低。换句话说，认知不确定性测量的，是我们的input data是否存在于已经见过的数据的分布之中。

---

多模态模型的幻觉问题

1. Object Hallucination in Image Captioning (EMNLP, 2018) UC Berkeley & Boston University

   代码：https://github.com/LisaAnne/Hallucination

   PS：这几位作者还发表过一篇关于模型纠偏的工作，比较有意思：Women Also Snowboard: Overcoming Bias in Captioning Models (ECCV, 2018)

2. On Hallucination and Predictive Uncertainty in Conditional Language Generation （EACL, 2021) University of California, Santa Barbara

3. Let there be a clock on the beach:Reducing Object Hallucination in Image Captioning (WACV, 2022) Computer Vision Center, UAB, Spain

   代码：https://github.com/furkanbiten/object-bias/tree/main

4. Plausible May Not Be Faithful: Probing Object Hallucination in Vision-Language Pre-training (EACL, 2023) The Hong Kong University of Science and Technology

   代码：https://github.com/wenliangdai/VLP-Object-Hallucination

5. Deconfounded Image Captioning: A Causal Retrospect (TPAMI, 2021)

---

后记：一些相关研究方向：
- 价值观引导（大模型紧箍咒）：抑制、控制生成文本，属于可控文本生成的范畴；
- 生成幻觉的检测与避免（不论是多模态文本生成（image captioning）还是单模态文本生成，都存在这一问题）
- 文本纠偏（用别人分类或检测的数据迁移到该任务，旨在消除生成的负面）

参考文献

1. Survey of Hallucination in Natural Language Generation (ACM Computing Surveys, 2023) 港科
2. Hallucination in Text Generation - 知乎 (zhihu.com)
3. GPT-4的“hallucination”（幻觉）相关对策 - 知乎 (zhihu.com)
4. Survey of Hallucination in Natural Language Generation-语言模型幻想问题半文翻译&解读 - 知乎 (zhihu.com)
5. 偏差(bias)与混淆(confounding) - 知乎 (zhihu.com)
6. 深度学习不确定性的分类 - 知乎 (zhihu.com)
7. 深度学习中的两种不确定性（上） - 知乎 (zhihu.com)