Enhancing Large Language Models with Coarse-to-Fine Chain-of-Thought Prompting for Multi-domain NLU

本文是LLM系列文章，针对《CoF-CoT: Enhancing Large Language Models with Coarse-to-Fine
Chain

摘要

虽然思维链提示在推理任务中很受欢迎，但它在自然语言理解（NLU）中的大型语言模型（LLM）中的应用却很少被探索。受LLM多步骤推理的启发，我们提出了从粗到细的思想链（CoFCoT）方法，该方法将NLU任务分解为多个推理步骤，LLM可以在这些步骤中学习获取和利用基本概念来解决不同粒度的任务。此外，我们建议利用基于语义的抽象意义表示（AMR）结构化知识作为中间步骤，来捕捉话语的细微差别和不同结构，并理解它们不同粒度水平之间的联系。我们提出的方法在帮助LLM适应零样本和少样本多域设置下的多粒度NLU任务方面被证明是有效的。

1 引言

2 相关工作

3 提出的框架

4 实验

5 结果与讨论

6 结论

在这项工作中，我们对LLM在对话系统的多粒度NLU任务中的能力进行了初步研究。此外，在CoT的激励下，我们提出了一种新的CoF-CoT方法，旨在将NLU任务分解为多个推理步骤，其中（1）LLM可以学习从不同粒度的NLU任务中获取和利用概念，（2）在整个多步骤推理中可以集成和利用额外的AMR结构化表示。我们实证证明了CoF-CoT在零样本和少样本多域设置下提高多粒度NLU任务中LLM能力的有效性。

局限性

我们的实证研究仅限于英语NLU数据。这在一定程度上是由于抽象意义表示（AMR）结构存在的英语偏见。我们将CoF-CoT适应多语言环境作为我们工作的未来方向。
我们的工作是对平面逻辑形式表示的实证研究。换句话说，逻辑形式只包括一个意图，后面跟着一组槽序列。我们的经验范围有两个主要的理由。首先，作为对统一语义解析和NLU视角的多粒度NLU任务的早期初步研究，我们设计了一个小而可控的实验范围。其次，由于包括MASSIVE在内的大多数NLU数据集仅限于单意图话语，平面逻辑形式是调和传统NLU和语义分析评估的可行候选者。我们将探索留给更具挑战性的嵌套逻辑形式，其中的话语可能包含未来工作的多种意图。