Through the Lens of Core Competency: Survey on Evaluation of Large Language Models

本文是LLM系列文章，针对《Through the Lens of Core Competency: Survey on Evaluation of Large Language Models》的翻译。

摘要

从预训练语言模型（PLM）到大型语言模型（LLM），自然语言处理（NLP）领域已经见证了巨大的性能提升和广泛的实际应用。对一个研究领域的评估指导其改进方向。然而，LLM非常难以彻底评估，原因有两个。首先，由于LLM的优异性能，传统的NLP任务变得不足。其次，现有的评估任务很难跟上现实世界场景中广泛的应用。为了解决这些问题，现有的工作提出了各种基准，以更好地评估LLM。为了阐明学术界和工业界的众多评估任务，我们调查了多篇关于LLM评估的论文。我们总结了LLM的4个核心能力，包括推理、知识、可靠性和安全性。对于每种能力，我们都会介绍其定义、相应的基准和度量标准。在这种能力架构下，类似的任务被组合起来以反映相应的能力，而新的任务也可以很容易地添加到系统中。最后，我们对LLM评估的未来方向提出了建议。

1 引言

2 核心能力

3 未来方向

4 结论

本调查对LLM评估的各种文献进行了全面综述。我们将不同的作品与其预期的能力相结合。一些能力（推理、知识）已经有了全面的评估基准，而另一些能力（规划、编码）仍然面临着不同的挑战。本文的目的是通过核心能力测试的视角来梳理LLM评估的众多工作。由于LLM的各种功能，减轻了吸收大量评估作品的认知负荷。在这样做的过程中，我们还确定了每种能力所面临的挑战，并期待着在未来减轻这种挑战。