Large Language Models Meet NL2Code: A Survey

本文是LLM系列文章，针对《Large Language Models Meet NL2Code: A Survey》的翻译。

摘要

从自然语言描述(NL2Code)生成代码的任务被认为是代码智能中一个紧迫而重要的挑战。由于预训练技术的快速发展，大量的大型语言模型被提出用于代码，激发了NL2Code的进步。为了促进该领域的进一步研究和应用，在本文中，我们对NL2Code的27个现有大型语言模型进行了全面调查，并回顾了基准和指标。我们在HumanEval基准上提供了对所有现有模型的直观比较。通过深入的观察和分析，我们提供了一些见解，并得出结论，促成NL2Code大型语言模型成功的关键因素是“大尺寸、优质数据、专家调优”。此外，我们还讨论了关于模型与人类之间差距的挑战和机遇。我们还创建了一个网站https://nl2code.github.io，通过众包来跟踪最新的进展。据我们所知，这是对NL2Code的大型语言模型的第一次调查，我们相信它将有助于该领域的持续发展。

1 引言

2 大语言模型用于NL2Code

3 什么使得LLM成功？

4 基准和指标

5 挑战与机遇

6 结论

在本文中，我们调查了27个现有的NL2Code大型语言模型，并对其成功的潜在原因进行了深入的分析。我们还提供了基准和度量的详细回顾。关于模型和人类之间的差距，我们提出了持续的挑战和机遇。此外，我们还开发了一个网站来跟踪这一领域的最新发现。我们希望这项调查能够对该领域的全面概述做出贡献，并促进其蓬勃发展。