Dolly vs LLaMA vs Vicuna vs Guanaco vs Bard vs ChatGPT - A Text-to-SQL Parsing Comparison

本文是LLM系列文章，针对《Battle of the Large Language Models: Dolly vs LLaMA vs Vicuna vs
Guanaco vs Bard vs ChatGPT

摘要

ChatGPT的成功引发了一场人工智能竞赛，研究人员努力开发新的大型语言模型（LLM），这些模型可以与商业模型的语言理解和生成能力相匹配或超越。近年来，出现了许多模型，通过各种指令调优方法声称性能接近GPT-3.5或GPT-4。作为文本到SQL解析的实践者，我们感谢他们对开源研究的宝贵贡献。然而，重要的是要仔细审查这些说法，并确定这些模型的实际有效性。因此，我们对六个流行的大型语言模型进行了对比，系统地评估了它们在九个基准数据集上的文本到SQL解析能力，并采用了五种不同的提示策略，涵盖了零样本和少搜索场景。令人遗憾的是，开源模型的性能明显低于GPT-3.5等闭源模型，这突出表明需要进一步的工作来弥补这些模型之间的性能差距。

1 引言

2 实验设置

3 评估结果

4 讨论

5 相关工作

6 结论和未来工作

本文使用五种不同的提示策略，在九个基准数据集上系统地评估了六个流行的大型语言模型的文本到SQL解析能力。我们的研究结果表明，与开源模型相比，开源模型的性能明显不足。然而，值得注意的是，在几个经典数据集上，即使是GPT-3.5的性能也比较小的基线模型差。我们正在提供我们的输出，以供进一步分析和促进未来的研究工作。我们想在未来探索几个研究主题。首先，我们计划使用有限的GPU资源，使用低秩自适应等技术，研究在文本到SQL数据集上对这些大型语言模型的微调。其次，我们希望探索可以动态选择示例进行上下文学习的方法。最后，我们有兴趣研究在多回合文本到SQL数据集（如SPARC）上使用这些大型语言模型的可行性和局限性。