HARDTESTS: Synthesizing High-Quality Test Cases for LLM Coding
文章主要内容本文聚焦于解决大型语言模型（LLM）在编程任务中验证器质量不足的问题，提出了HARDTESTGEN测试合成框架，并构建了包含47k问题的高质量测试数据集HARDTESTS。通过结合LLM生成测试用例程序、利用人类编写的权威程序过滤测试用例，HARDTESTGEN显著提升了测试用例的精确率和召回率，尤其在高难度问题上效果更优。实验表明，高质量测试用例对强化学习和自蒸馏等LLM后期训练过程