From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting

本文是LLM系列的文章,针对《From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting》的翻译。

从稀疏到密集:密度链提示下的GPT-4摘要

  • 摘要
  • 1 引言
  • 2 密度提升链
  • 3 统计数据
  • 4 结果
  • 5 相关工作
  • 6 结论
  • 7 局限性

摘要

选择要包含在摘要中的“正确”信息量是一项艰巨的任务。一个好的总结应该是详细的、以实体为中心的,而不是过于密集和难以遵循。为了更好地理解这种权衡,我们寻求越来越密集的GPT-4摘要,我们称之为“密度链”(CoD)提示。具体来说,GPT-4在不增加长度的情况下迭代合并缺失的显著实体之前,生成初始实体解析摘要。与普通提示生成的GPT-4摘要相比,CoD生成的摘要更抽象,表现出更多的融合,并且具有更少的潜在偏差。我们对美国有线电视新闻网每日邮报的100篇文章进行了人类偏好研究,发现人类更喜欢GPT-4摘要,这些摘要比普通提示生成的摘要更密集,几乎和人类书面摘要一样密集。定性分析支持这样一种观点,即在信息性和可读性之间存在权衡。HuggingFace上免费提供500份注释CoD摘要,以及额外的5000份未注释摘要。

1 引言

2 密度提升链

3 统计数据

4 结果

5 相关工作

6 结论

我们研究了概括致密化对人类整体素质偏好的影响。我们发现,优选一定程度的致密化,然而,当摘要每个token包含太多实体时,很难保持可读性和一致性。我们开源了带注释的测试集以及更大的未带注释的训练集,以进一步研究固定长度、可变密度摘要的主题。

7 局限性

我们只分析单一领域的CoD,即新闻摘要。注释没有显示出高度的汇总级别一致性,但确实开始显示系统级别的趋势,这与之前基于LLM的评估工作一致。最后,GPT-4是一个闭源模型,因此我们不能共享模型权重。然而,我们确实发布了所有评估数据、注释,以及5000个未注释的CoD,用于下游用例,例如,密度蒸馏到开源模型中,如LLAMA-2。

你可能感兴趣的:(LLM,语言模型,人工智能)