Improving Image Generation with Better Captions

本文是LLM系列文章，针对《Improving Image Generation with Better Captions》的翻译。

摘要

我们表明，通过对高度描述性生成的图像字幕进行训练，可以显著提高文本到图像模型的提示跟随能力。现有的文本到图像模型很难遵循详细的图像描述，并且经常忽略单词或混淆提示的含义。我们假设这个问题源于训练数据集中有噪声和不准确的图像字幕。我们通过训练一个定制的图像字幕师来解决这个问题，并使用它来重述训练数据集。然后，我们训练了几个文本到图像的模型，发现对这些合成字幕的训练可以可靠地提高提示跟随能力。最后，我们利用这些发现构建了DALL-E 3：一个新的文本到图像生成系统，并在旨在衡量提示跟随、连贯性和美观性的评估中对其性能进行了基准测试，发现它与竞争对手相比是有利的。我们发布了这些评估的样本和代码，以便未来的研究能够继续优化文本到图像系统的这一重要方面。

1 引言

2 数据集重加字幕

3 评估重加字幕的数据集

4 DALL-E 3

5 局限性和风险