【论文阅读】LayoutPrompter: Awaken the Design Ability of Large Language Models

LayoutPrompter: Awaken the Design Ability of Large Language Models

abstract

条件图形布局生成是一种自动将用户约束映射为高质量布局的技术，目前受到了广泛关注。尽管最近的工作取得了很好的性能，但缺乏通用性和数据效率阻碍了它们的实际应用。本文提出Layout- Prompter，利用大型语言模型(llm)通过上下文学习来解决上述问题。LayoutPrompter由输入输出序列化、动态示例选择和布局排序（Input-output serialization, dynamic exemplar selection and layout ranking）3个关键组件组成。具体来说，输入输出序列化组件为每个布局生成任务精心设计了输入和输出格式。动态样例选择负责为给定输入选择最有帮助的提示样例（prompting exemplars）。布局排序器用于从llm的多个输出中选择质量最高的layout。使用四个公共数据集对所有现有的布局生成任务进行了实验。尽管该方法很简单，实验结果表明，LayoutPrompter在这些任务上可以与最先进的方法竞争，甚至超过了最先进的方法，而无需任何模型训练或微调。这证明了这种多功能和免训练方法的有效性。消融实验表明，LayoutPrompter在低数据场景下明显优于基于训练的基线，进一步表明LayoutPrompter的数据效率。我们的项目可以在这里找到。

introduction

1介绍
布局在平面设计中起着至关重要的作用，它由一系列排列有序的图形元素组成。为了减轻设计人员的工作量，并让非专家用户参与设计过程，许多研究深入研究了针对不同用户需求的自动布局生成 [ 7,15,18,19,21,22,39](即布局约束。根据输入布局约束，现有的条件布局生成任务可以分为以下几类:约束显式布局生成(例如，根据元素类型生成布局)，内容感知布局生成和文本到布局(有关约束示例，请参见图1的左侧)。constraint-explicit layout generation (e.g., generating layouts conditioned on element types), content-aware layout generation, and text-to-layout (see the left side of Figure 1 for constraint examples). 该领域的早期工作[7,19,21,22]主要关注单个任务，并开发特定于任务的模型架构和优化方法。最近，出现了任务通用方法[15,12,14]。与特定任务的方法相比，它们在更多任务上实现了更大的灵活性和可控性，同时保持了生成布局的质量。
尽管最先进的方法[15,12,14,9,24]取得了有希望的结果，但它们仍然存在一些局限性，阻碍了它们在现实世界中的应用。首先，之前的