Learning to Generate Posters of Scientific Papers by Probabilistic Graphical Models

论文传送门

作者

南京大学

• Yu-Ting Qiang
• Xiao Yu
• Yan-Wen Guo
• Zhi-Hua Zhou

复旦大学

• Yan-Wei Fu

迪斯尼研究中心

• Leonid Sigal

摘要

研究人员经常以科学海报的形式总结他们的工作。海报提供了一种连贯而有效的方式来传达科研论文中表达的核心思想。然而，生成良好的科学海报是一项复杂且耗时的认知任务，因为此类海报需要具有可读性，信息性和视觉美感。在本文中，我们第一次研究了学习从科研论文中生成海报的挑战性问题。为此，提出了一种利用图模型的数据驱动框架。具体来说，给定要显示的内容，可以从数据中学习并推断出好的海报的关键元素，包括每个面板的属性和图形元素的排列。在推断阶段，采用最大后验（MAP）估计框架来合并一些设计原则。为了弥补面板属性和每个面板内构图之间的差距，我们还提出了一种递归页面拆分算法来生成海报的面板布局。为了学习和验证我们的模型，我们收集并发布了一个新的基准数据集，称为NJU-Fudan Paper-Poster数据集，该数据集由科学论文以及带有详尽标签的面板和属性的相应海报组成。定性和定量的结果表明了我们方法的有效性。

目标

科研论文 -> 生成海报

方法

四个步骤：

• 内容提取
• 面板属性推断
• 面板布局生成
• 组合

Content Extraction

对于文本内容，采用 textual summary algorithm 来总结每部分的内容，特别地，这里采用了TextRank
对于图形内容，解析图片和表格的元数据（例如宽和高），增叫用户交互按照重要性对图片和表格排序

Panel Attributes Inference

利用贝叶斯网络来推断每个面板区域的初始尺寸和宽高比

Panel Layout Generation

受日漫布局的启发，利用二叉树来表示面板布局，

递归的搜索最佳布局，使得形变和美观损失尽可能小

Composition Within a Panel

利用 likelihood-weighted sampling method 进行近似推断

Experiment Results

数据集：NJU-Fudan Paper-Poster Dataset
baseline: ridge regression, regression tree, support vector regression (SVR) with linear kernel and
RBF kernel
图片位置推断：nearest neighbors classification (KNN), decision tree, support vector classification
(SVC) with linear and RBF kernel

设计准则：

• flow
• alignment
• overlap and boundaries

思考

Critical thinking:
需要考虑字体、颜色等可视化设计对海报展示效果的影响
数据集数目较少

Creative thinking:
调研有没有利用神经网络生成海报的工作，可以进行比较

How to apply to our work:
本文在提出新的方法的同时也发布了一个新的数据集，如果要解决新的问题，这不失为一种比较好方式