CharlesWu123

文档图像分类、信息提取、信息结构化之 LayoutLM、LayoutLMv2、LayoutXLM —— 论文阅读笔记

LayoutLMFT

Document Understanding Tasks
LayoutLM
- Overview
- LayoutLM
- - Pre-training
  - Fine-tuning
  - - Experiments
  - Model Pre-training
StructuralLM
LayoutLM v2
- Overview
- LayoutLM v2
- - Model Architecture
  - Pre-training
  - Fine-tuning
  - - Experiments
LayoutXLM
- Pre-training Data
- XFUND

Paper : LayoutLM、LayoutLMv2, LayoutXLM，StructuralLM
Code : LayoutLM、LayoutLMv2、LayoutXLM

Dataset：

IIT-CDIP Test Collection 1.0
FUNSD Dataset
SROIE Dataset
RVL-CDIP Dataset
CORD
Kleister-NDA
DocVQA
XFUND
TableBank
DocBank
ReadingBank

MSRA Document AI

Document Understanding Tasks

LayoutLM

Overview

针对图像的布局和结构信息对文档图像理解是重要的，提出了 LayoutLM 模型，可以通过扫描文档图像对文本和布局信息进行联合建模，除此之外还利用了文本的图像信息。

可以做表单理解、票据理解和文档图像分类

LayoutLM

LayoutLM 利用来自文档布局的丰富的视觉信息，并将此与输入文本对齐，这样可以极大的改善文档的语义表示。

文档布局信息：文本的相对位置对于语义表示是很重要的，把文本的相对位置信息编码为二维位置表示。基于自注意力机制，把二维位置特征编码进语言表示会更好地将布局信息与语义表示对齐。
视觉信息：对于文档图像整体的视觉信息可以体现文档的布局，对文档图像的分类是一个重要的因素。对于文本的视觉信息，粗体、下划线和斜体等样式也是序列标注任务的重要因素。因此，文中认为把文本表示和图像特征结合起来可以带来更好的语义表示。

LayoutLM 使用 BERT 作为主干网络，并添加两个新的输入向量：一个二维位置向量和一个图像向量。二维位置向量可以捕捉到文档中字段之间的关系，同时图像向量可以捕捉到一些外观特征，如字体方向、类型、颜色等。

二维位置向量：与序列中单词位置的位置向量不同，二维的位置向量是为了对文档图像中的相对空间位置进行建模。文本的边界框表示为 $x_0, y_0, x_1, y_1)$ 。使用四个位置信息和两个向量层，其中表示相同维度的向量层共享。
图像向量：为了利用文档的图像特征并且与文本对齐，添加了图像向量层来表示语义表示的图像特征。利用 OCR 结果中每个文本的边界框，将图像分割为多个与文本一一对应的图像块。使用 Faster R-CNN 来生成这些图像块的图像区域特征作为图像向量。对于 [CLS] 字段，同样也使用 Faster R-CNN 生成整张图像的特征。

Pre-training

IIT-CDIP Test Collection 1.0 : 包含超过 600 万份文档，超过 1100 万份扫描文档图像，包括很多类别（信函、备忘录、电子邮件、表格、手写、发票、广告、新闻文章、演示文稿、科学出版物、问卷、简历、科学报告等），每个文档都有对应的文本和存储在 XML 文件中的元数据。

Masked visual-Language Model

随机 mask 输入的字段，保持对应的二维位置向量，然后训练模型根据上下文去预测 mask 的部分。这样，LayoutLM 不仅可以理解语言上下文而且也可以利用对应的二维位置信息，可以增强视觉模态和语言语言模态的关联。

Multi-label Document Classification

给一组扫描文件，用文件的标签监督训练的过程，以便模型可以对来自不同领域的知识进行聚类，生成更好的文档级表示。因为多标签文档分类损失需要每个文档图像的标签，由于数据集的限制，文中对于这个预训练是可选的，不在大模型上训练。

Fine-tuning

将预训练好的 LayoutLM 在三个文档理解任务上微调，包括表单理解、票据理解和文档图像分类。对于表单和票据理解任务， LayoutLM 预测每个字段的 {B,I,E,S,O} 并且使用序列标签检测数据集中的每种实体类型。对于文档图像分类任务，LayoutLM 使用 [CLS] 标记的表示来预测类标签。

在三个文档图像理解任务上验证 LayoutLM 模型：表单理解、票据理解和文档图像分类。

表单理解：该任务需要对表单的文本内容进行抽取和结构化。目的是从扫描的表单图像中提取键值对。该任务包括两个子任务 : 语义标注和语义链接。语义标注是将词汇作为语义实体进行聚合，并为它们指定预定义标签的任务。语义链接是指预测语义实体之间的关系。文中主要关注语义标注任务，而语义链接则不在文中范围之内。为了在此任务中微调 LayoutLM，我们将语义标记视为序列标记问题。我们将最终表示传递到一个线性层，然后是一个 softmax 层，以预测每个字段的标签。该模型训练 100 个epoch ，batch size=16，lr=5e-5。
票据理解：该任务需要根据扫描到的接收图像填充几个预先定义的语义槽。例如，给定一组收据，我们需要填写特定的槽(例如，公司、地址、日期和总数)。与表单理解任务(需要标记所有匹配的实体和键值对)不同，语义槽的数量是用预定义的键固定的。因此，模型只需要使用序列标注方法预测相应的值即可。
文档图像分类：给定一个视觉丰富的文档，该任务旨在预测每个文档文档图像的相应类别。与现有的基于图像的方法不同，我们的模型不仅包括图像表示，还使用 LayoutLM 中的多模态架构包含文本和布局信息。因此，我们的模型可以更有效地将格式中的文本、布局和图像组合在一起。为了在此任务上微调我们的模型，我们将 LayoutLM 模型的输出与整个图像向量连接起来，然后是用于类别预测的softmax层。我们对模型进行了30个 epoch 的微调，batch size=40，lr=2e-5

Experiments

FUNSD Dataset : 表单理解数据集，该数据集包括199个真实的、完整标注的、扫描的表单，包含 9707个语义实体和 31485 个单词。这些表单被组织成相互链接的语义实体列表。每个语义实体包括一个唯一标识符、一个标签(即，问题、答案、标题或其他)、一个边界框、一个与其他实体的链接列表和一个单词列表。数据集分为 149 个训练样本和 50 个测试样本。
SROIE Dataset : 票据信息提取数据集，该数据集包含 626 条用于训练的票据和 347 条用于测试的票据。每个票据都被组织成带有边框的文本行列表。每张票据都标有四种类型的实体，它们是 {公司，日期，地址，总数}。
RVL-CDIP Dataset : 文档图像分类数据集，该数据集由 16 类 40 万张灰度图像组成，每类 25000 张图像。有 32 万张训练图像，4 万张验证图像和 4 万张测试图像。图像被调整大小，因此它们的最大尺寸不超过 1000 像素。这16个类别包括 : 书信、表格、电子邮件、手写体、广告、科学报告、科学出版物、说明书、文件夹、新闻文章、预算、发票、演示文稿、问卷、简历、备忘录等。

Model Pre-training

使用预训练好的 BERT（Base | Large）模型初始化 LayoutLM 的权重。

Base-model : 12 层 Transformer（768 隐藏层大小和 12 个注意力头），包含 113M 参数。

Larg-model : 24 层 Transformer（1024 隐藏层大小和 16 个注意力头），包含 343M 参数。

选择输入字段的的 15% 进行预测，其中 80% 使用 [MASK] 代替，10% 随机代替，10% 不变。使用交叉熵损失。

考虑到文档图像有不同的大小，文中把实际的坐标缩放到虚拟的坐标：把实际的坐标缩放到 0-1000 范围内。使用基于 ResNet-101 的 Faster R-CNN，预训练在 Visual Genome 数据集上。

在 8 个 NVIDIA Tesla V100 32GB GPU 上训练，batch size 大小 80，Adam 优化器初始学习率 5e-5 并且线性衰减。Base 模型需要 80 小时完成 1100 万个文档上的一个 epoch，Large 模型将近 170小时一个 epoch。

StructuralLM

网络架构与 LayoutLM 一样，只是输入的处理方式不一样，使用预训练的 RoBERTa 初始化

认为模型知道哪些单词在一个 cell 里是很重要的，所以 StructuralLM 学习了 cell 级别的布局信息。

Masked visual-Language Model

Cell Position Classification
把一张图像分成相同大小的 N 个区域，mask 一些 cell 的位置，让模型去预测这些 cell 属于哪个区域，这样，模型就能学习到 cell 和 layout 的关联

LayoutLM v2

Overview

与 LayoutLM 的不同以及改进点：

LayoutLM 是在微调阶段与图像向量相结合，而 LayoutLMv2 在预训练阶段就将图像向量相结合，这样可以利用 Transformer 学习文本和视觉信息的交互信息。
LayoutLMv2 在预训练阶段不仅使用了 Masked visual-Language Model 而且还使用了文本图像对齐（text-image alignment）和文本图像匹配（text-image matching）策略。
LayoutLMv2 使用了空间感知自注意力机制（spatial-aware self-attention mechanism）。

LayoutLM v2

Model Architecture

LayoutLMv2 使用多模态 Transformer 作为主干网络。多模态 Transformer 接受三个模态的输入：文本、图像和布局。每个模态的输入都转换到向量空间，通过编码器进行融合。

Text Embedding

使用现成的 OCR 工具和 PDF 解析器识别文本并按照合理的阅读顺序把他们连接起来。我们使用 WordPiece 对文本序列进行标记化，并将每个标记分配给特定的片段 $s_i \in \{[A, B]\}$ 。使用 [CLS] 作为序列的开始，[SEP] 作为文本段的结束。限制文本序列的长度，以确保最终序列的长度不大于最大序列长度 L。如果文本序列仍然比 L 短，会在 [SEP] 后边进行填补 [PAD]。

最终的文本向量是三个向量部分之和。词向量表示词本身，一维位置向量表示字段的索引，片段向量用来区分不同的文本片段。则第 i 个文本向量表示为：
$\mathbf{t}_i = \text{TokEmb}(w_i) + \text{PosEmb1D}(i) + \text{SegEmb}(s_i), 0 \leq i \leq L$
Visual Embedding

使用 ResNeXt-FPN 作为视觉编码器的主干网络。给定文档图像 $I$ ，缩放到 $224 \times 224$ 大小输入到视觉主干网络中，然后将特征图通过平均池化转换为固定尺寸（ $\times H$ ），接下来把它展平为 WH 的视觉向量序列。因为 CNN 视觉主干不能捕获位置信息，所以增加了一维位置向量。这个一维位置向量和文本向量层的是共享的。对于片段向量，全部都设置为视觉片段 [C]。则第 i 个视觉向量表示为：
$\mathbf{v}_i = \text{Proj}(\text{VisTokEmb}(I)_i) + \text{PosEmb1D}(i) + \text{SegEmb}([C]), 0 \leq i \leq WH$
Layout Embedding

布局向量是将空间布局信息进行向量表示，空间布局信息使用视觉的边界框（用角点坐标和框形状标识）来表示。与 LayoutLM 相同，把全部的坐标都缩放到 0-1000 之间，使用两个向量层去编码 x 轴和 y 轴的位置特征。给定标准化的第 i 个文本/视觉标记的边界框 $\text{box}_i = (x_0, x_1, y_0, y_1, w, h)$ ，布局向量层把六个边界框特征拼接起来构成一个布局向量，即二维的位置向量：
$\mathbf{l}_i = \text{Concat}(\text{PosEmb2D}_x(x_0, x_1, w), \text{PosEmb2D}_y(y_0. y_1, h)), 0 \leq i \leq WH + L$
需要注意的是，CNN 进行了局部变换，可以将视觉向量逐个映射回图像区域，既不重叠也不省略。在布局向量层中，视觉向量可以看作是一些均匀划分的网格，因此它们的边界框坐标很容易计算。[CLS]、 [SEP] 和 [PAD]标记的布局向量特征使用空的边界框 $\text{box}_{PAD} = (0, 0, 0, 0, 0, 0)$

Multi-modal Encode with Spatial-Aware Self-Attention Mechanism

编码器将视觉向量和文本向量拼接到统一的序列 $X$ ，并且添加布局向量融合空间信息，得到第一层的输入 $\mathbf{x}^{(0)}$
$\mathbf{x}_i^{(0)} = X_i + \mathbf{l}_i, \text{where} \; X = \{\mathbf{v}_0,...,\mathbf{v}_{WH-1}, \mathbf{t}_0, ...,\mathbf{t}_{L-1}\}$
因为原始的自注意力机制只能隐式地捕获带有绝对位置提示的输入标记之间的关系，为了有效地对文档布局中的局部不变形建模，需要明确地插入相对位置信息。因此，文中提出了空间感知的自注意力机制。原始的自注意力机制通过映射 query $\mathbf{x}_i$ 和 key $\mathbf{x}_j$ 这两个向量，然后计算它们两个的注意力分数：
$\alpha_{ij} = \frac{1}{\sqrt{d_{head}}} (\mathbf{x}_iW^Q)(\mathbf{x}_jW^k)^{\top}$
文中将语义相对位置和空间相对位置作为偏置项，并明确地将它们添加到注意力得分中。 $\mathbf{b}^{1D},\mathbf{b}^{2D_x}, \mathbf{b}^{2D_y}$ 分别表示一维和二维相对位置偏置。不同的注意力头偏置使不同的，但是在全部的编码器层是共享的。假设 $x_i, y_i)$ 表示第 i 个边界框的左上角坐标，则空间感知注意力得分为
$\alpha_{ij}' = \alpha_{ij} + \mathbf{b}^{1D}_{j-i} + \mathbf{b}^{2D_x}_{x_j - x_i} + \mathbf{b}^{2D_y}_{y_j - y_i}$
最终，输出向量表示为全部映射 value 向量相对于归一化空间感知得分的加权平均值：
$\mathbf{h}_j = \sum_j \frac{\exp(\alpha_{ij}')}{\sum_k \exp(\alpha_{ik}')} \mathbf{x}_j W^V$