序列识别问题的聚合交叉熵损失函数（ACE损失函数）

文本识别算法介绍

文本识别问题是一个经典的序列预测问题，他输入一个有序列信息的三维图像，输出一个预测序列。常用的文本识别框架为CNN+BiLSTM+CTC，和CNN+BiLSTM+Attention。经过CNN+BiLSTM将三维图像提取特征，得到2维的特征序列（T*C），然后通过CTC或Attention将特征序列转化为预测结果。
给定一张来自于训练集Q的图像I，它的文本标签S，文本所包含的类别{1, 2, · · · , |C|}，这张图像文本序列的长度L，通常的文本识别问题的损失函数为:

$$L(w)=-\sum _{(I,S)\in Q}log(P(S|I;w))=-\sum _{(I,S)\in Q}\sum _{l=1}^{L}log(P(S_l|l,I;w))$$

其中$P(S_l|l,I;w)$表示在被预测序列的第l个字符预测结果为$S_l$的条件概率。
对于上述公式的计算非常困难，因为得到的文本特征与标签文本序列存在不对齐的问题，实际上不能直接使用第二个式子。
CTC和Attention分别从两个方面解决了这个问题。

• CTC是将得到的特征序列每一个时刻都预测后直接去掉其中的空格，仅得到剩下的预测字符序列，然后将这个字符序列与标签序列计算交叉熵损失。但是他的关键在于如何反向传播，CTC通过隐马尔科夫模型中的前向后向算法从标签序列倒推回可能得到这个标签的预测序列，这些序列的概率权值是不同的，然后再进行后续的反向传播。CTC层本身是没有变量的，因此他训练的目的是使特征提取时能够学会文本序列的排布信息特征。它的损失计算是基于第一个公式 $$-\sum _{(I,S)\in Q}log(P(S|I;w))$$。
• Attention是直接增加了一个可训练的解码层，将非常长的特征序列解码为长的不同的预测文本。这相当于是将CTC中的前向反向算法替换为一种参数可训练的注意力机制。通过训练能够得到要预测某个位置的文本字符，需要从哪些特征中得到。相当于Attention层本身学习到了一种文本的排布信息特征。它的损失计算是基于第二个公式$$-\sum _{(I,S)\in Q}\sum _{l=1}^{L}log(P(S_l|l,I;w))$$。

ACE交叉熵损失

本文提出了一种新颖的损失函数，这个损失函数不考虑序列中字符间的顺序，仅仅考虑一个字符串中某个类别的字符出现的次数。
我们在没有Attention机制的网络中直接计算 $$-\sum _{(I,S)\in Q}\sum _{l=1}^{L}log(P(S_l|l,I;w))$$ 是一种错误的做法，因为存在字符序列与特征序列的错位不对齐。基于此，文中提出了一种不需要考虑对齐的方案，即不考虑特征的顺序，仅仅计算各类别字符出现次数。

$$L(w)=-\sum _{(I,S)\in Q}\sum _{l=1}^{L}log(P(S_l|l,I;w))\approx -\sum _{(I,S)\in Q}\sum _{k=1}^{|C|}log(P(N_k|k,I;w))$$

其中|C|表示类别数，$P(N_k|k,I;w)$ 表示在图像I的预测结果中，第k个类别的字符出现的次数等于标签中给定次数 $N_k$ 的条件概率。
例如标签字符串为students，则损失函数的目标是，使识别结果的s,t出现两次，其他类出现一次（包括空白类）。

基于回归的ACE损失函数

我们通过CNN+BiLSTM得到的特征序列维度为（T * K），其中T为序列长度，K为字符类别数，我们定义输出的特征序列张量为Y，第t个时刻的特征向量为 $y^t$，第t个时刻第k个类别的预测概率为 $y_k^t$。整个字符序列中所有位置第k个类别出现的总概率为 $y_k={\sum }_{t=1}^T{y}_k^t$。
我们定义 $y_k$ 与 $N_k$ 的平方损失（回归损失）:

$$max\sum _{k=1}^{|C|}log(P(N_k|k,I;w))\iff min\sum _{k=1}^{|C|}(N_k-y_k{)}^2$$

数据集的损失函数表示为:

$$L(w)=\frac{1}{2}\sum _{(I,S)\in Q}\sum _{k=1}^{|C|}(N_k-y_k{)}^2$$

T表示预测文本长度，|S|表示标签文本长度，我们用(T-|S|)表示字符串中空白字符的个数 $N_{ϵ}=T-|S|$。

ACE回归损失梯度

首先损失 $L(w)$ 对输出 $y_k^t$ 求导

$$\frac{\partial L(w)}{\partial y_k^t}=\frac{\partial L(w)}{\partial y_k}\frac{\partial y_k}{\partial y_k^t}=(y_k-N_k)=(\sum _{t=1}^T{y}_k^t-N_k)$$

其中 $y_k^t$ 由softmax层得到，

$$y_k^t=\frac{e^{a_i}}{{\sum }_j{e}^{a_j}}$$

$y_i$ 对 $a_i$ 求导得到

$$\frac{\partial y_k^t}{\partial a_i}=y_i({\delta }_{ij}-y_j)$$

其中 当$i=j$时，${\delta }_{ij}=1$，否则 ${\delta }_{ij}=0$

最终ACE回归损失梯度表示为:

$$\frac{\partial L(I,S)}{\partial a_k^t}=\sum _{k^{\prime }=1}^{|C|}\frac{\partial L(I,S)}{\partial y_{k^{\prime }}^t}\frac{\partial y_{k^{\prime }}^t}{\partial a_k^t}=\sum _{k^{\prime }=1}^{|C|}(y_{k^{\prime }}-N_k)\ast y_{k^{\prime }}^t({\delta }_{k{k}^{\prime }}-y_k^t)=(y_k-N_k)\ast y_k^t(1-y_k^t)-\sum _{k^{\prime }=1,k̸=k^{\prime }}^{|C|}(y_{k^{\prime }}-N_k)\ast y_{k^{\prime }}^t{y}_k^t$$

回归损失的梯度消失

上面的回归损失函数存在着梯度消失问题，在训练开始的几个阶段，我们的输出对每个类别都有着平均的输出，即 $y_{k^{\prime }}^t=1/|C|$。当我们的类别数C比较大时，例如汉字识别，类别数高达数千，此时 $y_{k^{\prime }}^t$ 的数量级是$10^{-}3$，上面公式中，数量级大约是 ${y_{k^{\prime }}^t}^2$，即$10^{-}6$，即相当小的梯度更新，完全无法训练。
即使我们的类别数并没有那么多，但是我们的梯度是 ${y_{k^{\prime }}^t}^2$ ，它再对前面的层求导，每一次都会乘$y_{k^{\prime }}^t$，即梯度将会以指数级减小，梯度消失问题。

基于交叉熵的ACE损失函数

我们将网络预测的各类别字符数量当作一个概率分布，$$\overline{y_k}=y_k/T$$，将标签各类别字符数量当作另一个概率分布，$$\overline{N_k}=N_k/T$$。
我们使用交叉熵函数表示预测结果分布和标签分布的相似程度:
$$L(I,S)=-\sum _{k=1}^{|C|}\overline{N_k}\ast ln\overline{y_k}$$

这个损失函数对softmax之前的logits $a_k^t$ 求梯度:

$$\frac{\partial L(I,S)}{\partial a_k^t}=\sum _{k^{\prime }=1}^{|C|}\frac{\partial L(I,S)}{\partial \overline{y_k}}\frac{\partial \overline{y_k}}{\partial y_{k^{\prime }}^t}\frac{\partial y_{k^{\prime }}^t}{\partial a_k^t}=\sum _{k^{\prime }=1}^{|C|}-\frac{\overline{N_k}}{\overline{y_k}}\ast \frac{1}{T}\ast y_{k^{\prime }}^t({\delta }_{k{k}^{\prime }}-y_k^t)=-\frac{1}{T}\ast \sum _{k^{\prime }=1}^{|C|}\overline{N_k}\ast \frac{y_k^t}{\overline{y_k}}\ast ({\delta }_{k{k}^{\prime }}-y_k^t)$$

交叉熵损失

在上述公式中，$N_k$ 是常数，$({\delta }_{k{k}^{\prime }}-y_k^t)$ 是 $y_k^t$ 的线性函数，损失函数主要取决于 $\frac{y_k^t}{\overline{y_k}}$，我们希望他尽可能是常数级的。

• 在初始训练阶段，不同时刻t，不同类别k均匀分布，此时 $$\overline{y_k}=y_k/T=\sum _{t=1}^T{y}_k^t/T\approx y_k^t，\frac{y_k^t}{\overline{y_k}}=1$$
• 在随后的训练阶段，不同时刻t，某一个类别k’的概率占主要部分，而其他类别非常小，，此时 $$\overline{y_k}=y_k/T=\sum _{t=1}^T{y}_k^t/T\approx y_k^t/T，\frac{y_k^t}{\overline{y_k}}=T$$

可以看到这个值基本上是1～T的常量。

2维预测问题

很多的文本呈二维的分布在图片上，例如一些不规则行文本，弯曲，仿射，多行文本等。这些问题使用传统的方法无法有效解决，在这里我们可以使用ACE损失函数解决。ACE损失函数可以很自然的应用于这些文本识别，因为他并不考虑文本的顺序，而仅仅考虑文本出现的次数或者频率，这在2维图像上也是可以计算的。
假设输出的2维预测图高度H，宽度W（经过CNN，不等于原图大小），第h行第w列的预测输出表示为 $y_k^{hw}$ ，我们定义
$$\overline{y_k}=\frac{y_k}{W\ast H}=\frac{{\sum }_{w=1}^W{\sum }_{h=1}^H{y}_k^{hw}}{W\ast H}，\overline{N_k}=\frac{N_k}{H\ast W}$$

损失函数表示为

$$L(I,S)=-\sum _{k=1}^{|C|}\overline{N_k}\ast ln\overline{y_k}=-\sum _{k=1}^{|C|}\frac{N_k}{H\ast W}\ast ln\frac{y_k}{W\ast H}$$

我们直接将原始的2维预测拉直为1维预测结果，并计算损失。

实验评估

本文在自然场景文本识别，离线手写字符识别，日常场景目标计数三个任务中进行实验评估。我们分别使用1维和2维方法进行预测，得到的预测结果分别为H的特征序列和W*H的特征图。

场景文本识别

本文使用两种类型的文本识别数据集，规则文本如iiit5k，SVT，ICDAR2003，ICDAR2013，不规则文本如ICDAR2015，CUTE80，SVT-Perspective。规则数据集用于研究ACE损失函数1维预测，不规则数据集用于研究2维预测。

实现细节

在规则数据集上的1维文本识别基于网络CRNN，在synth80k的800万合成数据集上训练。

在不规则数据集上的2维文本识别基于网络ResNet-101，conv1被替换为3*3，步长1，conv4_x作为输出，训练数据集来自800万合成数据集和400万张从8万大图中裁剪下来的包含文本的数据集。所有的输入图像都被resize和padding到（96，100）大小，并且输出预测图大小（12，13），相当于8倍解析度下采样。我们然后将（12，13）的2维预测图拉直为12x13的一维预测序列，并使用ACE损失函数。

实验结果

回归损失与交叉熵损失

我们对规则文本进行1维预测，分别使用ACE回归损失与交叉熵损失。
回归损失存在梯度消失的问题，前面的一些层参数无法训练到，虽然回归损失能够收敛，但是收敛最终的单词错误率与字符错误率都非常高；交叉熵损失能够最终收敛到一个非常高的水平。与原始的CRNN网络相比较，表现有略微的提升。

不规则文本

我们在不规则文本上使用2维预测，仅仅采用ResNet-101的CNN网络，没有加入LSTM等序列信息。最终我们发现这个模型在CUTE和ICDAR15数据集上有非常好的效果，尤其是CUTE，这个数据集的图像都拥有高解析度，弯曲严重，严重的不规则文本，非常适合ACE的2维预测。网络模型在没有字典的SVTP数据集上效果一般，因为这个数据集图像解析度相当低，仅仅使用CNN网络而不采用LSTM很难提取解析度如此低的文本特征。

我们可视化最终的12x13大小的预测图，能够发现，在2维空间中预测结果字符与原始图像中文本有着非常相似的分布。