[论文阅读]Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection

[论文阅读]Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection
用于任意形状文本检测的深度关系推理图网络

文章收录于2020 CVPR
[论文地址]https://arxiv.org/abs/2003.07493
[代码地址]https://github.com/GXYM/DRRG

摘要

本文针对形状文本检测提出了一种新的统一关系推理图网络。局部图(local graph)建立起了基于CNN的text proposal模型和基于GCN(Graph Convolutional Network)的深度关系推理网络之间的关系，使模型可以端到端训练。

---

简介

目前一些方法，例如TextSnake[17]和CRAFT[1]为了解决任意形状文本检测，采用了Connected Component (CC)策略（一些列的组件定位字符，最后合并组件）。这样的缺点就是，无法获得文字组件之间的更丰富的关系，从而无助于文本实例的划分。

对于CC策略来讲，一项重要的工作就是划分文本实例。现有的方法常采用：预定义规则(pre-defined rules)、链接映射(link map)、嵌入映射(embedding map)。对于长文本和弯曲文本，一般来讲，链接映射和嵌入映射比预定义规则更加鲁棒。

链接映射与嵌入映射的方法大多基于CNN，且CNN不适合处理这些独立的组件（非欧几里得数据），即不能够从两个不相邻的组件中学习相互之间的关系。

而这些非欧几里得数据可以被表示为图，如图1所示，本文选择一个文本组件作为一个节点，选择一个节点作为中枢，将中枢周围的节点连起来形成局部图。局部图（节点之间的边缘）中包含的上下文信息可为估计枢纽节点与其他节点之间的链接可能性提供信息。

本文首先将每一个文本实例，切分为文本组件。使用基于CNN的text proposal network预测这些文本组件的几何属性（高、宽、方向），然后利用这些几何属性采用了图卷积网络来执行深度关系推理，从而对这些组件进行分组聚合。

---

相关工作

基于回归的方法：此类方法使用单词级别(word level)或者行级别(line level)的ground-truth，通过基于框回归的文本检测框架。

• RRD[11]调整SSD [13]的锚定比，以适应非规则形状的宽高比变化。
• Textboxes ++ [10]修改了卷积核和锚定框，以有效地捕获各种文本形状。
• EAST [42]直接推断候选单词的像素级四边形，而无需锚定机制和proposal检测。

基于分割的方法：受语义分割思想的启发，通过估计单词边界区域来检测文本。

• PixelLink [3]通过预测像素与其相邻像素之间的链接关系，对属于同一实例的像素进行分类。
• PSENet [30]采用多种尺度渐进扩展网络，利用ground truth生成一系列不同大小的mask，最终提高了不规则文本的检测能力。
• Tian等人[28]将每个实例文本视为一个聚类，通过嵌入映射对像素进行聚类。
• TextField [34]采用深度方向域(deep direction field)来链接相邻像素并生成候选文本部分。

基于CC的方法：首先通常检测单个文本部分或字符，然后通过链接或者分组的后续处理生成最终的文本。

• CTPN [27]使用了一个基于Faster R-CNN [20]修改的网络，来提取具有固定宽度的文本，以轻松连接密集的文本组件并生成水平文本行。
• SegLink [21]将每个场景文本分解为两个可检测的元素，即段和链接，其中链接指示一对相邻的段属于同一单词。
• CRAFT [1]通过探索每个字符与字符之间的亲和关系来检测文本区域。
• TextDragon[4] 首先检测文字的局部区域，然后根据边界框的几何关系对其进行分组

关系推理：对于局部卷积算子的限制，CNN不能直接捕获远距离分量区域之间的关系。最近，Wang等人[33]为了解决这种问题，提出了基于频谱的GCN方法来聚类人脸。在复杂情况下，设计的GCN可以合理地链接属于同一个人的不同面部实例。

方法

概述

首先，通过基于CNN的text proposal network利用共享特征来估计文本组建的几何属性；然后局部图可以大致建立不同文本组建的链接；然后使用深度关系推理网络将进一步推断出文本组件与其相邻组件之间的链接可能性；最后根据推理结果将文本组件聚合为整体的文本实例。

其网络框架如图2所示；文本组件提议网络(text component proposal network)和深层关系推理图网络共享卷积特征，并且共享卷积使用VGG-16 和FPN [12]作为主干，如图3所示。

文本组件预测

如图4所示，(a)展示了一系列的文本组件，每个文本组件$D$由(x,y,h,w,sin$\theta$,cos$\theta$)组成。其中$h$为文本组件的高度，由(c )图中的h1和h2两部分组成。$w$则是根据$h$的大小确定的。
(b)中展示了文本组建的中心域，为了确定文本中心域(text center region 记为TCR)与文本组件的方向，本文采用了[17]中的方法来计算文本域的head和tail，如图4(a)中黑色箭头所示。

本文根据下列公式确定图4(a)中的上下两组点$P1=\left\{tp0,tp1,...,tpi,...,tpn\right\}$和$P2=\left\{bp0,bp1,...,bpi,...,bpn\right\}$。

$$p=\sum _{i=0}^n\sin \left(v_i\right),v_i\in V$$
其中$V=\left\{tp0-bp0,...,tpi-bpi,...,tpn-bpn\right\}$,向量$v_i$的角度表示文本分量的方向$\theta$

TCR是通过缩小文本域(text region 记为TR)得到的，其计算步骤：1. 计算文本中心行 2.将中心行两端缩小0.5$w$像素，使网络更容易分离相邻的文本实例并降低NMS的计算成本。 3.将文本中心行高度扩展0.3$h$。

再提取共享特征之后，通过两个卷积层来计算CR(Classification and Regression)，即文本组件的几何属性, $$CR={\mathrm{conv}}_{1\times 1}\left({\mathrm{conv}}_{3\times 3}\left(F_{\text{share}}\right)\right)$$
其中CR是一个$H\ast W\ast 8$大小的张量，带有4个通道的TR / TCR分类结果和4个通道的$h1,h2,cos\theta ,sin\theta$的回归结果。

通过Softmax TR / TCR并将平方和等于1的cosθ和sinθ正则化来获得最终预测。最终的结果通过阈值与正样本上的位置感知NMS产生。（TODO 不是很明白 ）

局部图生成

本文对每一张图片生成了多个局部图，每个局部图拥有有限个节点。本文修改了IPS[33]来生成局部图，中枢节点附近的节点按照$h$-$hop$方法选择。例如：$1$-$hop$为中枢节点的最近8邻域节点；$2$-$hop$为中枢节点的最近4邻域节点。高阶的邻居节点提供了枢纽与其邻居之间上下文的局部结构的辅助信息，但此处本文只考虑每个形成KNN操作的节点之间的欧氏相似性$Es$，计算方法为
$$E_s=1-D\left(p,v_i\right)/\max \left(H_m,W_m\right),v_i\in V_p$$
其中$D(p,vi)$是中枢$p$与节点$v_i$之间的L2距离，$H_m$是图像的高度，$W_m$是图像的宽度。

为避免训练中许多相同图形导致容易样本的累积积累，枢轴p应满足以下条件：
$$G_{iou}=\frac{G_p\cap G_q}{G_p\cup G_q}<\xi ,p,q\in T$$
$G_p$和$G_q$代表两个局部图，中枢$p$与中枢$q$是属于同一文本实例$T$，分子与分母分别是两个局部图的$1$-$hop$的交集与并集。

深度关系推理

局部图中包含的粗略链接信息（节点之间的边）对于估计枢轴及其邻居之间的链接可能性很有用。在局部图的基础上，本文采用基于GCN的深度关系推理网络来推断中枢与其邻域节点的链接可能性。图通常表示为$g(X,A)$，$X$为特征矩阵，$A$为邻接矩阵。

Node Feature Extraction

如图5中灰色矩形框所示，输入节点特征框需要由两个部分组成：上面分支的几何特征和中间分支的RROI特征。

其中RROI特征的输入为图3中的$Fn$，然后可以得到一个$1\times 3\times 4\times C_r$大小的张量，进一步reshape成为$1\times 12\cdot C_r$二维张量，记作$F_r$。

文本组件的几何属性根据[29]和[5]被嵌入到高维度空间，嵌入是通过将不同波长的正弦和余弦函数应用到标量$z$，
$$\begin{array}{c}{\epsilon }_{2i}(z)=\cos \left(\frac{z}{1000^{2i/C_{\epsilon }}}\right),i\in \left(0,C_{\epsilon }/2-1\right)\\ {\epsilon }_{2i+1}(z)=\sin \left(\frac{z}{1000^{2i/C_{\epsilon }}}\right),i\in \left(0,C_{\epsilon }/2-1\right)\end{array}$$
其中，嵌入向量$ϵ(z)$的维数为$C_{ϵ}$，结果是每一个文本组件都被嵌入到向量$F_g$中，其维度为$6\cdot C_{ϵ}$。

最终，$F_g$与$F_r$执行Concat操作，作为节点特征。

Node Feature Normalization
为了更好地将中枢$p$的特征编码至局部图中且为了更容易地学习到中枢与其邻居节点之间的链接可能性，本文将进行节点特征的归一化。
$${\mathbf{F}}_p={\left[\dots ,x_q-x_p,\dots \right]}^T,q\in V_p$$
其中，$x_p$是中枢$p$的特征，$q$是属于以$p$为中枢的局部图$V_p$的节点。

Adjacency Matrix Generation
本文使用邻接矩阵$A_p\in {\Re }^{N\ast N}$来代表局部图。

Graph Convolutions
再得到了上述的$X$和$A$之后，本文采用基于图的关系推理网络。本文修改了[33]和[8]的结构，图卷积层的计算如下：
$$\begin{array}{c}{\mathbf{Y}}^{(l)}=\sigma \left(\left({\mathbf{X}}^{(l)}\oplus \mathbf{G}{\mathbf{X}}^{(l)}\right){\mathbf{W}}^l\right)\\ \mathbf{G}={\tilde{\mathbf{D}}}^{-1/2}\tilde{\mathbf{A}}{\tilde{\mathbf{D}}}^{-1/2}\end{array}$$
其中，${\mathbf{X}}^{(l)}\in {\Re }^{N\times d_i},{\mathbf{Y}}^{(l)}\in {\Re }^{N\times d_o}$，$d_i/d_o$是输入/输出节点的维度，$N$是节点个数，$\mathbf{G}$是$N\times N$的对称归一化拉普拉斯算子，$\oplus$是矩阵concatenation操作，$W^{(l)}$是特定层的可训练权重矩阵，$\sigma (\cdot )$是非线性激活函数，$\tilde{A}=A+I_N$是邻接矩阵加上自连接，即$I_N$是单位矩阵；$\tilde{\mathbf{D}}$是对角矩阵${\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij}$。

本文中的深度推力模型由一个Batch Normalization层、4个接着ReLu的图卷积层组成，采用了softmax交叉熵损失。

推理阶段

• 根据关系推理结果，对文本组件分组
• 首先将阈值分别应用于TR和TCR，然后使用NMS减少冗余
• 遍历所有文本组件，以每个组件为中心构造一个局部图，因此获得了由链接可能性加权的一组边
• 使用宽度优先搜索BFS对链接进行聚类和合并
• 应用MinPath算法搜索所有文本组件中心的最短路径，然后通过搜索结果对实例T的各个组件进行排序
• 顺序地在有序文本组件中链接顶部和底部的中点，即可得到文本边界

---

实验

消融研究

使用关系推理网络后，在Total-Text、CTW1500和TD500数据集上，Hmean比baseline分别提升1.83%、0.78%和4.27%。在Recall上分别提升3.05%、0.88%和3.78%。

使用关系推理网络在TD500上的检测性能明显提高，但在CTW1500上并不明显，原因是CTW1500的标注是令人迷惑的，一些小文本没有标注，还有一些标注划分不合理，如图6所示。

与最优模型对比

多边形数据集：

• Total-Text
  如图7所示，本文提出的方法可以很好地检测细小的弯曲文本并且可以很好地划分排布紧密的文本。定量指标在Hmean上达到了85.73%，如表2所示。

• CTW1500
  本文方法同样在CTW1500上可以精准的检测文本边界，定量上达到了recall(83.02%),Hmean(84.45%)。

四边形数据集：本文针对此类数据集，将结果转化为矩形，使用最小的矩形进行评估。

• MSRA-TD500
  该数据集中包含很多长文本，本文方法可以成功地检测出任意形状、方向的长文本，如图7所示。
  定量结果在Hmean上达到了85.08%。

• ICDARs (IC15, IC17)
  IC15包含很多低分辨率和小文本实例；IC17包含很多多语言场景图像和单词级别标注。
  定量结果如表3和表4所示，在IC15和IC17的Hmean指标上分别达到了86.56%和67.31%。
  
  

总结

本文提出新的基于组件连接（CC）策略的文本检测方法。提出了基于图卷积的深度关系推理网络，来学习文本组件之间的链接可能性。

本文实验不仅在任意形状文本的数据集上表现出优越的检测精度，而且也适合定向和多语言文本检测。

遗憾的是，目前仅仅实现了检测功能，下一阶段应该完成端到端的文本阅读方法。

参考文献

[17] Shangbang Long, Jiaqiang Ruan, Wenjie Zhang, Xin He, Wenhao Wu, and Cong Yao. Textsnake: A flexible repre- sentation for detecting text of arbitrary shapes. In ECCV, pages 19–35, 2018. 1, 2, 3, 4, 7, 8

[1] Youngmin Baek, Bado Lee, Dongyoon Han, Sangdoo Yun, and Hwalsuk Lee. Character region awareness for text de- tection. In CVPR, pages 9365–9374, 2019. 1, 2, 3, 7, 8

[11] Minghui Liao, Zhen Zhu, Baoguang Shi, Gui-Song Xia, and Xiang Bai. Rotation-sensitive regression for oriented scene text detection. In CVPR, pages 5909–5918, 2018. 2

[13] Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott E. Reed, Cheng-Yang Fu, and Alexander C. Berg. SSD: Single shot multibox detector. In ECCV, pages 21–37, 2016. 2

[10] Minghui Liao, Baoguang Shi, and Xiang Bai. Textboxes++: A single-shot oriented scene text detector. IEEE Transac- tions on Image Processing, 27(8):3676–3690, 2018. 2, 8

[42] Xinyu Zhou, C.Yao, He Wen, Yuzhi Wang, Shuchang Zhou, Weiran He, and Jiajun Liang. EAST: An efficient and accu- rate scene text detector. In CVPR, pages 2642–2651, 2017. 1, 2, 8

[3] Dan Deng, Haifeng Liu, Xuelong Li, and Deng Cai. Pix- elLink: Detecting scene text via instance segmentation. In AAAI, pages 6773–6780, 2018. 2, 8

[30] Wenhai Wang, Enze Xie, Xiang Li, Wenbo Hou, Tong Lu, Gang Yu, and Shuai Shao. Shape robust text detection with progressive scale expansion network. In CVPR, pages 9336– 9345, 2019. 2, 7, 8

[28] ZhuotaoTian,MichelleShu,PengyuanLyu,RuiyuLi,Chao Zhou, Xiaoyong Shen, and Jiaya Jia. Learning shape-aware embedding for scene text detection. In CVPR, pages 4234– 4243, 2019. 2, 7, 8

[34] Yongchao Xu, Yukang Wang, Wei Zhou, Yongpan Wang, Zhibo Yang, and Xiang Bai. Textfield: Learning a deep di- rection field for irregular scene text detection. IEEE Trans. Image Processing, 28(11):5566–5579, 2019. 2, 7, 8

[27] ZhiTian,WeilinHuang,TongHe,PanHe,andYuQiao.De- tecting text in natural image with connectionist text proposal network. In ECCV, pages 56–72, 2016. 1, 2

[20] ShaoqingRen,KaimingHe,RossB.Girshick,andJianSun. Faster R-CNN: Towards real-time object detection with re- gion proposal networks. IEEE Trans. Pattern Anal. Mach. Intell., 39(6):1137–1149, 2017. 2, 4

[21] Baoguang Shi, Xiang Bai, and Serge J. Belongie. Detect- ing oriented text in natural images by linking segments. In CVPR, pages 3482–3490, 2017. 1, 2, 7, 8

[4] Wei Feng, Wenhao He, Fei Yin, Xu-Yao Zhang, and Cheng- Lin Liu. Textdragon: An end-to-end framework for arbitrary shaped text spotting. In ICCV, pages 9075–9084, 2019. 2, 7

[33] Zhongdao Wang, Liang Zheng, Yali Li, and Shengjin Wang. Linkage based face clustering via graph convolution net- work. In CVPR, pages 1117–1125, 2019. 2, 3, 4, 5, 6

[12] Tsung-Yi Lin, Piotr Dolla ́r, Ross B. Girshick, Kaiming He, Bharath Hariharan, and Serge J. Belongie. Feature pyramid networks for object detection. In CVPR, pages 936–944, 2017. 3

[29] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszko- reit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, pages 5998–6008, 2017. 5

[5] Jiayuan Gu, Han Hu, Liwei Wang, Yichen Wei, and Jifeng Dai. Learning region features for object detection. In ECCV, pages 392–406, 2018. 5

[8] Thomas N. Kipf and Max Welling. Semi-supervised classi- fication with graph convolutional networks. In ICLR, 2017. 5