TensorFlow入门教程(25)车牌识别之文本检测模型EAST论文简介(一)

#
#作者：韦访
#博客：https://blog.csdn.net/rookie_wei
#微信：1007895847
#添加微信的备注一下是CSDN的
#欢迎大家一起学习
#

1、概述

在OpenCV3入门教程（https://blog.csdn.net/rookie_wei/article/details/83094938）中，我大概讲了怎么使用OpenCV的方法来做车牌检测，这是我在大学时老师讲的方法。我在文末的时候说，如果有机会就用深度学习的方法试试，两年前吹的牛，最近有空就来实现它吧。大概思路就是先做文本检测，检测到车牌，然后再使用文本识别的算法，对车牌号进行识别。文本检测有非常多的算法，鉴于车牌有可能是倾斜的，而且车牌不会是弯曲的，也不会是垂直的，也不会特别长，所以使用EAST算法。文本识别则使用比较流行的DenseNet+CTC。这一系列可能需要好几篇博客才能讲完，先来简单刷一遍EAST的论文原理，然后再逐步实现EAST的代码。然后再简单说一下CRNN的论文，并实现代码。最后将它们结合起来完成车牌的检测和识别。先看一下最终的车牌识别效果图吧，

环境配置：

操作系统：Ubuntu 64位

显卡：GTX 1080ti

Python：Python3.7

TensorFlow：2.3.0

2、网络模型

EAST论文链接：https://arxiv.org/pdf/1704.03155.pdf

3、数据标签制作

以RBOX举例，上图就是RBOX数据标签的制作原理，

图(a):黄色框表示数据集中标记的文本框，绿色框表示文本框缩放0.3倍以后的缩放文本框。

图(b):表示文本框的score map，其中白色部分就是图(a)中的缩放文本框。在制作score map标签时，白色部分的像素值都为1，其余部分都设为0。这样我们通过模型预测到的score map就是文本框所在区域。但只有这些信息还不足以让我们知道确切的文本框的坐标，因为模型预测到的score map的形状并不像上图(b)中那样的规则四边形，而是如下图这样的结果，

如上图所示，左边的图片是原图，右边的图片是模型预测出的score map，白色区域就是模型预测的文本所在区域，可以看到模型预测出的score map的文本区域其实并不是规则的四边形，但是它大概能预测到文本所在的区域。正是由于只有score map还不足以预测出具体的文本框，所以就还需要geometry map进行辅助。

图(c):粉红色的框表示文本框的最小外界矩形，而我们RBOX要求的就是这个最小外接矩形。图(d):该图是有4个通道的geometry map，称为AABB（axis-aligned bounding box），这4个通道geometry map的宽高跟score map的宽高是一样的。score map的每个像素点标记的是该点是否在缩放后的文本框内，而这4个geometry map的每个像素点（对应于score map标记为1的像素点）则分别标记该像素到其所在文本框的最小外接矩形的四条边的距离。

图(e):该图也是geometry map，它标记的是每个像素点（对应于score map标记为1的像素点）所在的最小外接矩形（图(d)中粉红色的矩形）最下面的边相对水平轴的旋转角度。

结合我们这里说的制作的score map和geometry map标签，应该能理解我们模型的输出了吧？

4、损失函数

接着来看损失函数的定义，先来看score map，论文中score map的损失函数用的是交叉熵，

5、Locality-Aware NMS

通过模型得到预测的score map和geometry map以后，还需要进行NMS（非极大值抑制）得到最终的文本框。通过上面分析知道，每个score map值为1（当然，通过模型预测得到的score map，我们会筛选值大于某个阈值的点，比如0.8）的像素点都可以结合geometry map生成一个文本框，这会导致文本框的数量可能非常大，如果用传统的NMS算法，计算量会非常大，所以这里就使用Locality-Aware NMS。Locality-Aware NMS提出，如果相邻像素的几何结构具有很高的相似性（IoU超过某个阈值），则将它们进行基于得分的合并，这样不仅可以减少计算量，还可以将所有回归出的文本框的坐标信息都利用起来，提高准确度。

 

这样我们就简单的过了一下论文，有了理论依据，下一讲，我们就来实现具体代码。