基于tensorflow2.x卷积神经网络识别字符型验证码

  最近入门了下深度学习，实战练手写了个定长的字符型验证码识别模型。网上对于验证码这一块好多都是tf1的案例和解决办法，tf2的还是比较少，git上的开源项目也大都基于tf1.x。最大的感触果然还是，纸上得来终觉浅，看书看文档读别人的代码总觉得会了，自己写还是遇到了各种各样的问题，梯度更新的一个大坑，卡了我两天多。。记录一下踩坑的过程。
  我这边调试开发过程用的conda环境，对于我这种小白比较友好..tf版本是2.2.0 gpu版本，tensorboard 2.2.2，python是3.6.8。
  首先是数据集的处理，我用的数据集是之前搞过的zxgk的验证码，为4位数字字母，保存的图片名字以"标签名_时间戳.png"命名，在处理时需要把标签内容提取出来，当时搞的后面接时间戳是为了防止图片重复。数据集我这一共差不多6万张图，应该可以训练出一个比较满意的准确率。

  先读取，获取指定路径读取路径下的所有文件名：

将所有文件路径随机打散，有助于后面训练参数收敛

为了确定我们的操作没问题，我们显示几张图片看一看：

  OK没问题，然后就到了处理图片和标签了。图片的预处理相对这个案例而言比较简单，噪点比较少，干扰线也不是每张图片都有，省了降噪的工序。同时针对验证码而言，颜色是无所谓的，保留颜色反而会增加没有必要的特征，加大训练难度，所以灰度化也是需要做的。定义一个图片预处理的函数：

  这里遇到了第一个小坑，卷积层的输入要求是四维，单纯的做归一化处理以后，图片会是一个三维的(比如[128,70,160]，第一个代表的是图片的数量，第二和第三个分别是图片的高和宽)。卷积层本身也不是一个平面，而是有厚度这一概念的，正常来讲第四个维度也就是深度应该是rgb三原色，这里我们在输入到模型的时候需要给他扩充一个维度。

这样就完成了图片的预处理，然后是标签。我是把标签处理成一个标签长度*字符数量的张量，也就是每一行都是一个ont-hot，这里就是shape为4×36的张量。

测试一下输出：

  字符集的顺序是不能变的，预测的时候需要用到。
  图片和标签预处理都做完之后，就可以建立数据集了。我选择的是使用tf.Dataset，从指定文件路径下创建数据管道。封装成一个类的形式：

  上面的都是读取打乱操作，然后我按9：1对数据集进行分割，对打乱后的前90%做训练集，后10%做测试集。

  这样调用build方法我们就可以同时拿到训练集和验证集啦。
  接下来建立模型，模型选的是4层卷积+2层全连接层的结构。自定义模型，继承自tensorflow.keras.Model。

  卷积核还是用的比较常用的3×3，每一层卷积后面紧跟一层BN和一层最大池化层。做了四层卷积以后，将张量打平，输入到两个全连接层，每一个全连接层后接上50%的dropout，防止过拟合。最后将张量reshape成字符长度×字符集长度，和前面标签的处理结果对应。输出之后使用softmax激活，做四元分类。

  .call方法拿到模型实例。输出模型概览：

  在编写训练过程前，我们需要考虑训练的方式及各类指标。很明确的一点，这里训练评估一定是要自己编写的，传统的acc主要是针对单分类。我想在指标中输出字符的准确率和图片的准确率(图片准确率是指一张验证码图片所有字符都正确的概率)，那么就需要编写两个自定义评估器，首先是字符准确率：

将传入的正确标签和预测标签逐个对比，统计相同的数量，算出比值就可以了。

  这两个比较类似，区别就在于图片准确率是四个一组的对比，一个错全错，字符是逐个对比，对一个算一个。loss和优化器就没有必要自己写了，需求也不是那么复杂。
  这里loss我选择的交叉熵，交叉熵也是常用于多分类问题的loss函数。优化器是老大哥Adam，学习率后面可能需要让他随训练次数的增加而减小，在刚开始训练时，学习率大一些，让loss收敛快一些，训练达到一定次数时降低学习率，防止过拟合。

  接下来的过程，可能就不太稳了，我们保守点，先写个简单的训练函数，方便调试，让他跑起来看看有没有问题。为了保持训练的灵活度，这里没有用fit训练，需要编写梯度更新过程的代码。
  先初始化相关参数：

  然后自定义训练循环：

  训练10个epoch，每训练一次就更新梯度，每训练20次输出一次，先跑起来看看效果：

  观察loss值是在不断下降，代表我们优化的方向没问题。
  接下来需要加入测试集、tensorboard的支持，以及对一些配置字段的提取。这时我们可以把代码挪到Pycharm里封装一下了。
  前面model和dataset的地方不用变，先写一个测试的逻辑，很简单，传入一个step的数据，预测并计算loss与准确率，这里不需要计算梯度。同时在传入特征时，需要设置training为False，否则会影响到BN层与Dropout层的权重更新。

  然后编写提前终止训练的代码，这里计算了两个条件。第一个条件是传入的loss差值(第二个loss与第一个loss的差)，连续10轮保持在0.001以内时，代表loss已经趋于稳定不再更新，那么就保存模型结束训练。第二个条件是，训练时记录10轮以内最低的loss值，并保存对应权重。如果loss在10轮内没有降低，就将保存的权重恢复到模型中并结束训练。其实这两个条件对于训练验证码识别这种简单的问题都不见得会触发。。不过有还是要有的。

然后在训练的地方添加上。另外再加一个，训练集准确率达到99%就结束训练：

最后再加入一个写入tensorboard日志的函数：

这样在每次输出时都会记录训练集及测试集的loss及准确率。
  完成之后的训练过程：

  完成以上步骤，我们再次跑起来：

  两三分钟就跑完退出了！看看tensorboard中的曲线怎么样：
  训练集的字符准确率与图片准确率曲线：

  训练集loss：

测试集的准确率与loss:

  看起来还不错，最后写个预测类的代码就结束了：

去网站上重新下一张图片：

  还可以。结束睡觉。
  完整代码的话，我已经放在github上了，之后随着学习的深入，我也会慢慢优化代码。随后有空的话会补上个简单的文档。
  代码地址：https://github.com/startzm/captcha_cnn