深度学习——day19 读论文：基于改进 Sigmoid 卷积神经网络的手写体数字识别（2021 信息科技）

基于改进 Sigmoid 卷积神经网络的手写体数字识别（2021 计算机科学）

资源下载

点击跳转

chap1 模型构建

1）数学神经元结构

xj 为输入信号， f 为传递函数，wi,j 表示与神经元 xj 连接的权值，yi 表示输出值，θ 表示阈值

2）BP神经网络结构

每一轮将训练得到的结果与预想结果进行误差分析，进而修改权值和阈值，一步步得到输出和预想结果一致的模型。

3）模型训练过程：当对图片进行预测时，Softmax Regression 会对每一种类别估算一个概率，并将概率最大的数字作为结果输出

通过对小样本的测试找到最优的卷积核数目

第一层采用RELU函数激活；
第二层采用 Softmax 函数作为分类器，输出每个 label 的概率

基于 CNN+KNN 的算法改进

Fx 是一个可以训练的滤波器，利用 fx 去卷积一个输入的图像，通过 Sigmoid 激活函数，加一个偏置 bx,得到卷积层Cx。Mj 是输入特征图的值

1）梯度下降算法

由于计算量太大，因此调用 next_batch 方法，先在所有的训练数据集中筛选一部分，并随机选取其中一部分训练数据集，将其提供给神经网络的输入层，然后通过反向迭代方法去优化这个神经网络

2）损失函数选用交叉熵：交叉熵越小，就说明

模型的输出越接近正确的结果

3）算法流程

① 定义算法公式，即神经网络前向传播时的计算

② 指定优化器优化 loss

③ 迭代地对数据进行训练

1）计算输出

2）计算loss函数

3）通过loss函数计算梯度

4）通过梯度更新权值

④ 将训练结果导入 KNN 分类器，通过实

验得出最优近邻

⑤ 在测试集或验证集上对准确率进行评测

实验结果对比与分析

邻居数量 K 值的不同取值对算法正确率的影响，K=5时最佳

与当下流行的几种手写数字识别算法的识别率进行对比

本文运用的基于 KNN+CNN 的手写数字识别算法的识别率为 99.7%，而基于改进型卷积神经网络的手写数字识别方法识别率为 99.2%，基于改进 VGG-16 和朴素贝叶斯的手写数字识别方法的识别率为 99.36%。