机器学习 神经网络（3）

继续分享如何设计图形识别的神经网络结构。在卷积神经网络CNN中，决定某一层输出结果中一个元素所对应的输入层的区域大小，被称作感受野receptive field。感受野用来表示网络内部的不同神经元对原图像的感受范围的大小，或者说，convNets(cnn)每一层输出的特征图(feature map)上的像素点在原始图像上映射的区域大小。

第二层神经网络层

设计神经网络结构

图

图

之前了解了 sigmoid 激活函数，今天给大家讲一讲 ReRul 激活函数，我尽量用自己语言来描述，不对地方不是让大家海涵，而是让大家指正，我也在学习的路上。 ReRul 以 0为分界线一侧也就是小于 0 都为 0 。而大于 0 都是其数值本身。所以他比较稳定，相对于 sigmoid 激活函数。

图

神经网络结构图

前几层我们可以用 sigmoid 来进行运算在输出层可以考虑用 ReLU 函数来计算激活值

整体结构图

神经网络结构图

这里通过对图进行学习，通过设计神经网络结构来分析该图属于哪个分类。白色线表示加权为 1 而黑色线表示加权为 -1 这里暂时不考虑偏移量。

图

先看第一层是四个位置像素值，第二层神经元是有两个像素决定的，分辨是两侧为白色像素的情况以及下面黑白像素组合的情况。

第一层神经网络

看神经网络的第一层，上面两个为黑色像素，下面两个为白色像素图为输入，我们神经元安位置接受像素的激活值。第一层从上到下分别为 -1 -1 1 1 ， 白色为 1 而黑色用 -1 表示。

第二层神经网络

第二层神经网络每个神经元为两个像素组成，第一层神经元值作为输入，通过加权计算出第二层神经元的激活值。上数第一个输入值为 -1 和 1 第一层神经网络的第1和第4 的神经元，进行计算 - 1 * 1 + 1 * 1（白色线为 1 ） =  0 即取和为 0 。第二个神经元同理，我们就说说第三个吧，- 1 * 1 + 1 * -1 = -2 ，然后用 sigmoid 压缩为 -1。看一看他就是原图的反向排列。

第三层神经网络

第三层是由四个像素组成的，两个第二层的神经元的组合，前两个两 0 和为零，第三个是  -1* 1 + -1 *- 1 = 0，第四个是 -1 *1 + -1 *1 = -2 压缩后为 -1 。

图

最后进入输入，使用 ReLU 激活函数，那么我们就只看最后一个，-1 * 1 为 -1 根据 ReLU 只要小于零的数均按 0 处理所以为 0，而 -1  * -1 为 1 所以我们得出结果是最后一个。