【机器学习】深度学习和卷积神经网络

参考

华为云学院

卷积神经网络

卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，它包括（convolution），池化层（pooling layer）和全连接层（fully connected layer）。
20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效降低前馈神经网络的复杂性，继而提出卷积神经网络。

卷积运算

卷积核计算演示

卷积网络中的概念

卷积核（convolution kernel）：根据一定规则进行图片扫描并进行卷积计算的对象，可以用于提取局部特征。
卷积核尺寸（kernel size）：卷积核一般是一个3维矩阵，可以用一个立方体表示，width,height,deep。deep可以理解为通道channel。
特征图（feature map）：经过卷积核计算过后得到的结果矩阵就是特征图。每一个卷积核会得到一层特征图。
特征图尺寸（feature map size）：特征图是一个3维矩阵，width,height,deep。深度由当前层的卷积核个数决定。
步长（stride）：卷积核在输入图像上滑动的跨度。如果卷积核一次移动一个像素，则步长为1
零填充（zero padding）：为了提取图像的边缘信息，并且保证输出特征图的尺寸满足要求，可以对输入图像边缘填充一个全为0的边框，边框的像素宽度就是padding

卷积神经网络的核心思想

局部感知。一般认为人对外界的认知是从局部到全局的，而图像的空间联系也是局部的像素联系较为紧密。所以卷积神经网络首先对局部进行感知，再将局部综合起来得到全局信息。
参数共享。对输入的照片，用一个或者多个filter扫描照片，其自带的参数就是权重w，用同一个filter扫描整张图像且w不变，就是参数共享。比如有3个filter，每个filter都会扫描整张图，而filter的参数值固定不变，即整张图的所有元素都“共享”了相同的w。

卷积神经网络结构

输入层：用于数据的输入
卷积层（convolution layer）：卷积神经网络中每层卷积层由若干卷积单元组成，每个卷积单元参数通过反向传播算法优化得到。卷积运算的目的是提取输入的不同特征，每一层卷积层智能提取一些低级的特征，如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。
激活函数（activation function）：将卷积层的输出分线性化，最常用的激活函数是ReLU。不被记作单独层数。
池化层（pooling layer）：减少图像特征（feature map）的空间尺寸，减少训练参数数量
全连接层（fully connected layer）：把所有局部特征结合变成全局特征，一般用来计算每一类的得分，起到分类器的作用，一般都使用softmax激活函数量化最终的输出。
输出层：输出最终结果。

ILSVRC

ImageNet Large Scale Visual Recognition Challenge是斯坦福都会举办的一个科技比赛。自2010年以来，每年的ILSVRC都包括以下3个比赛：图像分类，单物体定位，物体检测。

AlexNet

VGGNet

VGG的6种配置

谷歌的GoogLeNet

GoogLeNet中的Inception结构

这种并行的结构

微软的残差网络ResNet

ResNet中的残差结构

残差结构的思想是将卷积层的输入和输出连了起来，这样可以有效改善“梯度消失”的问题。

SENet