卷积神经网络

全连接前馈神经网络

1.权重矩阵的参数非常多
2.局部不变性特征
自然图像中的物体都具有局部不变性特征
尺度缩放、平移、旋转等操作不影响其语义信息。
全连接前馈神经网络很难提取这些局部不变特征。

卷积神经网络(CNN)

1.一种前馈神经网络
2.受生物学上感受野的机制而提出的
在视觉神经系统中，一个神经元的感受野是指视网膜上的特定区域，只有这个区域内的刺激才能激活该神经元。
卷积神经网络有三个结构上的特性：
局部连接
权重共享
空间或时间上的次采样

卷积

卷积经常用在信号处理中，用于计算信号的延迟累积。
假设一个信号发生器每个时刻t产生一个信号Xt，其信息的衰减率为Wk，即在k-1个时间步长后，信息为原来的Wk倍。
时刻t收到的信号Yt为当前时刻产生的信息和以前时刻延迟信息的叠加。
me：加权求和。权重-w-卷积核/滤波器

卷积的作用：
近似微分

低通滤波/高通滤波

卷积拓展
一般(S=1,无Padding)：输入长度为M，卷积核为K，输出为M-K+1。
步长(Stride)长就会减少输出序列的长度。
若想使得输入输出序列数量相同，零填充(Padding)补充k-1个零，即两端各补k-1/2个零。k为滤波器窗口数目。

统一的公式：output = [( input + 2p - k) / s] + 1 其中p为一侧的p。

卷积类型

卷积作为特征提取器：

卷积神经网络

互相关：
标准卷积计算需要进行卷积核翻转，但是翻转不是必要的。

引入多个卷积核可以增强卷积层的能力。
特征映射：图像经过卷积后得到的特征。
卷积层输入：D个特征映射MND 长度宽度深度
卷积层输出：P个特征映射M‘*N’*P

汇聚层(Pooling Layers)池化层：减少神经元数量

卷积网络结构

卷积网络是由卷积层，汇聚层，全连接层交叉堆叠而成（最后过softmax进行输出分类）。一个卷积块是连续M个卷积层和b个汇聚层。M通常设置为2~5，b设置为0或1。一个卷积网络中可以堆叠N个连续的卷积块，然后再接着K个全连接层。N的取值区间比较大，一般为0到100或更大，K一般为0到2。
典型结构：1.趋向于小卷积，大深度 2.趋向于全卷积

其他卷积种类

典型的卷积网络

LeNet-5是一个非常成功的神经网络模型。

AlexNet–第一个现代深度卷积网络模型
首次使用了很多现代深度卷积网络的一些技术方法：使用GPU进行并行训练，采用了ReLU作为非线性激活函数，使用Dropout防止过拟合，使用数据增强。

Inception网络
Inception网络是由Inception模块和少量汇聚层堆叠而成的。在卷积网络中如何设置卷积层卷积核的大小是一个十分关键的问题。在Inception网络中，一个卷积层包含多个不同大小的卷积操作，称为Inception模块。
用多层小卷积核来替换大的卷积核，以减少计算量和参数量。

残差网络(ResNet)
残差网络是通过给非线性的卷积层增加直连边的方式来提高信息的传播效率。
假设在一个深度网络中，我们期望一个非线性单元(可以为一层或多层的卷积层)f(x,seita)，去逼近一个目标函数h(x)。
将目标函数拆分成两部分：恒等函数和残差函数。

一个参差单元

补充：常用的非线性激活函数有sigmoid、tanh、relu等，前两者sigmoid/tanh比较常见于全连接层，后者ReLU常见于卷积层。 ReLU的优点是收敛快，求梯度简单。
激活函数作用：如果不用激活函数，每一层输出都是上层输入的线性函数。容易验证，无论神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。因此引入非线性函数作为激活函数，这样深层神经网络就有意义了（不再是输入的线性组合，可以逼近任意函数）。最早的想法是sigmoid函数或者tanh函数，输出有界，很容易充当下一层输入。