神经网络进阶之路

【来源于5.18和5.26大佬的课程】
【好吧不记录果然什么都忘了】

基础

神经网络中的基本概念

conv层

对于卷积（N，H，W，C）
卷积层的参数量为 cOut * cIn * hKernel * wKernel， 例如如果输入为20 * 20 * 3，如果输出chanel为 5，则根据下图，上一层的每个c都会与下一层c相连，因此为cIn * cOut的参数量，具体的可理解过程为每个卷积核，对每一层进行卷积之后，再进行矩阵运算（in * out）

fc层

全连接层的图也可以引用上面的图，conv在某种情况下可以作为fc使用

pooling层

average-pooling

max-pooling

激活函数

为了解决神经网络的输出和输入为线性关系的问题，引入激活函数

sigmoid函数

• 由于在两端的导数值较小，会产生梯度消失
• 由于sigmoid输出均大于0，使得后序的神经元输入不为均值0

tanh函数

• 由于在两端的导数值较小，会产生梯度消失（same as sigmoid

relu

pooling

反向传播

网络发展史

VGG（2014年）

• 提出小卷积核的优点，例如2层3 * 3的卷积核可以代替5 * 5的卷积核，见下图示意
  
• 数据增强

Inception（GoogleNet）

v1

• bottleneck