深度学习之神经网络

1.LeNet5：最早的卷积神经网络，卷积层+AveragePooling+全连接
2.Alexnet详解亮点
3.VGG
4.NIN，1 * 1卷积核 （Network in Network）
注：1x1卷积一般只改变输出通道数（channels），而不改变输出的宽度和高度 降维/升维。
使用1x1卷积核，实现降维和升维的操作其实就是channel间信息的线性组合变化
5.Inception V1,V2,V3,V4 模型总结

• Inception v1
  通过11的卷积核，减少特征的数量；通过不同大小的卷积核，增大了网络的宽度和尺度适应性。
  针对每个Inception module，其输入被拷贝四份供不同的层使用，即图中三个11+1(S)卷积层和一个33+1(S)最大池化层。第二层的三个卷积层为11+1(S)，33+1(S)，55+1(S)，能够获取到不同尺度的特征模式。该结构中所有的卷积层都使用ReLU激活函数。
• Inception v2：BN层引入，两个3 * 3的卷积代替1个5 * 5的卷积
• Inceptionv3：3 * 3的卷积核改为3 * 1和1 *3的组合，减少参数量的同时网络更深、增加了非线性
• Inceptionv4：增加了残差结构，类似ResNet

6.Resnet
残差结构，防止梯度消失、网络退化的问题，第一次可以把网络构建到上百上千层
7.DenseNet 每一层都与前面的所有层相连

8.SqueezeNet：1* 1卷积squeeze，然后3*3卷积expand，减少模型参数量
9.SENet Squeeze-and-Excitation Networks
10.MobileNet
深度可分离卷积，depthwise的卷积，压缩了很多参数量，也节省了很多计算时间，可以有效应用在移动端和嵌入式设备