图像分类（深度模型）总结

大体来看，深度模型主要分为一下几个方向

基础框架

像Lenet，Alexnet,Vgg,Prelu都属于这一系列
基础框架更关注基本的网络架构，如VGG，全部采用3x3的卷积核，prelu使用新的激活函数和初始化方法。

Inception系列(宽网络)

从Inception v1 到v4 以及Inception-Resnet系列都属于该架构，或者是一个模型。该系列更关注怎么利用Inception来搭建宽架构，让神经网络自动选择Inception model中三条或者n条路中的某一条，或权重选取。

Resnet系列 (长网络)

从Resnet被提出后，许许多多该架构被相应提出，Desnet表现出其良好的优越性，这个系列文章比较多，残差网络使网络能够更好的处理梯度消失问题。PreActResNet将bn和relu放在前面，得到了很好的效果。还有Resnetx等，这里不多介绍了。

轻型模型 (轻网络）

最近轻型网络比较受欢迎，主要使是受限移动端的设备，主要思想是将卷积核分离，SqueezeNet 大量采用1x1的网络。mobilenet将3x3的网络分离为n个3x3的卷积核和1x1的卷积核。Shufflenet系列考不同channel之间的关联，提出group1x1，然后再进行混洗。

attention模型(重网络)

类似与文本的attention，主要针对不同channel的权重和每个channel不同区域的权重。Residual Attention Network和Senet为典型。