【深度学习】分类网络结构RESNET RESNEXT DENSENET DPN MOBILE NET SHUFFLE NET

RESNET

跳跃连接

 

RESNEXT

拆分-转换-合并

增加基数(独立路径的数量)来提高准确度比网络加深或扩大来提高准确度更有效。(为什么呢?)

 

DENSENET

相加改为相并联

加强shortcut,将所有层直接连接在一起

 

DPN

将残差通道和densely connected path相融合,实现优缺互补

-------------------------------------------以下为轻量级网络-------------------------------------------

MOBILE NET

v1

1. 放弃pooling,直接采用stride=2进行卷积运算,【其他网络,具体应用的时候再看

2. 使用两步卷积代替一步卷积(深度可分离卷积),优点:减少计算量

3. 用两个超参数来控制网络计算速度与准确度之间的平衡,宽度调节参数(调节每一层的channel数),分辨率调节参数(调节输入图像的分辨率)

(啥是轻量化,为啥这个可以做到轻量化呢?)轻量化--参数量少

 

v2

1. 引入shortcut结构(残差网络)

2. 在进行depthwise之前先进行1*1的卷积增加feature map的通道数,实现feature map的扩张。(inverted residual block,一般的residual block是两头channel多中间feature map的channel少(沙漏形状)。而inverted residual block是两头通道少,中间feature的通道多(梭子形态))(梭子形态有啥好处吗?为啥resnet不用呢?----参数量已经很少了,中间增加一点参数,准确率也会高一点)

3. pointwise结束之后弃用relu激活函数,该用linear激活函数,来防止relu对特征的破坏(为啥relu有破坏,linear不会)

 

参考博文:https://www.jianshu.com/p/854cb5857070

 

SHUFFLE NET

分组卷积,交换不同组之间的通道。(shuffle net与resnet相比的优点和缺点)

 

 

 

你可能感兴趣的:(deep,learning,人工智能,算法讲解,模式识别,深度学习,图像处理,机器学习,目标检测)