(C1-1)MobileNet、ShuffleNet、GhostNet

轻量化模型架构

1、MobileNet

MobileNet(V1,V2,V3)网络结构详解与模型的搭建
可分离卷积及深度可分离卷积详解

V1

创新点:引入深度可分离卷积
存在的问题:Depthwise Convolution存在潜在问题,训练后部分信息丢失,导致部分kernel的权值为0。

在这里插入图片描述

V2

创新点:1、Inverted Residuals 倒残差结构;2、Linear Bottlenecks;

Q1:MobileNetv2这样设计的思路?
Q2:为什么叫倒残差结构?
看完下面的博文就有答案:详解MobileNetV2 ⭐
尝试引入 Residuals 模块并针对 ReLU 激活函数进行研究,动机相当明确,故事也很清晰。

(C1-1)MobileNet、ShuffleNet、GhostNet_第1张图片

(C1-1)MobileNet、ShuffleNet、GhostNet_第2张图片

(C1-1)MobileNet、ShuffleNet、GhostNet_第3张图片

(C1-1)MobileNet、ShuffleNet、GhostNet_第4张图片

(C1-1)MobileNet、ShuffleNet、GhostNet_第5张图片

(C1-1)MobileNet、ShuffleNet、GhostNet_第6张图片

在这里插入图片描述

MobileNet V2 论文初读 相对一般
轻量化网络:MobileNet-V2 参数解释很棒,根据下表可以直接写出对应的网络结构

(C1-1)MobileNet、ShuffleNet、GhostNet_第7张图片

(C1-1)MobileNet、ShuffleNet、GhostNet_第8张图片

代码实现

拆解出来的代码结构

深度学习之图像分类(十一)–MobileNetV2 网络结构

直接从已有包中导入

from torchvision.models import mobilenet_v2

完整可训练测试网络

实现pytorch实现MobileNet-v2(CNN经典网络模型详解)

2、ShuffleNet

3、GhostNet

CVPR 2020:华为GhostNet,超越谷歌MobileNet,已开源 官方解释
GhostNet论文解析:Ghost Module
经典回顾:GhostNet 非常精炼的多方资料总结的博文

创新点:通过普通卷积产生一组特征图,然后通过简单的线性变换产生更多的特征图。
好处:不改变输入输出特征图的前提下,大幅减少模型的参数量和计算量。

(C1-1)MobileNet、ShuffleNet、GhostNet_第9张图片

(C1-1)MobileNet、ShuffleNet、GhostNet_第10张图片

核心代码理解

构建自己的GhostNet网络(PyTorch) ⭐代码结构讲解到位

GhostNet详解及代码实现 完整非官方代码,可读性更好
GhostNet官方代码

1、_make_divisible函数能够保证输出通道的数目能够被4整除

2、GhostBottleneck模块构成

(C1-1)MobileNet、ShuffleNet、GhostNet_第11张图片

附录

可参考代码资料

检索发现的github多模型项目,记录以供参考

(C1-1)MobileNet、ShuffleNet、GhostNet_第12张图片

你可能感兴趣的:(CNN基础知识积累,深度学习,人工智能,计算机视觉)