MicroNet: Improving Image Recognition with Extremely Low FLOPs(速读)

先简单读个abstract占个位(之后会更新)

MicroNet: Improving Image Recognition with Extremely Low FLOPs(速读)_第1张图片

网络模型具有较低计算量(MFLOPs),但是低开销的网络通常性能表现不会很好。因此本文设计了计算量(FLOPs)超级无敌少的图像识别网络MicroNet,同时还具有较好的性能表现。主要的遵循以下两个设计原则:

降低网络节点(神经元)之间的连通性
使用更复杂的非线性激活函数来弥补通性网络深度的减少所带来的精度损失

这篇文章的结构不是很传统,这其实还是给造成了比较大的速读困难。

最重要的一幅图:
MicroNet: Improving Image Recognition with Extremely Low FLOPs(速读)_第2张图片

  • Micro-Factorized convolution 将MobileNet中的point-wise卷积以及depth-wise卷积分解为低秩矩阵,从而使得通道数目和输入输出的连通性得到一个良好的平衡。
  • Dynamic Shift-Max 使用一种新的激活函数,通过最大化输入特征图与其循环通道偏移之间的多重动态融合,来增强非线性特征。之所以称之为动态是因为,融合过程的参数依赖于输入特征图。

5min时间,实在是找不到重点在哪了QAQ,等细读qaq

现在都过了十个小时了

好了我回来了,好好看看这个abstract发现其实写得挺好的、、

先等等

xml又有感想了


(少说一点)

做人啊,一定要守住自己的底线!

永远记得你很重要,不要迁就任何人。

回来了。赶快进摘要,又要没有时间了QAQ。

abstract

FLOPs,p.s.计算资源的计量单位(floating point operations per second (FLOPS, flops or flop/s) is a measure of computer performance)

在计算资源比较少的情况下,性能大幅度下降(一开始理解错了QAQ)

有两种解决方式,(sparse connectivity and dynamic activation function)稀疏的链接和动态的激活函数。

所以这篇论文提到了两个点:

  • micro-factorized convolution
  • Dynamic Shift Max

然后结合了成了一个net,叫MicroNet

introduction &…

说实话这篇不是很常规,把introduction和Micro-Factorized Convolution当做同等标题

MicroNet: Improving Image Recognition with Extremely Low FLOPs(速读)_第3张图片
intro没有总结部分,先跳

先看有一个标题叫Micro-Factorized Convolution,大体看看。

Micro-Factorized Convolution主要是对MobileNet的深度分离卷积进行改造,分为pointwise convolution和depthwise convolution

上面那个图分成三个部分(细读的时候可以把那些公式好好看看)

激活函数也没有图?!?!

那就看看那个网络

MicroNet: Improving Image Recognition with Extremely Low FLOPs(速读)_第4张图片

可以看到abc三层,每个都说了它的作用

(不过这个地方的文字基本上也在说这几个的原理)

conclusion

这个总结说实话写得真不错!!!!!
基本上把我看到的都有啦!~(bushi)

在低计算量的情况下,用micronet解决一下性能问题,注意是提出了一个卷积和一个动态的激活函数。

你可能感兴趣的:(论文,机器学习)