EfficientNet学习

作者通过一系列的实验验证网络的宽度、深度和分辨率w/d/r, 三则对网络的影响

卷积神经网络(ConvNets)通常是在固定的资源预算下开发的，如果有更多的资源可用，则会进行扩展以获得更高的精度。在本文中，我们系统地研究了模型缩放，并发现仔细平衡网络的深度、宽度和分辨率可以获得更好的性能。在此基础上，我们提出了一种新的标度方法，该方法使用一个简单而高效的复合系数来均匀地标度深度/宽度/分辨率的所有维度。我们证明了该方法在扩展mobilenet和ResNet方面的有效性。
r:表示图像分辨率,r=1.0即图像大小为224*224,d=2.5表示图像大小为560x560 (224x2.5)
d:表示网络的深度:
w:表示网络的每层滤波器的个数;即输出通道数;
参考以下链接:
https://blog.csdn.net/Trent1985/article/details/91126085
https://www.cnblogs.com/yumoye/p/10997528.html
https://cloud.tencent.com/developer/news/405922
网络深度及网络宽度对网络的影响
https://blog.csdn.net/yihuliunian/article/details/90340329

在本文中，我们系统地研究了ConvNet缩放，并发现仔细平衡网络的宽度、深度和分辨率是一个重要但缺少的部分，这阻碍了我们获得更好的精度和效率。为了解决这个问题，我们提出了一个简单而高效的复合缩放方法，它使我们能够更有原则地将基线ConvNet缩放到任何目标资源约束，同时保持模型的效率。通过这种复合缩放方法，我们证明了一个mobilesize的有效网络模型可以非常有效地缩放，在ImageNet和五个常用的传输学习数据集上，以一个数量级更少的参数和更少的失败来超越最先进的精度。

github链接:
https://github.com/lukemelas/EfficientNet-PyTorch
https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet