最近一直看网络压缩的文章,总结一下这几个性能比较好的net。供大家参考,希望大家批评指正。
#图片中第4列,中的参数个数是怎么算的呢?
#可以大概算一下,由于网络学习的参数主要是w,b。
#而b是很少一部分。且二者不再一个量级。因此忽略掉每一层的b,只计算W。拿Alex-net为例。
第一个卷积层。96 *11 * 11 *3(输入3同道,输出96通道,卷积核11*11) = 34,848个参数 大概35K个参数。
其余conv层以此类推分别为:307K,884K,1.3M,442K。
第一个全连接层。最后的feature map =256 (Channels)* 6*6 而第一个 全连接层是 4096 。
因此,4096* 256 * 6 * 6 = 37M
其余的全连接层: 16M ,4M'
借用网上一个牛人博客中的图片,http://www.jianshu.com/p/58168fec534d
本文持续更新。。。