pytorch十三：pytorch搭建AlexNet网络

2012年Imagenet比赛冠军的model——Alexnet (以第一作者alex命名)

模型结构见下图，别看只有寥寥八层（不算input层），但是它有60M以上的参数总量，事实上在参数量上比后面的网络都大。

由于当时的显卡容量问题，AlexNet 的60M个参数无法全部放在一张显卡上操作，所以采用了两张显卡分开操作的形式，其中在C3，R1，R2，R3层上出现交互，所谓的交互就是通道的合并，是一种串接操作。 

这个图有点点特殊的地方是卷积部分都是画成上下两块，意思是说吧这一层计算出来的feature map分开，但是当前层用到的数据要看连接的虚线，如图中input层之后的第一层第二层之间的虚线是分开的，是说第二层上面的128map是由第一层上面的48map计算的，下面同理；而第三层前面的虚线是完全交叉的，就是说每一个192map都是由前面的128+128=256map同时计算得到的。

我们来计算下这些参数都是怎么来的： 
C1：96×11×11×3(卷积核个数/宽/高/卷积核的通道数) 34848个 
C2：256×5×5×48（卷积核个数/宽/高/卷积核的通道数） 307200个 
C3：384×3×3×25（卷积核个数/宽/高/卷积核的通道数） 884736个 
C4：384×3×3×192（卷积核个数/宽/高/卷积核的通道数） 663552个 
C5：256×3×3×192（卷积核个数/宽/高/卷积核的通道数） 442368个 
R1：4096×6×6×256（卷积核个数/宽/高/卷积核的通道数） 37748736个 
R2：4096×4096 16777