FC和GAP的区别

看reid的论文会发现，作者一般都会提一句话：为了使得能够任意图片大小输入，我们增设了全局平均池化层（GAP）。那为什么全局平均池化可以代替FC呢？全连接层有一个非常致命的弱点就是参数量过大，特别是与最后一个卷积层相连的全连接层。比如，第一个全连接层FC1有4096个节点，上一层feature map是7X7X512 = 25088个节点，则该传输需要4096*25088个权值，需要耗很大的内存。

这两者合二为一的过程我们可以探索到GAP的真正意义是:对整个网路在结构上做正则化防止过拟合。其直接剔除了全连接层中黑箱的特征，直接赋予了每个channel实际的类别意义。做法是在最后卷积层输出多少类别就多少map，然后直接分别对map进行平均值计算得到结果最后用softmax进行分类。
pytorch代码是：

model.avgpool = nn.AdaptiveAvgPool2d(1)

nn.AdaptiveAvgPool2d参数一般都设成1，这样连FC都不用接啦，也有很多论文是设置成指定大小，后面再接一个FC也是可以呢。但GAP的优点就在于，你无须管输入图像的大小，只需要通过GAP变成指定大小与FC相连即可。比如下面这种错误出现的原因就是因为fc层weight参数维数与输入图像的维数不匹配，
“RuntimeError: size mismatch, m1: [1 x 7744], m2: [400 x 120]” in the convolutional layer . 要解决这种问题有两种办法。1.在FC层前加上GAP变成之前网络FC层前feature map大小。2.改成原来网络的大小