广义平均（Generalized Mean, GeM）

广义平均（Generalized Mean, GeM）

该操作来自图像检索方向的一篇文章，感兴趣的请移步：MultiGrain: a unified image embedding for classes and instances

文中采用了一个generalized mean pooling（GeM） layer，具体形式如下：
$$e={\left[{\left(\frac{1}{|\Omega |}\sum _{u\in \Omega }{x}_{cu}^p\right)}^{\frac{1}{p}}\right]}_{c=1\dots C}$$
其中，$x\in {\mathbb{R}}^{C\times H\times W}$代表网络提取到的tensor，$C$代表特征通道数，$u\in \Omega =\{1,\dots ,H\}\times \{1,\dots ,W\}$代表特征图中的一个"pixel"。

GeM计算了每个特征通道的广义平均，文中提到Setting this exponent as p > 1 increases the contrast of the pooled feature map and focuses on the salient features of the image。

具体来说，我们可以从它的形式上进行理解，首先令$p=1$，得到
$$e={\left(\frac{1}{|\Omega |}\sum _{u\in \Omega }{x}_{cu}\right)}_{c=1\dots C}$$
可以看到，此时变为平均池化操作。

再令$p=\infty$得到
$$\begin{array}{rl}e& =\underset{p\to \infty }{\lim }{\left[{\left(\frac{1}{|\Omega |}\sum _{u\in \Omega }{x}_{cu}^p\right)}^{\frac{1}{p}}\right]}_{c=1\dots C}\\ 这里令t=\max {[x_c]}_{c=1\dots C}，则有& \\ e& =t\underset{p\to \infty }{\lim }{\left[{\left(\frac{1}{|\Omega |}\sum _{u\in \Omega }\frac{x_{cu}^p}{t^p}\right)}^{\frac{1}{p}}\right]}_{c=1\dots C}\\ & =t\end{array}$$
此时变为最大池化操作。

由此可以看到，随着$p$取值不断增加，特征图中的重要信息会被突出。