【NeurlPS2019】Positional Normalization 位置归一化

作者提出,当前的BatchNorm, GroupNorm, InstanceNorm在空间层面归一化信息,同时丢弃了统计值。作者认为这些统计信息中包含重要的信息,如果有效利用,可以提高GAN和分类网络的性能。

在这篇论文中,作者提出PONO方法,在通道层面进行归一化,与BN的对比如下所示。实际操作起来,并不是直接归一化,要复杂一些,下面进行详细说明。

【NeurlPS2019】Positional Normalization 位置归一化_第1张图片

如下图所示,对于conv-deconv的网络,前层网络的结构信息 μ \mu μ σ \sigma σ作为新特征的参数 β \beta β γ \gamma γ传到后层,以提供图像中的结构信息,作者把这种算法叫做PONO-MS。可以看出,这种操作和 skip-connection 非常相似。

【NeurlPS2019】Positional Normalization 位置归一化_第2张图片
同时,考虑到各种任务的不同,作者也提出了PONO-DMS,如下图所示。
μ \mu μ σ \sigma σ输入一个简单的ConvNet中自适应学习,得到更好的参数。
【NeurlPS2019】Positional Normalization 位置归一化_第3张图片

实验时,主要集中在Image Translation,结果表明,加入 PONO-MS 可以有效的提高网络性能。同时,PONO-MS也能有效使一些failure的case起死回生。比如,分别提取猫和狗的结构信息和类别信息,旨在于生成有着猫的结构的狗和有着狗的结构的猫(如图所示)。当我们用小数量级dataset来训练网络的时候我们可以看到网络无法学习到我们需要的信息,造成训练失败。而令人惊讶的是,当加入PONO-MS之后,网络可以成功学习到对应信息,使一个失败的例子能够起死回生。

【NeurlPS2019】Positional Normalization 位置归一化_第4张图片

PONO目前已被应用于生成网络(GAN,图像去雾等),语义分割,图像分类等应用当中。具体请参见Github:https://github.com/Boyiliee/PONO

其中最近该研究团队将PONO应用于数据增强达到了非常好的效果,具体可参照:https://github.com/Boyiliee/MoEx

你可能感兴趣的:(深度学习)