[PED10]Invariance and Stability of Deep Convolutional Representations

Alberto Bietti, Julien Mairal

1.论文通过构造一个多层的深度卷积核网络,并且研究对应的再生核希尔伯特空间的几何结构,来研究深度信号表示的平移不变性以及微分同胚作用的稳定性,既不会丢失信号的信息。

2.首先定义了连续域空间中的信号的操作,patch extraction、kernel map、linear pooling。然后进行离散化,并且说明了了离散信号通过这些操作可以进行信号的保存和恢复。关于核近似,这里通过有限维的近似形成卷积核网络的模型,并且RKHS(再生核希尔伯特空间)的映射是通过对有限维的子空间的映射来近似获得的。这个近似是兼容的,也就是说近似的映射也在相应的RKHS中,并且由于这个映射的非扩展性,使得稳定性也得到了保存。

3.接下来文章对变形和平移不变性和稳定性进行了说明,利用微分同胚的知识,用下面这个公式来进行稳定的描述(表示):

image.png

然后对右边进行bound

image.png

最后得到上述结论,与(4)式的所需的格式相匹配,和散射变换不同的是,由于pooling层的原因,随着深度的增加而减小。但是这种情况可以通过增加一个非线性的预测层进行缓解。

image

对核近似的稳定性进行说明,在RKHS层的有穷维子空间上增加映射的步骤,并重新定义了核映射操作符,这样也不保持范数不变了,丢失的信息对应点z(u)上的核近似的质量。由于增加的映射的非扩张性,也具有非扩张性。

4.讨论变换群的全局不变性。

前面讨论的是用于保证局部变换稳定性的背部pooling层,而全局不变性主要是通过最后一个pooling层实现的。

5.核表示与CNN之间的联系。

RKHS范数较小的函数(即“大边界”)可以更好地泛化未知数据,也就是说少量的样本就能获得很好的泛化性能。

你可能感兴趣的:([PED10]Invariance and Stability of Deep Convolutional Representations)