新突破！CVPR2019接收论文：新的基于自编码变换的无监督表示学习方法—AET

点上方蓝字计算机视觉联盟获取更多干货

在右上方 ··· 设为星标 ★，与你不见不散

---

该文翻译由联盟成员翻译，若有不妥，欢迎指正

---

深度神经网络的成功往往依赖于大量标记的例子，这在许多实际场景中是很难获得的。为了解决这个问题，无监督的方法在不使用任何标记数据的情况下是训练神经网络的首选方法。与传统的自编码数据学习方法相比，本文提出了一种新的基于自编码变换的无监督表示学习方法：给定一个随机采样的变换，AET试图仅从编码特征中尽可能准确地预测出变换类型。其思想是:只要非监督特征成功编码了原始图像和转换图像视觉结构的基本信息，就可以很好地预测转换。我们将展示这个AET范式允许我们实例化各种各样的转换，从参数化转换到非参数化转换和由gan诱导的转换。

实验表明，与现有的无监督方法相比，AET有了很大的改进，在CIFAR-10、ImageNet和Places数据集上极大地逼近了全监督的方法的上限。

该论文已被CVPR2019接收！

介绍

深度神经网络在图像分类、目标检测和语义分割等领域的成功应用，激发了我们对其在各种计算机视觉任务中的充分应用能力的探索。不幸的是，训练深度神经网络常常需要大量的标记数据来学习足够的特征表示来完成视觉理解任务。这大大限制了深度神经网络在只有有限的标记数据可用来训练网络时的适用性。因此，研究无监督融合中的深度特征表示来解决标记数据不足的新出现的视觉理解任务越来越受到人们的关注。

在非监督学习方法的研究中，最具代表性的是自动编码器和生成对抗网络(GANs)。前者训练编码器网络输出具有足够信息的特征表示，以通过成对解码器重建输入图像。文献中提出了许多自动编码器的变体，但它们都坚持在输出端重建输入数据的基本思想，因此我们将它们分类为图1(a)所示的自动编码数据(AED)范式。

另一方面，GANs通过一对反向训练的发生器和鉴别器从输入噪声中生成图像，以一种无监督的方式学习特征表示。由于输入到发生器的噪声包含了通过发生器产生相应图像所必需的信息，因此可以将其视为输出的特征表示。为了获得每个图像的噪声特征表示，可以训练编码器形成以生成器为解码器的自动编码器体系结构。这样，给定一个输入图像，编码器就可以通过生成器直接输出其噪声表示，生成原始图像[6,8]。这结合了AED和GAN模型的优点。近年来，在许多无监督和半监督的任务中，这些模型成为自编码器的流行替代品，因为它们可以生成整个逼真图像的分布，从而从训练的生成器中获得更好的特征表示。

我们通过自动编码转换(AET)而不是数据本身来学习无监督的特征表示。具体来说，我们通过对一些变换图像的算子进行采样，来训练能够直接从学习到的原始图像和变换图像之间的特征表示来重构这些算子的自动编码器。我们相信，只要训练的特征具有足够的信息量，我们就可以从编码图像视觉结构的特征中解码转换。与图1中传统的自动编码数据(AED)范式相比，AET侧重于探索不同转换下的特征表示的动态，从而不仅揭示了静态视觉结构，而且揭示了它们如何通过应用不同转换进行更改。此外，在拟议的AET框架中，对转换的形式没有限制。这使我们能够灵活地探索各种各样的转换，从简单的图像翘曲到任何参数和非参数转换。我们将在实验中证明AET的表现优于其他的无监督模型，极大地推动了目前最先进的无监督方法更接近于完全监督模型的上限集。

---

实验

在CIFAR-10、ImageNet和place数据集上对所提出的AET模型进行评估，并将其与不同的非监督方法进行比较。

CIFAR-10实验

ImageNet实验

Places Experiments

论文Arxiv地址：

https://arxiv.org/pdf/1901.04596.pdf

联盟已打包好论文，后台也可下载

【论文下载方式】

关注公众号后台回复关键词：

20190303

即可下载全文

END

加群交流

欢迎加入CV联盟群了解CV和ML等领域前沿资讯

扫描添加CV联盟微信拉你进群，备注：CV联盟

热文荐读

最全中科大计算机学院课程资源（含答案）

必备收藏！超全 TensorFlow 代码集，随查随看！

【收藏】CMU、斯坦福等知名AI实验室、团队AI成果大盘点

近十年以来机器学习中最优秀的想法~一文带你领略GANs核心

卡内基·梅隆大学新提出AdaScale：自适应缩放实现视频对象实时检测算法

计算机视觉奠基人Alan L. Yuille ：深度学习在计算机视觉中作用有限，需要找到新的突破口！