ICLR 2019计算机视觉、NLP、图模型、对抗学习、表示学习和元学习

https://www.toutiao.com/a6703123631590867459/

 

原作者：Marina Vinyes

深度学习与NLP编译

关键词：Computer Vision, Natural Language Processing, Graphs, Scalability, Adversarial Learning, Learning Representations, MetaLearning

ICLR 2019于4月18号在新奥尔良举行，本文整理了本届会议在计算机视觉、自然语言处理、图模型、可扩展性、对抗学习、表示学习和元学习等领域最新的技术的进展，分享给大家。同时，ICLR 2020将在埃塞俄比亚的亚的斯亚贝巴举行。这将是非洲第一次大型机器学习会议。

 

ICLR 2019组织者

海报和演讲中展示本届大会广泛的主题，这里有一个(非详尽的)列表。

 

2019年ICLR海报

计算机视觉

计算机视觉仍然是深度学习的主要课题之一，在ICLR确实很有代表性。另一个非常普遍的话题是图像生成。这一主题在艺术领域有许多用途，生成一个数据集来学习另一个任务或对抗的例子。

要克服的主要困难是如何保证多样性(不仅仅是再现输入数据集)和一致性(正确的legs，保持对称性，…)

有几种方法可以生成图像，一种非常流行的方法是扫描。论文《Large Scale GAN Training for High Fidelity NaturalImage Synthesis》提出了一种使用大规模GAN生成高维图像的方法。GANs的训练既困难且代价很高，因此本文解释了什么样的调优才能使其有效工作：使用大量资源(500 TPU)，调整ResNet架构(更多层和更少参数)，改变采样分布(伯努利和ReLU而不是N(0，1)正太分布)，调整解码器。结果看起来真的很不错：

 

大规模生成的高保真自然图像训练样本

另一种生成图像的方法是自回归网络。论文《Generating High Fidelity Images with Subscale Pixel Networks and Multidimensional Upscaling》提出了一种使用新的数据转换方式，即size subscales, depth subscaling, slices的自回归网络。其背后的思想是生成小图像比生成大图像更容易。论文在CelebAHQ上进行评估，并产生最新的结果：

 

通过使用子尺度像素网络和多维放大生成高

保真图像来生成名人图像

计算机视觉的主要基础数据仍然是ImageNet上的对象分类(一个标记为10k类的10M图像数据集)。论文《ImageNettrained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness》证明所有CNN架构都偏向于纹理。CNN通常的解释是，第一层识别小的形状，下一层开始识别图像中最大的形状，如眼睛、嘴和腿等。

作者使用风格转换(一种风格感兴趣的模型)，将一个类别的纹理放置在另一个类别的图像上。该模型将图像识别为其纹理类别，而不是原始类别。通过描绘这种bias，作者发现人类偏向于形状，而CNN偏向于纹理。

 

从图像网训练的CNN偏向纹理；

增加形状偏差可以提高精确度和鲁棒性

为了消除纹理偏差，他们在一个风格化的图像网上训练一个CNN(随机纹理)。纹理偏差大部分被消除，整体结果得到改善。

自然语言处理

自然语言处理的一个重要任务是语义分析：从文本到语义语言(SQL，逻辑形式，…)。特邀演讲者米雷拉·拉帕塔(Mirella Lapata)在第四天的第一次演讲讲解她最新的论文《Learning Natural Language Interfaces with Neural Models 》时谈到了这一点。她介绍了一个可以将自然语言转换成任何语义语言的模型。为此，结合了几个想法：使用一个seq 2tree架构来处理语义语言的树结构，包含两个过程，首先将文本序列转换成语义草图，然后转换成目标语言，并对问题的释义进行训练以提高覆盖率。结果还是挺不错的，并达到许多任务的最优水平。端到端的可训练方法特别有趣，因为它避免了错误在几个模块中累积的问题，这一问题在线性规划中是常见的。

第二个热门话题是关于将CNN架构应用于自然语言处理：它通常很难达到state-of-art成绩，因为它不能像RNN那样处理语言结构，而基于注意力的方法可以。论文《Pay Less Attention with Lightweight and Dynamic Convolutions》提出了一种CNN变种，它可以达到最优的水平：动态卷积（Dynamic Convolution）。通过在4个不同的数据集上测试，他们证明了这个想法可以应用于各种问题。他们还证明减小self-attention上下文的大小，不会降低性能，也不会减少计算时间，这是动态卷积的本质：attention越少越好。

 

来源于Pay Less Attention with Lightweight and Dynamic Convolutions

除了经典的自然语言处理任务和新体系结构的改进之外，一些新任务也越来越受欢迎，其中包括需要与计算机视觉交互的任务。论文《The NeuroSymbolic Concept Learner: Interpreting Scenes, Words, and Sentences From Natural Supervision》提出了一个从图像和文本中自动学习概念的模型。它引入了一种结合语义解析、视觉解析和符号推理的体系结构(NSCL)。它发现使用由此产生的概念更容易解析新句子：用更少的训练数据就能达到最先进的水平。视觉问题回答(即看图回答问题)是评估该模型的任务之一。

 

来自The Neuro Symbolic Concept Learner: Interpreting Scenes, Words, and Sentences From Natural Supervision

图模型（Graph）

图神经网络(GNN)主要用于解决节点分类或图分类等任务。最新理论论文《How Powerful are Graph Neural Networks?》作者表示不能用流行的GNN变体，例如GCN和GraphSAGE做图分类。它们表明，最强大的GNN和Weisfeiler-Lehman图表一样强大(Weisfeiler和Lehman，1968)并提出一个可以达到上限的架构。其思想是，当使用的聚合函数是内射函数（injective function）(内射函数的一个例子是SUM—与均值或最大值相反)时，就达到了上限。

 

来源于How Powerful are Graph Neural Networks?

另一个有趣的工作是《Learning the Structure of Large Graphs 》。使用近似最近邻，他们获得样本数量的成本为0(n log(n))，并且在实验中，他们使其扩展到100万个节点(使用Matlab实现)。

对抗学习

Ian Goodfellow 谈到了Adversarial Machine Learning 。自2014年GAN产生以来，GAN生成的图像质量提高非常快，从获得的图像分辨率低，需要进一步超比例缩放，到2019年，图像分辨率非常高。近年来，新技术已经被引入，例如风格转换，它使得生成图像成为可能，而这在有监督的环境中是不可能的。

 

转移斑马花纹到马身上

对抗样本有助于通过消除bias来改进机器学习模型。GANs的用途之一是能够训和使用看起来像真实世界的数据的强化学习算法。

Self-play也是对抗性学习的一部分：它使得AlphaGo这样的算法可以通过40天的自我游戏从头开始学习。

表示学习

这是今年的热门话题。特邀演讲者莱昂·博托谈到了使用因果不变性和他和他的团队一直在研究的新想法来学习representation。因果关系是机器学习中的一个重要挑战，因为算法擅长寻找相关性，但很难找到因果关系。问题是，一个算法可能会学习到虚假的相关性，而我们并不期望在未来的使用场景中存在这种相关性。消除虚假相关性的一个想法是使用多个特定于上下文的数据集，而不是一个大的合并数据集。

 

莱昂·博托在ICLR2019中演讲

提升representation的一个关键贡献是Deep InfoMax，其思想已被会议的其他一些论文所采用。这个想法是通过最小化深层神经网络编码器的输入和输出之间的相互信息来学习更好好的表示。为此，他们使用正样本的联合分布(即(特征、表示)对)和负样的本边缘分布(即(特征，不对应于该特征的表示)对)的乘之间训练分类网络。

 

来自于Deep InfoMaxpaper

另一篇有趣的论文是《Smoothing the Geometry of Probabilistic Box Embeddings》，它取得了geometrically-inspired embedding的最优成绩，可以捕捉层次和部分排序。

 

来源于Smoothing the Geometry of

Probabilistic Box Embeddings

论文背后的核心思想是，标准box embedding的的“hard edges”会导致不必要的梯度稀疏。这个想法是使用box的平滑指示器函数作为“hard edges”的relaxation。

元学习

也叫学会学习，意思是学习学习过程。关于这一主题的一篇很好的论文是《Meta Learning With Latent Matering Optimization》，作者在tiered ImageNet和mini ImageNet数据集上取得了与MAML(该领域的参考论文)相当的实验结果。主要思想是将模型参数映射到一个低维空间(即学习空间)，然后在该空间执行元学习。

 

来自于Meta Learning With Latent Matering Optimization

总的来说，2019年ICLR非常激动人心。感谢组织者和贡献者。明年见！

往期精彩内容推荐：https://www.toutiao.com/a1636504402219011

图神经网络(GNN)无监督学习 - Thomas Kipf

历史最全量化交易书籍、视频教程、博客、代码、算法整理

1997-2019年全球最有价值公司变化

深度学习-强化学习-图神经网络-自然语言处理等AI课程超级大列表

2019年最新深度学习面试问题及答案集锦

免费中文书籍-《神经网络与深度学习》中文版推荐

免费教材分享-《理论计算机科学导论》-Boaz Barak

上下文预训练模型最全整理：原理、应用、开源代码、数据分享

深度学习与计算机视觉任务应用综述

近似推理与深度生成模型-Danilo J. Rezende

可推理神经网络模型-Christopher Manning

2018-CUDA编程精品教材分享《基于GPU-多核-集群等并行化编程》

<好书推荐> -《Pro Deep Learning with TensorFlow》分享