【对比学习】17.Representation Learning withContrastive Predictive Coding(2019.1)

题目：基于对比预测编码的表征学习 

论文地址：

摘要：虽然监督学习已经在许多应用中取得了巨大的进展，但无监督学习还没有得到如此广泛的采用，仍然是人工智能的一个重要而富有挑战性的努力。 在这项工作中，我们提出了一种通用的无监督学习方法来从高维数据中提取有用的表示，我们称之为对比预测编码。 我们的模型的关键洞察力是通过使用强大的自回归模型来预测潜在空间中的未来来学习这些表征。 我们使用一个概率对比损失，它诱导潜在空间捕捉信息，最大限度地有用预测未来的样本。 采用负抽样的方法，使模型变得易于处理。 虽然大多数以前的工作都集中在评估特定模态的表示，但我们证明了我们的方法能够在四个不同的领域学习有用的表示，并在三维环境中实现强大的性能：语音、图像、文本和强化学习。 

1 介绍

        用分层可微模型从标记数据中以端到端的方式学习高级表示是人工智能迄今为止最大的成功之一。 这些技术使得手动指定的特性变得多馀，并极大地改进了几个实际应用程序中的最新技术[1,2,3]。 然而，仍然存在许多挑战，如数据效率、鲁棒性或泛化。

        改进表征学习需要在解决单个监督任务时不那么专门化的特征。 例如，当预先训练一个模型来进行图像分类时，诱导的特征相当好地转移到其他图像分类域，但也缺乏某些信息，如颜色或计数能力，这些信息与分类无关，但与例如图像标题相关[4]。 类似地，对转录人类语音有用的特征可