【计算机视觉】CPC 讲解

任何的书写错误、排版错误、概念错误等，希望大家包含指正。

在阅读本篇之前建议先学习：
【机器学习】噪声对比估计（NCE）
【计算机视觉】MoCo 讲解 中关于“对比学习”的介绍
【计算机视觉】PixelRNN 讲解

CPC

概述

对比预测编码（Contrastove Predictive Coding，CPC）是一个基于无监督学习，通过对未来信息进行预测的编码框架，用于获取具有强通用性的特征表示（向量）。模型的特征编码器对“序列”数据的每个时刻编码至潜在空间，由强大的自回归模型预测未来时刻的潜在特征，通过噪声对比估计的变体对模型进行端到端的训练，实现间接地最大化当前时刻的上下文信息和未来数据之间的互信息（Mutual Information，MI）。

对比预测编码模型相比于之前学者提出的模型具有更强的泛化能力和通用性，作者的方法被证明了在四个不同的领域（语音、图像、文本和3D环境中的强化学习）均实现了不错的效果。

思想

手工提取特征的方法