阶梯网络与特征解耦

  最近遇到个阶梯网络，利用标签从样本中提取“干净”的任务相关信息和样本中与任务无关的“噪声”信息，如果任务是分类，那么提取任务相关信息就是利用交叉熵损失来实现，而无关信息只能利用样本自身所带有的信息，这边是重构损失。补充下，其实样本自身所带有的信息来进行无监督的学习，最近有类称为自监督学习，可以对样本分割排序，利用序号作为标签，或者旋转样本，使用角度作为标签等信息来创造样本自身所带有的信息来学习。

  特征解耦前提是学习特征，解耦是分离出任务相关特征和无关特征，以分类为例，解耦的是类别特征和无关的背景及样式等特征。

  这两类方法的动机都是分离样本信息，阶梯网络对样本注入噪声来完成，而特征解耦一般利用信息熵或者变换空间后的数学特性来完成，以上是个人浅见，录以备忘。