《深度学习》：自编码器

自编码器的一般结构

从自编码器获得有用特征的一种方法是限制 h 的维度比 x 小，这种编码维度 小于输入维度的自编码器称为欠完备（undercomplete）自编码器。

学习过程可以简单地描述为最小化一个损失函数L(x,g(f(x)))，其中 L 是一个损失函数，惩罚 g(f(x)) 与 x 的差异，如均方误差。

正则自编码器

稀疏自编码器

这种观点认为，正则化的最大似然对应最大化 p(θ |x)，相当于最大化 logp(x| θ) +logp(θ)。 如果设h服从Laplace先验

得到

去噪自编码器

使用自编码器学习流形

所有自编码器的训练过程涉及两种推动力的折衷：

1. 学习训练样本 x 的表示 h 使得 x 能通过解码器近似地从 h 中恢复。x 是从训 练数据挑出的这一事实很关键，因为这意味着自编码器不需要成功重构不属于数据生成分布下的输入。

2. 满足约束或正则惩罚。这可以是限制自编码器容量的架构约束，也可以是加入到重构代价的一个正则项。这些技术一般倾向那些对输入较不敏感的解。

收缩自编码器
收缩自编码器鼓励f的导数尽可能小

收缩（contractive）源于 CAE 弯曲空间的方式。具体来说，由于 CAE 训练为 抵抗输入扰动，鼓励将输入点邻域映射到输出点处更小的邻域。我们能认为这是将 输入的邻域收缩到更小的输出邻域。

预测稀疏分解