【深度学习基础6】自编码器及其变体

一、Autoencoder基础

1. 基本概念

自编码器是一类特殊的前馈神经网络,Encodes 输入 得到隐含表示 h,Decodes 以h作为输入。任务:最小化特定的损失函数确保 ̂ 接近于 i
【深度学习基础6】自编码器及其变体_第1张图片
当 dim() < dim() 时,称为 under complete autoencoder,如左图所示。当 dim() ≥ dim() 时,称为 over complete autoencoder,如右图所示。

2. 选择 () 和 ()

【深度学习基础6】自编码器及其变体_第2张图片
假定所有的输入是二值的 ( ∈ {0, 1}), 通常被选择为 sigmoid function,即g选用Logistic 函数更适合。因为它将所有输出限定在 0 和 1 之间。

你可能感兴趣的:(深度学习,人工智能)