自编码器是一类特殊的前馈神经网络,Encodes 输入 得到隐含表示 h,Decodes 以h作为输入。任务:最小化特定的损失函数确保 ̂ 接近于 i
当 dim() < dim() 时,称为 under complete autoencoder,如左图所示。当 dim() ≥ dim() 时,称为 over complete autoencoder,如右图所示。
假定所有的输入是二值的 ( ∈ {0, 1}), 通常被选择为 sigmoid function,即g选用Logistic 函数更适合。因为它将所有输出限定在 0 和 1 之间。