深度学习基础（十一）—— 稀疏自编码器（二）

损失函数

无约束时网络的损失函数表达式如下：

J(W,b)==1m[∑i=1mJ(W,b;x(i),y(i))]+λ2∑ℓ∑i=1s1∑j=1s2(W(ℓ)ji)21m[∑i=1m∥∥hW,b(x(i))−y(i)∥∥2]+λ2∑ℓ∑i=1s1∑j=1s2(W(ℓ)ji)2

稀疏编码是对网络的隐含层的输出有了约束，即隐含层节点输出的平均值应尽量为 0，这样的话，大部分的隐含层节点都处于非activite状态（非激活状态）。因此，此时的 sparse autoencoder 损失函数表达式为：

Jsparse=J(W,b)+β∑j=1s2KL(ρ∥ρ^j)

隐层节点输出均值如下：

ρ^j=1m∑i=1ma2j(x(i))