深度神经网络——核心技术

1. deep vs shallow

2. hidden vs visible

3. stochastic vs random
      stochastic process, random variable

autoencoder

encode：

y=s(Wx+b)

decode：

z=s′(W′y+b′)

两种reconstruction error：

L(x,z)=∥x−z∥2LH(x,z)=−∑k=1d[xklog(zk)+(1−xk)log(1−zk)]

所谓 tied weights是要求 W′=WT 。

encode的目标是找到这样一个distributed representation y 使得能够获得输入数据变化最大的方向。功能类似于 PCA。