UFLDL教程: Exercise:Learning color features with Sparse Autoencoders
LinearDecoders以三层的稀疏编码神经网络而言,在sparseautoencoder中的输出层满足下面的公式从公式中可以看出,a3的输出值是f函数的输出,而在普通的sparseautoencoder中f函数一般为sigmoid函数,所以其输出值的范围为(0,1),所以可以知道a3的输出值范围也在0到1之间。另外我们知道,在稀疏模型中的输出层应该是尽量和输入层特征相同,也就是说a3=x1,