UFLDL教程(一)---稀疏自编码器

神经网络模型

简单的神经网络

UFLDL教程(一)---稀疏自编码器_第1张图片

前向传播

UFLDL教程(一)---稀疏自编码器_第2张图片

代价函数

对于单个样例 ,其代价函数为:


给定一个包含m个样例的数据集,我们可以定义整体代价函数为:


以上公式中的第一项  是一个均方差项。第二项是一个规则化项(也叫权重衰减项),其目的是减小权重的幅度,防止过度拟合。

反向传播算法

反向传播算法,它是计算偏导数的一种有效方法。

UFLDL教程(一)---稀疏自编码器_第3张图片

批量梯度下降法

梯度检验

给定一个被认为能计算 的函数,我们可以用下面的数值检验公式

计算两端是否一样来检验函数是否正确。

自编码神经网络


总体代价函数



你可能感兴趣的:(UFLDL教程(一)---稀疏自编码器)