神经网络算法中代价函数、反向传播算法

神经网络的代价函数

神经网络算法中代价函数、反向传播算法_第1张图片

(xi,Yi):代表事件

L:代表层数

Sl:代表每层的个数

左边是两类分类,右边是多类分类

神经网络算法中代价函数、反向传播算法_第2张图片 

1.加号之后那项是正则化的项,上面的是两类分类的线性回归公式,下面的是多类分类的项。

神经网络算法中代价函数、反向传播算法_第3张图片

算法的关键是找到参数西塔使得代价函数J(西塔)取得最小值,主要任务是计算偏导项

反向传播算法

前向传播算法的向量化

神经网络算法中代价函数、反向传播算法_第4张图片

 

a(1)为第一层的激活值,假设为x

g是一个sigmoid激活函数,可以计算隐藏层的激活值

a0(2)是添加的偏置项

 

误差项:

神经网络算法中代价函数、反向传播算法_第5张图片

 第一层没有误差项,误差项从最后一层往前计算,l层第j个单元的误差项,误差项也可以是向量

反向传播算法对代价函数偏导数值得计算过程

神经网络算法中代价函数、反向传播算法_第6张图片 

前向传播

神经网络算法中代价函数、反向传播算法_第7张图片 

反向传播算法和前向传播算法过程比较类似,只是方向不同 

 

 

一个样本的代价函数表达式:

神经网络算法中代价函数、反向传播算法_第8张图片

 cost(i)表示在神经网络中预测样本的准确程度,也是网络输出值和实际观测值得接近程度,是个方差

 

反向传播的计算公式和过程: 

神经网络算法中代价函数、反向传播算法_第9张图片 

 

你可能感兴趣的:(机器学习,机器学习,人工智能)