神经网络权重梯度的推导

本文转自:https://cloud.tencent.com/developer/news/208702

--------------------------------------------------------------------------------------------------------

bp神经网络是一种多层的前馈神经网络,其主要的特点是:信号是前向传播的,而误差是反向传播的。下面以4层网络为例进行相关推导。

--------------------------------------------------------------------------------------------------------

神经网络的相关图解

4层神经网络为例

 

神经网络权重梯度的推导_第1张图片

权重矩阵

 

神经网络权重梯度的推导_第2张图片

前向传播生成神经网络

 

神经网络权重梯度的推导_第3张图片

均方误差损失函数权重梯度

 

神经网络权重梯度的推导_第4张图片

神经网络权重梯度的推导_第5张图片

神经网络权重梯度的推导_第6张图片

对数损失函数权重梯度

 

神经网络权重梯度的推导_第7张图片

神经网络权重梯度的推导_第8张图片

神经网络权重梯度的推导_第9张图片

权重梯度推导出来后,就可以应用梯度下降法求解神经网络的权重或参数了。

你可能感兴趣的:(caffe)