Neural Networks中使用Cross-Entropy Cost Function交叉熵损失函数的理论推导

Cross-Entropy Cost Function:

Cost(w, b)=-\frac{1}{n}\sum_{j=1}^{n}\left [ y_{j}lna_{j}^{L}+(1-y_{j})ln(1-a_{j}^{L}) \right ]

其中

neural network一共有L层,假设输出层L有n个神经元

y_{i}:真实数据的转化为列向量的第j个元素

a_{j}^{L}:代表输出层的第j个元素

首先列出3个方程:

 

Neural Networks中使用Cross-Entropy Cost Function交叉熵损失函数的理论推导_第1张图片

参数是w和b,所以要求出\frac{\partial Cost(w, b)}{\partial w_{ji}^{l}}\frac{\partial Cost(w, b)}{\partial b_{j}^{l}}

 

Neural Networks中使用Cross-Entropy Cost Function交叉熵损失函数的理论推导_第2张图片

 

 

Neural Networks中使用Cross-Entropy Cost Function交叉熵损失函数的理论推导_第3张图片

上面就是cost函数对于参数w,b的偏导数求解,以及梯度下降的公式由来。

 

 

 

 

 

 

你可能感兴趣的:(Deep,Learning)