吴恩达机器学习笔记（七）神经网络：代价函数

Neural Networks:Learning

Cost function

逻辑回归代价函数：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)})))+\frac{\lambda }{2m}\sum _{j=1}^m{\theta }_j^2$$
神经网络代价函数：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m\sum _{k=1}^K(y_k^{(i)}\log (h_{\theta }(x^{(i)}){)}_k+(1-y_k^{(i)})\log (1-h_{\theta }(x^{(i)}){)}_k)+\frac{\lambda }{2m}\sum _{l=1}^{L-1}\sum _{j=1}^m\sum _{i=1}^m({\theta }_{ji}^l{)}^2$$

反向传播算法：Backpropagation algorithm

反向传播：
intution:${\delta }_j^{(l)}$=“error” of node j in layer l.
计算：${\delta }_j^{(l)}$ =第 l层第 j个节点的误差（error）；
对于每一个输出单元：${\delta }_j^{(4)}=a_j^{(4)}-y_j$ ​，
写成向量形式为：${\delta }^{(4)}=a^{(4)}-y$ ；
由输出层逐级往上计算 ${\delta }^{(l)}、{\delta }^{(l-1)}\dots {\delta }^{(2)}$
$$\begin{gathered} {\delta }^{(3)}=({\Theta }^{(3)}{)}^T{\delta }^{(4)}.\ast g\prime (z^{(3)}),g\prime (z^{(3)})=a^{(3)}.\ast (1-a^{(3)}) \\ {\delta }^{(2)}=({\Theta }^{(2)}{)}^T{\delta }^{(3)}.\ast g\prime (z^{(2)}),g\prime (z^{(2)})=a^{(2)}.\ast (1-a^{(2)}) \end{gathered}$$
可以证明(忽略 λ ，即 λ = 0)：$$\frac{\partial }{\partial {\Theta }_{ij}^{(l)}}J(\Theta )=a_j^{(l)}{\delta }_i^{(l+1)}$$

原文链接：https://blog.csdn.net/qq_29317617/article/details/86312154

理解反向传播算法：Backpropagation intitutio

具体过程：

向前传播：
换句话说： $${\delta }_j^{(l)}=\frac{\partial }{\partial z_j^{(l)}}cost(i)for(j\ge 0)$$
where $cost(i)=y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))$
δ项是代价函数关于这些中间项的偏导数，衡量影响神经网络的权值，进而影响神经网络的输出的程度。

展开参数：Implementation note:Unrolling parameters

梯度检验：Gradient checking

实现注意：

随机初始化：Random initialization

zero initialization：
After each update, parameters corresponding to inputs going into each oftwo hidden units are identical.
如果初始化为0，每次更新后，输入到两个隐藏单元中的输入对应的参数是相同的。

随机初始化：

组合到一起：Putting it together