机器学习入门~神经网络③

代价函数

本处所应用的神经网络算法主要针对分类问题。

如上图所示，有一个样本空间为m的训练集，L代表神经网络的层数，此处L = 4，s_i表示某层神经元的数量，如s₁ = 3，k代表输出层的神经单元数目。

• 那么，对于一个二元分类问题，最后的输出只有0或1，因此，输出层只有一个神经单元，s_L = 1（s_L即表示最大层数所在层的神经单元数目即输出层，对于二元分类，输出层神经单元数目为1），k = 1，输出的是一个实数。
  

• 另一种分类问题即多元分类问题，输出层的神经单元数目为k（即，将数据集分为k类），最后的输出为一个k维向量，s_L = k。（k≥3）
  

• 神经网络的代价函数：
  
  ①其中，h_Θ(x) ∈ R^K（即，是一个k维向量），(h_Θ(x))_i = i^th output（即，表示第i个输出单元）。
  ②这一项为正则项。
  

反向传播算法

我们已经有了代价函数J(Θ)，目标是的到参数Θ以使J(Θ)的值最小。