代价函数

代价函数

1. 方差代价函数

代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为：

其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+b 】。

2. 交叉熵代价函数

公式对应一个神经元，多输入单输出

其中y为期望的输出，a为神经元实际输出【a=σ(z), where z=∑Wj*Xj+b】
与方差代价函数一样，交叉熵代价函数同样有两个性质：

• 非负性。（所以我们的目标就是最小化代价函数）
• 当真实输出a与期望输出y接近的时候，代价函数接近于0.(比如y=0，a～0；y=1，a~1时，代价函数都接近0)。

3. 总结

• 当我们用sigmoid函数作为神经元的激活函数时，最好使用交叉熵代价函数来替代方差代价函数，以避免训练过程太慢。
• 不过，你也许会问，为什么是交叉熵函数？导数中不带σ′(z)项的函数有无数种，怎么就想到用交叉熵函数？这自然是有来头的，更深入的讨论就不写了，少年请自行了解。
• 另外，交叉熵函数的形式是−[ylna+(1−y)ln(1−a)]。而不是−[alny+(1−a)ln(1−y)]，为什么？因为当期望输出的y=0时，lny没有意义；当期望y=1时，ln(1-y)没有意义。而因为a是sigmoid函数的实际输出，永远不会等于0或1，只会无限接近于0或者1，因此不存在这个问题。

4. log似然代价函数

Softmax回归中将x分类为类别j的概率为：

或者

其中，y_k表示第k个神经元的输出值，a_k表示第k个神经元对应的真实值，取值为0或1。
简单理解一下这个代价函数的含义。在ANN中输入一个样本，那么只有一个神经元对应了该样本的正确类别；若这个神经元输出的概率值越高，则按照以上的代价函数公式，其产生的代价就越小；反之，则产生的代价就越高。

可以看到，Softmax代价函数与logistic代价函数在形式上非常类似，只是在Softmax损失函数中对类标记的 个可能值进行了累加。

参考：
http://blog.csdn.net/u012162613/article/details/44239919
http://www.cnblogs.com/Belter/p/6653773.html?utm_source=itdadao&utm_medium=referral
http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
http://blog.csdn.net/u014313009/article/details/51045303