损失函数

1、交叉熵
p是数据的真实概率分布，q是由数据计算得到的概率分布。机器学习的目的就是希望q尽可能地逼近甚至等于p，从而使得相对熵接近最小值0。对交叉熵求最小值，也等效于求最大似然估计（maximum likelihood estimation）。具体可以参考Deep Learning 5.5 Maximum Likelihood Estimation。

2、均方（根）误差
均方误（根）差作为损失函数，描述预测值和真实值的误差。

参考：https://www.zhihu.com/question/41252833
http://blog.csdn.net/marsjhao/article/details/72630147