【神经网络】损失函数

1、损失函数

损失函数是计算预测结果与实际结果偏差的函数。损失函数选的不好，你会发现，优化了半天看不到优化的效果。所以损失函数的选择hin重要。
直观想到的算是函数还有如下几种：
分类问题，可以计算误分类的个数、误分类的概率；
回归问题，可以计算到超平面的距离，比如$L^p$距离。
然而，实际用到的却比较多，考虑的因素也比较多。

2、常用的损失函数

2.1、均方差损失

（$L^2$损失）可以记为$ESM$
$MSE=\sum _{i=1}^n(y_i-ypredic{t}_i{)}^2$

loss = tf.reduce_mean(tf.square(y - y_train))

2.2、平均绝对值误差

（$L^1$损失）
$MAE=\sum _{i=1}^n|y_i-ypredic{t}_i|$

2.3、0-1损失函数

2.4、交叉熵损失

2.5、合页损失[^1]

2.6、Huber损失——平滑平均绝对误差

2.7、Log-Cosh损失函数

2.8、分位数损失（Quantile Loss）[^2]

[^1][link]https://blog.csdn.net/zhangjunp3/article/details/80467350
[^2][link]https://www.jianshu.com/p/b715888f079b