神经网络在训练时的优化首先是对模型的当前状态进行误差估计，然后为了减少下一次评估的误差，需要使用一个能够表示错误函数对权重进行更新，这个函数被称为损失函数。
损失函数的选择与神经网络模型从示例中学习的特定预测建模问题（例如分类或回归）有关。在本文中我们将介绍常用的一些损失函数，包括：
- 回归模型的均方误差损失
- 二元分类模型的交叉熵和hinge 损失
回归模型的损失函数
回归预测模型主要是用来预测连续的数值。所以我们将使用 scikit-learn的 make_regression() 函数来生成一些模拟数据，并使用这些数据构建回归模型。
我们将生成 20 个输入特征：其中 10 个特征将是有意义的，但 10 个与问题无关。
并且随机生成 1,000 个示例。并且指定随机种子，所以无论何时运行代码都会生成相同的 1,000 个示例。
将实值输入和输出变量缩放到一个合理的范围通常可以提高神经网络的性能。所以我们要对对数据进行标准化处理。
StandardScaler也可以在scikit-learn库中找到，为了简化问题我们将在将所有数据分割为训练集和测试集之前对其进行缩放。
然后平均分割训练和验证集
为了介绍不同的损失函数，我们将开发一个小型多层感知器(MLP)模型。
根据问题定义，有20个特征作为输入，经过我们的模型。需要要预测的一个实值，所以输出层将有一个节点。
我们使用SGD进行优化，并且学习率为0.01，动量为0.9，两者都是合理的默认值。训练将进行100个轮，测试集将在每个阶段结束时进行评估，并且绘制学习曲线。
模型完成后就可以进行损失函数的介绍：
MSE
回归问题最常使用的是均方误差损失(MSE)。当目标变量的分布为高斯分布时，它是最大似然推理下的首选损失函数。所以只有当你有一个更好的理由时，才应该改变为其他损失函数。
如果在 Keras 中编译模型时将“mse”或“mean_squared_error”指定为损失函数，则使用均方误差损失函数。
下面的代码是上述回归问题的完整示例。
在运行示例的第一步中，打印了模型的训练和测试数据集的均方误差，因为保留了3位小数，所以显示为0.000
从下图中可以看出，模型收敛速度相当快，训练和测试性能保持不变。根据模型的性能和收敛特性，均方误差是回归问题的一个很好的选择。
MSLE
在具有广泛值的回归问题中，可能不希望在预测大值时像均方误差那样对模型进行惩罚。所以可以通过首先计算每个预测值的自然对数来计算均方误差。这种损失称为 MSLE，或均方对数误差。
当预测值出现较大差异时，它具有放松惩罚效果的效果。当模型直接预测未缩放的数量时，它可能是更合适的损失度量。
keras中使用“mean_squared_logarithmic_error”作为损失函数
在下面的示例是使用MSLE损失函数的完整代码。
该模型在训练和测试数据集上的MSE都略差。这是由于目标变量的分布是一个标准的高斯分布，说明我们的这个损失函数可能不是很适合这个问题。
下图显示各训练轮次的对比MSE收敛得很好，但MSE可能过拟合了，因为它从20轮开始下降变得变换并且开始上升。
MAE
根据回归问题，目标变量的分布可能主要是高斯分布，但可能包含异常值，例如 远离平均值的大值或小值。
在这种情况下，平均绝对误差或 MAE 损失是一个合适的损失函数，因为它对异常值更稳健。考虑到实际值与预测值的绝对差值，计算为平均值。
使用“mean_absolute_error”损失函数
这是使用MAE的完整代码
结果如下
下图可以看到，MAE确实收敛了但它有一个颠簸的过程。MAE在这种情况下也不是很适合，因为目标变量是一个没有大离群值的高斯函数。
二元分类的损失函数
二元分类问题是预测建模问题中两个标签中的一个。这个问题被定义为预测第一个或第二个类的值为0或1，一般情况下通常被实现为预测属于类值1的的概率。
我们也是使用sklearn生成数据这里使用圆问题，它有一个二维平面，有两个同心圆，其中外圆上的点属于类0，内圆上的点属于类1。为了使学习更具挑战性，我们还在样本中加入了统计噪声。样本量为1000，并加入10%的统计噪声。
数据集的散点图可以帮助我们理解正在建模的问题。下面列出的是一个完整的示例。
散点图如下，其中输入变量确定点的位置，颜色为类值。0是蓝色的，1是橙色的。
这里还是一半用于训练，一半用于测试，
我们还是定义一个简单的MLP模型，
使用SGD优化，学习率为0.01，动量为0.99。
模型训练200轮进行拟合，并根据损失和准确性评估模型的性能。
BCE
BCE是用于解决的二元分类问题默认损失函数。在最大似然推理框架下，它是首选损失函数。对于第1类的预测，交叉熵计算一个分数，该分数总结了实际和预测概率分布之间的平均差异。
在编译Keras模型时，可以指定binary_crossentropy作为损失函数。
为了预测类1的概率，输出层必须包含一个节点和一个' sigmoid '激活。
下面是完整的代码：
该模型对问题的学习相对较好，在测试数据集上的准确率为83%，准确率为85%。分数之间存在一定程度的重叠，表明模型既不是过拟合也不是欠拟合。
下图中所示，训练效果很好。由于概率分布之间的误差是连续的，损失图是平滑的，而精度线图显示出凹凸不平，因为训练和测试集中的例子只能被预测为正确或不正确，提供的颗粒信息较少。
Hinge
支持向量机 (SVM) 模型使用Hinge 损失函数作为交叉熵的替代来解决二元分类问题。
目标值在是集合 [-1, 1] ，旨在与二进制分类一起使用。如果实际类别值和预测类别值的符号不同，则Hinge会得到更大的误差。在二元分类问题上它有时比交叉熵更好。
作为第一步，我们必须将目标变量的值修改为集合 {-1, 1}。
keras中它被称为' hinge '。
在网络的输出层中，必须使用tanh激活函数的单个节点以输出介于 -1 和 1 之间的单个值。
下面是完整代码：
比交叉熵略差的性能，在训练和测试集上的准确性不到80%。
下图可以看出，模型已经收敛，分类精度图表明也已经收敛。
可以看到这个问题还是BCE比较好，这里可能的原因就是因为我们有一些噪声点导致的
https://avoid.overfit.cn/post/6f094f37a1174809b8d145510b8d6e28
作者：Onepagecode