损失函数（Loss Function）与代价函数（Cost Function）、目标函数（Objective Function）区别

损失函数定义在单个样本上，算的是一个样本的误差。

代价函数定义在整个训练集上，是所有样本误差的平均，也就是损失函数的平均。

目标函数定义为最终需要优化的函数，等于经验风险 + 结构风险（也就是Cost Function + 正则化项）。