损失函数(Loss Function)与代价函数(Cost Function)、目标函数(Objective Function)区别

损失函数定义在单个样本上,算的是一个样本的误差。

损失函数(Loss Function)与代价函数(Cost Function)、目标函数(Objective Function)区别_第1张图片
代价函数定义在整个训练集上,是所有样本误差的平均,也就是损失函数的平均。

损失函数(Loss Function)与代价函数(Cost Function)、目标函数(Objective Function)区别_第2张图片
目标函数定义为最终需要优化的函数,等于经验风险 + 结构风险(也就是Cost Function + 正则化项)。

你可能感兴趣的:(深度学习基础,机器学习,深度学习,人工智能,python)