机器学习笔记:概念对比——损失函数,代价函数,目标函数

损失函数 Loss Function 

通常是针对单个训练样本而言

给定一个模型输出 \hat{y}和一个真实值y  ,损失函数是L=f(\hat{y},y)

代价函数 Cost Function 

通常是针对整个训练集(或者在使用 mini-batch gradient descent 时一个 mini-batch)的总损失

J=\sum_{i=1}^N f(y_i,\hat{y_i})

目标函数 Objective Function

表示任意希望被优化的函数

代价函数是目标函数的一种

你可能感兴趣的:(笔记)