机器学习的目标函数、损失函数

损失函数又叫代价函数。目标函数是一个更加广的概念。对于目标函数来说在有约束条件下的最小化就是损失函数。

用损失函数来度量拟合程度：

损失函数

损失函数越小代表模型拟合的越好。

风险函数是损失函数的期望，关于训练集的平均损失称为经验风险：

经验风险

我们的目标是使得经验风险最小。

一个好的模型不仅要使得经验风险最小，还要避免过度拟合，也就是要满足结构风险最小化。此时定义一个函数J(f)。

J(f)负责衡量模型的复杂度，在机器学习中也叫作正则化，常用的有L1和L2范式。L1范数为各参数绝对值之和，L2范数为各参数平方和的开方值，λ是一个超参数，用于控制正则化程度。

另外介绍两种正则化方法：训练集增强（更多数量的训练集是提升机器学习模型泛化能力的最好方法）、dropout（是一种计算方便但功能强大的正则化方法，适用于最近很火的神经网络。他的基本步骤是在每一次的迭代中，随机删除一部分节点，只训练剩下的节点。每次迭代都会随机删除，每次迭代删除的节点也都不一样，相当于每次迭代训练的都是不一样的网络，通过这样的方式降低节点之间的关联性以及模型的复杂度，从而达到正则化的效果。）、earlystopping（提前终止）

到了这一步我们就可以定义我们的目标函数了。目标函数就是我们的终极优化函数，既保证经验风险最小话，也保证结构风险最小化，函数定义如下：

目标函数