机器学习解决问题的一般过程

一. 模型与参数

给定输入xi，如何预测输出yi

**对y的不同解释可以得到不同的任务：分类回归等；**

二. 损失函数（误差函数）

在所有训练样本上评价模型的好坏。

**经验风险**

经验风险：在已知的 训练样本（经验数据）上计算得来

**经验风险最小化原则**

经验风险最小化原则 ：找到一个 参数 θ∗ 使得经验风险最小

经验风险最小化原则有几个重要问题：

• 训练的样本往往是真实数据的一个很小的子集或者包含一定的噪声数据

• ERM（经验风险最小化原则）很容易导致模型在训练集上错误率很低，但是在未知数据上错误率很高。** (过拟合)**
  （引入正则项解决ERM问题）

三. 正则项

鼓励简单模型，减少过拟合

结构风险

结构风险最小化原则：在经验风险最小化的原则上上加参数的正则化

四. 参数学习算法

目标函数已知，如何从训练集的样本中，自动学习决策函数的参数

梯度下降：如果一个实值函数 f(x)在点a处可微且有定义，那么函数 f(x)在a点沿着梯度相反的方向-∇f(a)下降最快。

**从初始值X0开始，通过上述公式迭代，最终X收敛到期望的极值**

**λ是搜索步长，取值必须合适，如果过大就不会收敛，如果过小则收敛速度太慢**

五. 机器学习解决问题的一般过程

模型与参数 ————> 给定输入xi，如何预测输出yi。

目标函数= 损失 + 正则 ————> 如何选择一个好参数

参数学习 ————> 如何自动学习参数

"""
Created on Fri May 31 16:05:38 2017
@author: mml
@email: [email protected]
"""