【机器学习】线性回归最小二乘估计与正则化岭回归

借用李航老师的思想，我们将按模型+策略+方法的步骤来介绍内容。

1. 数据提出

X为总体样本，共有N个样本。

xi为单个样本，每个样本包含P个维度的特征。

Y为标签。

2. 最小二乘估计

2.1 模型

2.1.1 模型提出

 ， ~ N(0,) ， ~N(,0)，y ~ N(,)

2.2 策略

2.2.1 策略来源 - 几何视角

 为每个样本的预测值与真实值的距离，该距离可以理解为噪声为正态分布的的标准差。可以理解为噪声为正态分布的的方差。我们的目标是使这一方差达到最小，从而最大化减少损失。因此，从几何的角度，即减少每一个预测值到真实值的距离从而减少损失，提出了该策略。

2.2.2 策略来源 - 概率视角

已知 y ~ N(,), 根据该分布，可以用最大似然估计，找到使似然最大的最优参数。

以下是从概率角度出发的得到的策略推导过程

2.3 算法

2.3.1 算法推导

 

           

           

3.岭回归

3.1 模型

 ， ~ N(0,) ， ~N(,0)，y ~ N(,)

3.2 策略

3.2.1 策略来源 - 贝叶斯角度

3.3 算法

3.3.1 算法推导