机器学习笔记：线性回归

0 线性回归的假设

• 线性：

  • 自变量（x）和因变量（y）之间应该存在线性关系，这意味着x值的变化也应该在相同方向上改变y值。

• 独立性：

  • 特征应该相互独立，这意味着最小的多重共线性。

• 正态性：

  • 残差应该是正态分布的。

• 同方差性：

  • 回归线周围数据点的方差对于所有值应该相同。

假设有如下数据

这些数据符合以下图关系（以一维数据为例），这里的函数f(w)忽略了偏置b

 1 最小二乘估计

         我们的目标是要求w，使得Xw和实际值y最近。所以我们对w求导，让结果等于0。就可以解得参数w   

     

         以上未考虑偏置b，如果考虑的话则可以为w添加一个维度，同时也为x添加一个维度并使得添加的维度的值为1，然后使用同样的求解方法即可。.

        使用最小二乘法可以看成损失函数是每个样本的误差的平方的总和

 1.1 最小二乘估计的几何解释

        一组向量的生成子空间（span）是原始向量线性组合后所能抵达的点的集合。

        确定方程Ax=b是否有解，相当于确定列向量向量b是否在A列向量的生成子空间中。（x此时是线性组合的系数）

        这个特殊的生成子空间被称为A的列空间（column space）或者A的值域（range）。

 

 

 1.2 最小二乘法与极大似然估计

 

 

 可以看到最小二乘法与噪声为高斯噪声时的极大似然估计法是等价的。

1.3 一定是极小值吗？ 

见NTU课程 CE7454 线性回归_UQI-LIUWJ的博客-CSDN博客 2.1

1.4 一定可逆吗？

见 NTU课程 CE7454 线性回归_UQI-LIUWJ的博客-CSDN博客 2.2

2 线性回归基础步骤

1，设计一个模型

以李宏毅机器学习中计算宝可梦cp值为例，我们先假设一组线性模型

 2，将预测结果与实际值进行比较

也就是设计一个损失函数loss function

 3 找到最好的模型

          我们评判模型的时候，不能光看在训练集上的loss，我们要看的是在测试集上的loss，也就是它的泛化能力

4 加权线性回归

损失函数变成：

（这里α是权重的对角矩阵）

 同样地进行展开推导

 然后对w求偏导：

于是有：