【回故系列】线性回归的矩阵推导

线性模型（Linear Model），是机器学习中的一类算法的总称，其形式化定义为：通过给定的样本数据集，线性模型试图学习到这样的一个模型，使得对于任意的输入特征向量，模型的预测输出能够表示为输入特征向量的线性函数，即满足：

                          

也可以写成矩阵的形式：

其中，和称为模型的参数。

为了求解线性模型的参数和，首先我们定义损失函数，在回归任务中，常用的损失函数是均方误差：

优化损失函数就是我们的目标，基于均方误差损失函数来求解模型参数的方差，也就是我们熟悉的最小二乘法，最小二乘法的思想其实就是寻找一个超平面，使得训练数据集中的所有样本点到这个超平面的欧式距离最小。

OK，接下来就是优化问题了，如何取优化该损失函数，从而获得最优模型参数和,因为该损失函数是凸函数，根据极值存在的必要条件，我们可以运用解析法进行求解。

下面我们将给出详细的推导求解和的过程：

1. 首先将参数和进行合并，用来进行表示：, 容易知道是维度。

对输入特征向量进行改写，，则全体训练集，可用矩阵进行如下表示：

对输入特征向量的输出标签，可以改写为：

 

2. 根据1.我们可以知道是一个的矩阵，这样模型在训练集上所有预测结果可以写成矩阵形式：

 

3. 根据1和2，损失函数可以转化为矩阵形式：

根据极值存在的必要条件，下面进行对参数的求导：

       对上一步结果进行展开

转换为迹运算

  对上一步结果进行展开

根据常见矩阵求导公式,可知

根据常见矩阵求导公式，可知

根据常见矩阵求导公式，可知

综上可知，

令，可得，求解得到

需要注意，要保证对称矩阵是可逆的，如果不可逆，则解析法求解失效。

完，脊回归的推导也很相似。