线性模型（二）－－对线性回归的几点思考

上一节我们推导了线性回归求解参数的过程，然而仅仅掌握理论推导是远远不够的，还需要理解模型的意义。本节主要讨论线性回归与广义线性模型的关系以及线性回归损失函数的意义。

我们假设，则有

      

                                     （1）

由第一节可知，，，。由此可知，线性回归是基于高斯分布的。

在上一节中，我们在计算预测值和实际值的误差时，使用了平方误差函数--，那么为什么要使用平方误差函数作为损失函数呢？其实这个结论可以通过高斯分布推导出来。假设有输入特征为，对实际值为，预测值为，令，则误差

                                                            （2）

此时认为，则有

                                                （3）

把（2）代入（3），

                               (4)

我们可以对所有样本点求最大似然估计

                   

                                                  （5）

对其求对数，则对数似然函数为

                                       

                                                                 （6）

若使最大，则有

                                            （7）

式（7）即为损失函数，可见损失函数可以经过推导而来，是有根据的。