多元线性回归求解过程 解析解求解

求解多元线性回归
多元线性回归常用的求解方法有两种：

              1-解析解求解法

              2-梯度下降法求解

     本章我们来看多元线性回归的解析解求解法。

解析解求解法
说到解析解求解，很多同学都已经忘记了什么事解析解。解析解就是指通过公式就可以求得到方程的解。我们只需要方程的参数带入到公式中，计算公式结果就可以得到方程的解，而不用一步一步化简求解。比如我们初中学的一元二次方程的解细节是。是不是豁然开朗，原来就是你小子。

     想要用解析解来求解最小二乘函数，那我们首先得知道他的解析解是啥。

a.求得最小二乘公式的解析解。

     这里要用到上一章讲到的知识点，求一个函数在某一点上的导数，就是求在这个函数的图像上，过这一点所做切线的斜率。这一点的导函数就是切线的函数。一个二次函数的图像是一个抛物线，那想想一下，通过图像的顶点所做的切线是一条怎样的直线。应该是一条与x轴平行的直线，此时这条直线的斜率为0.函数图像的顶点就是函数的解，也就是说，我们通过函数的解这一点来做切线，切线的斜率就是0.

     那我们反过来利用一下刚刚总结出的结论。如果我找到了函数图像上切线为0的点，是不是找到了函数的解？切线是什么？对函数上某一点求导就等于通过这一点在函数图像上做切线，作出的切线就是求导得到的导函数的图像，切线的函数就是对函数求导所得到的导函数，那我们只要找到导函数为0对点，是不是就得到了图像的解？（这一段一定要理解。多读几遍）

     所以，我们可以通过对最小二乘函数求导，让导函数为0时的结果，就是最小二乘的解。求导过程如下：

展开矩阵函数：

展开之后我们对J(θ)求导并令导数等于0：

最终求的解析解为：θ=