【机器学习】正规方程的推导过程，看完我不信你不懂！

在监督学习的学习过程中，比较常用的是梯度下降法

但是对于参数较少的训练集来说（约莫1-1000左右个参数），正规方程可能会更加适合

正规方程可以一步到位，直接计算出使代价函数值最低的参数值

而不再需要像梯度下降一样进行迭代

下面给出推导过程

——————————————下面是正文————————————————

一.推导过程

      以多变量线性回归为例子，可以将假设函数设定为：

                                             

      为了使得表达更加鲜明，可以将其用矩阵的形式展示出来：

                                  

      所以：

                                                      

      由此可知代价函数（其实和单变量线性回归的代价函数是一样的）：

                                                      

      其中代价函数可以等价为：

                                                     

     至于怎么求导出这个公式的参考我手算的过程hiahiahia:

             

     随后将等价的代价函数展开可得：

                                          

    其中：

                                           

    所以：

                                          

       与梯度下降法不同的是，正规方程不需要迭代，而是直接使得代价函数的导数为0即可，从微积分的角度来讲，导数为0即为最小值，所以，对以上公式进行求导：

                                  

       对此，对矩阵进行求导，本篇文章所用到的求导公式有：

                                                                     

      可以求出：

                                                 

      将公式进行化简即可得到正规方程的公式：