【机器学习基础】正规方程法（Normal equation）（正则化和非正则化）——吴恩达课程笔记

        在求使得代价函数最小的参数θ中，也可以不用梯度下降法进行逐步递归求解，可以使用正规方程法（Normal Equation）一次性算出θ。用这种方法不需要进行特征缩放（feature scaling）。在特征数少的情况（吴恩达教授的标准是一万以下）用正规方程法更好，但如果特征数较多，计算量很大，会比较慢，这个时候还是采用梯度下降法比较好。

特征方程法介绍：

（1）现做如下规定：

        假设有m个样本实例，每个样本有n个特征，则训练样本可记为：

        

        其中表示第i个样本的第j个特征。

        输出可记为：

        

        参数可记为：

        

        拟合的函数h(x)为：

        

        加了正则化的代价函数为：

        

        分式第一项为最初代价函数，第二项为正则化，令优化后的参数的值较小，以防止过拟合

        代价函数的矩阵表示如下：

        

        求导可得：

        

（2）第一项的求导：

        有定理如下：若u=u(x)，v=v(x)，A不是x的函数，则有：

        

        因此，第一项的求导为：

        

（3）第二项的求导：

       第二项展开：

        

        求导得：

        

（4）第三项的求导：

        第三项展开：

        

        求导得：

        

（5）第四项的求导：

        

（6）第五项的求导：

        第五项展开：

        

        这里的θ是从1开始的，但实际上从0开始也是可以的，这里为了与吴恩达教授课程保持一致在正则化的时候从1开始，即忽略偏置的正则化

        因此第五项求导为：

        

（7）因此，将上面的求导整理可得：

        

        从而得到：

        

        其中：

        

        对于非正则化的正规方程则：

        

        另外，如果有， 一定不是奇异矩阵，可逆。因此，正则化还可以解决不可逆的问题

        如果是非正则化，则可能是有两列是线性相关的，删除一个特征；亦或者可能是特征值过多，则删除一些特征值。