线性回归的正规方程

线性回归的正规方程

• 本文阐述线性回归的正规方程推导过程，为满足广义性，采用多变量的线性回归代价函数进行推导。

多变量线性回归的梯度下降算法是用来求其代价函数最小值的算法，但是对于某些线性回归问题，可以直接使用正规方程的方法来找出使得代价函数最小的参数，即$\frac{\partial }{\partial {\theta }_j}J(\theta )=0$。
梯度下降与正规方程的比较：

优缺点	梯度下降	正规方程(标准方程)
是否需要引入其他参数	需要选择学习率$\alpha$	不需要
迭代或运算次数	需要多次迭代	一次运算得出
特征数量是否有影响	当特征数量$n$大时也能较好适用	需要计算$(X^{T}X{)}^{-1}$如果特征数量$n$较大则运算代价大，因为矩阵逆的计算时间复杂度为$O(n^3)$，通常来说$n$小于10000时还是可以接受的
适用模型类	适用于各种类型的模型	只适用于线性模型，不适合逻辑回归模型等其他模型

首先给出线性回归的**代价函数(Cost Function)**的向量化表示：
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
其中假设函数$h_{\theta }(x)={\theta }^{T}X={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$
$m$为样本总数，参数$\theta$与特征矩阵$X$均为$n+1$维列向量。

将假设函数代入，并将向量表达式转化为矩阵表达式，即将$\sum _{i=1}^m$写成矩阵相乘的形式：
$$J(\theta )=\frac{1}{2}(X\theta -y{)}^2$$
其中$X$为$m$行$n+1$列的矩阵，$m$为样本个数，$n+1$为特征个数，$\theta$为$n+1$维行向量，$y$为$m$维行向量。
由于$X$非方阵，不存在逆矩阵，固对$J(\theta )$进行如下变换：

$$J(\theta )=\frac{1}{2}(X\theta -y{)}^T(X\theta -y)$$
$$=\frac{1}{2}[(X\theta {)}^T-y^T](X\theta -y)$$
$$=\frac{1}{2}({\theta }^T{X}^T-y^T)(X\theta -y)$$
$$=\frac{1}{2}({\theta }^T{X}^{T}X\theta -{\theta }^T{X}^{T}y-y^{T}X\theta +y^{T}y)$$

接下来对$J(\theta )$求偏导，需要用到以下几个矩阵对矩阵的分母布局求导法则：
①$\frac{dAX}{dX}=A^T$
②$\frac{d{X}^{T}AX}{dX}=2AX$
③$\frac{d{X}^{T}A}{dX}=A$

首先化简$\frac{\partial }{\partial \theta }J(\theta )$
$$\frac{\partial }{\partial \theta }J(\theta )=\frac{1}{2}[2X^{T}X\theta -X^{T}y-(y^{T}X{)}^T+0]$$
$$=\frac{1}{2}[2X^{T}X\theta -X^{T}y-X^{T}y+0]$$
$$=X^{T}X\theta -X^{T}y$$

再令$\frac{\partial }{\partial \theta }J(\theta )=X^{T}X\theta -X^{T}y=0$
$$X^{T}X\theta -X^{T}y=0$$
$$X^{T}X\theta =X^{T}y$$

不难发现，$(X^{T}X)$为方阵，则有$(X^{T}X)$的逆矩阵$(X^{T}X{)}^{-1}$，固在等式两边同时左乘$(X^{T}X{)}^{-1}$，并求出$\theta$
$$(X^{T}X{)}^{-1}{X}^{T}X\theta =(X^{T}X{)}^{-1}{X}^{T}y$$
$$(X^{T}X{)}^{-1}(X^{T}X)\theta =(X^{T}X{)}^{-1}{X}^{T}y$$
$$E\theta =(X^{T}X{)}^{-1}{X}^{T}y$$
$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$
至此，完成线性回归的正规方程推导。