推导正规方程的解

1. 准备工作

1.1 矩阵转置公式 与 求导公式

1.1.1 转置公式:

• $(mA{)}^T=m{A}^T$，M是常数
• $(A+B{)}^T=A^T+B^T$
• $(AB{)}^T=B^T{A}^T$
• $(A^T{)}^T=A$

1.1.2 求导公式：

$\frac{\partial X^T}{\partial X}=I$，求解出来是单位矩阵
$\frac{\partial X^{T}A}{\partial X}=A$
$\frac{\partial A{X}^T}{\partial X}=A$
$\frac{\partial AX}{\partial X}=A^T$
$\frac{\partial XA}{\partial X}=A^T$
$\frac{\partial X^{T}AX}{\partial X}=(A+A^T)X$，则：A不是对称矩阵
$\frac{\partial X^{T}AX}{\partial X}=2AX$，则：A是对称矩阵

2. 推导过程

2.1 推导正规方程的$\theta$解

1. 矩阵乘法公式展开
   $J(\theta )=\frac{1}{2}(X\theta -y{)}^T(X\theta -y)$
   $J(\theta )=\frac{1}{2}(X^T{\theta }^T-y^T)(X\theta -y)$
   $J(\theta )=\frac{1}{2}(X^T{\theta }^{T}X\theta -X^T{\theta }^{T}y-y^{T}X\theta +y^{T}y)$
2. 进行求导(X，y是已知量，$\theta$是变量)
   $J^{\prime }(\theta )=\frac{1}{2}(X^T{\theta }^{T}X\theta -X^T{\theta }^{T}y-y^{T}X\theta +y^{T}y{)}^{\prime }$
3. 根据上面求导公式进行运算，($\theta$是变量)
   // 把上面2式子里的导数拿到括号里
   $J^{\prime }(\theta )=\frac{1}{2}(\frac{\partial X^T{\theta }^{T}X\theta }{\partial \theta }-\frac{\partial X^T{\theta }^{T}y}{\partial \theta }-\frac{\partial y^{T}X\theta }{\partial \theta }+\frac{\partial y^{T}y}{\partial \theta })$
   // 下面根据求导公式转换
   $J^{\prime }(\theta )=\frac{1}{2}(X^{T}X\theta -X^{T}y-(y^{T}X{)}^T+({\theta }^T{X}^{T}X{)}^T)$
   $J^{\prime }(\theta )=\frac{1}{2}(X^{T}X\theta -X^{T}y-X^{T}y+X^{T}X\theta )$
   $J^{\prime }(\theta )=\frac{1}{2}(2X^{T}X\theta -2X^{T}y)$
   $J^{\prime }(\theta )=X^{T}X\theta -X^{T}y$
   $J^{\prime }(\theta )=X^T(X\theta -y)$ // 矩阵运算分配率
4. 令导数$J^{\prime }(\theta )=0$（为什么要令它等于0呢？因为最小二乘法公式上有个平方，所以必然是凸函数，所以它的导数=0时，函数值必然是最小值。）
   $0=X^{T}X\theta -X^{T}y$
   $X^{T}X\theta =X^{T}y$
   // 到这里似乎可以得到$\theta =\frac{y}{X}$，不过不对，矩阵运算没有除法，得用逆矩阵参与运算
5. 使用逆矩阵转换
   $(X^{T}X{)}^{-1}{X}^{T}X\theta =(X^{T}X{)}^{-1}{X}^{T}y$
   $I\theta =(X^{T}X{)}^{-1}{X}^{T}y$
   $\theta =(X^{T}X{)}^{-1}{X}^{T}y$

2.2 到此为止，正规方程推到完毕，完结撒花！！！

公式：
$\theta =(X^{T}X{)}^{-1}{X}^{T}y$