(西瓜书)简单线性回归公式推导

目录

 

一、线性回归概述:

二、数学知识储备:

三、证明损失函数  是关于 w 和 b 的凸函数 :

四、求解 b :

五、求解 w :


 

一、线性回归概述:

 

给定数据集  D=\left \{ \left ( x_{1} , y_{1}\right ) , \left ( x_{2}, y_{2} \right ) , .... , \left ( x_{m}, y_{m} \right ) \right \}  , 其中  x_{i}=\left ( x_{i1},x_{i2}, ... ,x_{id} \right ) , y_{i}\in R ,线性回归试图学得:f\left ( x_{i} \right ) = w*x_{i} + b ,使得 f \left ( x_{i} \right ) \simeq y_{i}   .

回归任务中常使用均方误差来衡量 f(x) 与 y 之间的差别。使均方误差最小化得到的 w, b 即我们所求。(基于均方误差来进行模型求解的方法称为 “最小二乘法”)。

因此,由最小二乘法导出损失函数 E(w,b) 

E(w,b)    =     \sum_{i=1}^{m} \left ( y_{i} -f\left ( x_{i} \right )\right )^{2}

                =     \sum_{i=1}^{m} \left ( y_{i} -\left ( w*x_{i}+b \right )\right )^{2}

                =     \sum_{i=1}^{m} \left ( y_{i} - w*x_{i}-b \right )^{2}         (此即为西瓜书式 3.4  后面部分

 

下面,我们先考虑一种最简单的情形:输入属性的数目只有一个。下面的推导均基于这种情形展开。

 

 

二、数学知识储备:

 

二元函数判断凹凸性:

设 f\left ( x,y \right ) 在区域 D 上具有二阶连续偏导数,记 A=f_{xx}^{''}\left ( x,y \right )  ,  B=f_{xy}^{''}\left ( x,y \right )  ,  C=f_{yy}^{''}\left ( x,y \right ) , 则:

  1.  在 D 上恒有 A>0 , 且 A*C - B^{2} \geq 0 时,f\left ( x,y \right ) 在区域 D 上是凸函数。
  2.  在 D 上恒有 A< 0 , 且 A*C - B^{2} \geq 0 时,f\left ( x,y \right ) 在区域 D 上是凹函数。

 

二元凹凸函数求最值:

设  f\left ( x,y \right )  是在开区域 D 内具有连续偏导数的凸函数(或凹函数),\left ( x_{0},y _{0} \right )\in D 且 f_{x}^{'}\left ( x_{0}, y_{0}\right )=0 , f_{y}^{'}\left ( x_{0}, y_{0}\right )=0  .  则 f\left ( x_{0}, y_{0}\right ) 必为 f\left ( x, y\right ) 在 D 内的最小值(或最大值) 

 

 

 

三、证明损失函数 E(w,b) 是关于 w 和 b 的凸函数 :

 

(1)求  A=f_{xx}^{''}\left ( x,y \right )  :

 

\frac{\partial E\left ( w,b \right )}{\partial w}    =     \frac{\partial }{\partial w}\left [ \sum_{i=1}^{m} \left (y _{i}-w*x_{i}-b \right )^{2} \right ]

                   =    \sum_{i=1}^{m} \frac{\partial }{\partial w}\left (y _{i}-w*x_{i}-b \right )^{2}

                   =     \sum_{i=1}^{m} 2*\left (y _{i}-w*x_{i}-b \right )(-x_{i})

                   =           (此即为西瓜书式 3.5

 

    \frac{ \partial ^{2} E \left ( w,b \right ) }{ \partial w^{2}}     =      \frac{\partial }{\partial w} \left (\frac{\partial E\left ( w,b \right )}{\partial w} \right )

                          =     \frac{\partial }{\partial w}           

                          =    \frac{\partial }{\partial w} \left [ 2* w*\sum_{i=1}^{m} x_{i}^{2} \right ]   

                          =   2*\sum_{i=1}^{m} x_{i}^{2}  

此即为  A=f_{xx}^{''}\left ( x,y \right )  ,所以 在 D 上恒有 A>0

 

 

(2)求  B=f_{xy}^{''}\left ( x,y \right )  :

 

    \frac{ \partial ^{2} E \left ( w,b \right ) }{ \partial w \partial b }     =      \frac{\partial }{\partial b} \left (\frac{\partial E\left ( w,b \right )}{\partial w} \right )

                          =    \frac{\partial }{\partial b}           

                          =     \frac{\partial }{\partial b} 

                          =     \frac{\partial }{\partial b}  \left ( -2* \sum_{i=1}^{m} y _{i}*x_{i} + 2* \sum_{i=1}^{m} b*x_{i} \right )

                          =     \frac{\partial }{\partial b}  \left ( 2* \sum_{i=1}^{m} b*x_{i} \right )

                          =   2*\sum_{i=1}^{m} x_{i}  

此即为  B=f_{xy}^{''}\left ( x,y \right ) .

 

 

(3)求  C=f_{yy}^{''}\left ( x,y \right )  :

 

\frac{\partial E\left ( w,b \right )}{\partial b}    =     \frac{\partial }{\partial b}\left [ \sum_{i=1}^{m} \left (y _{i}-w*x_{i}-b \right )^{2} \right ]

                   =    \sum_{i=1}^{m} \frac{\partial }{\partial b}\left (y _{i}-w*x_{i}-b \right )^{2}

                   =     \sum_{i=1}^{m} 2*\left (y _{i}-w*x_{i}-b \right )(-1)

                   =                (此即为西瓜书式 3.6

 

    \frac{ \partial ^{2} E \left ( w,b \right ) }{ \partial b^{2}}     =      \frac{\partial }{\partial b} \left (\frac{\partial E\left ( w,b \right )}{\partial b} \right )

                          =     \frac{\partial }{\partial b}           

                          =    \frac{\partial }{\partial b} \left ( 2*m*b \right )   

                          =   2*m  

此即为    C=f_{yy}^{''}\left ( x,y \right ) .

 

 

(4)判断 A*C-B^{2} 的符号

 

至此,我们求得 :  A = 2*\sum_{i=1}^{m} x_{i}^{2}    ,   B = 2*\sum_{i=1}^{m} x_{i}  ,   C = 2*m

 

A*C-B^{2}      =           \left ( 2*\sum_{i=1}^{m} x_{i}^{2} \right ) * \left ( 2*m\right )-\left ( 2*\sum_{i=1}^{m} x_{i} \right )^{2}   

                         =          4*m*\sum_{i=1}^{m} x_{i}^{2}-4*\left ( \sum_{i=1}^{m} x_{i}\right )^{2}

                         =         4*m*\sum_{i=1}^{m} x_{i}^{2}-4*m*\frac{1}{m}*\left ( \sum_{i=1}^{m} x_{i}\right )^{2}

                         =        4*m*\sum_{i=1}^{m} x_{i}^{2}-4*m*\bar{x} * \sum_{i=1}^{m} x_{i}

                         =       4*m*\left ( \sum_{i=1}^{m} x_{i}^{2} - \sum_{i=1}^{m} x_{i}*\bar{x} \right )

                         =       4*m* \sum_{i=1}^{m}\left ( x_{i}^{2} - x_{i}*\bar{x} \right )

 

这里我们的目的是要证得  A*C-B^{2}  是否大于等于 0 ,所以我们下面要对上面的式子进行变形,以便判断符号。

 

因为:    \sum_{i=1}^{m} x_{i}*\bar{x}    =    \bar{x}*\sum_{i=1}^{m} x_{i}    =     \bar{x}*m*\frac{1}{m} * \sum_{i=1}^{m} x_{i}     =     m*\bar{x}^{2}     =     \sum_{i=1}^{m} \bar{x}^{2}

所以 : 4*m* \sum_{i=1}^{m}\left ( x_{i}^{2} - x_{i}*\bar{x} \right )    =     4*m* \sum_{i=1}^{m}\left ( x_{i}^{2} - x_{i}*\bar{x} - x_{i}*\bar{x}+{\color{Red} x_{i}*\bar{x}} \right )

                                                        =     4*m* \sum_{i=1}^{m}\left ( x_{i}^{2} - x_{i}*\bar{x} - x_{i}*\bar{x}+{\color{Red} \bar{x} ^{2}}\right )

                                                        =     4*m* \sum_{i=1}^{m}\left ( x_{i} -\bar{x}\right )^{2}

 

所以     A*C-B^{2}  =    4*m* \sum_{i=1}^{m}\left ( x_{i} -\bar{x}\right )^{2}     >=    0   ,   也即损失函数 E(w,b) 是关于 w 和 b 的凸函数得证。

 

 

 

四、求解 b :

 

令一阶偏导数等于 0 解出 b :

\frac{\partial E\left ( w,b \right )}{\partial b}    =           =    0

                                            =    0

                                                                               b   =   \frac{1}{m}           (此即为西瓜书式 3.8)

 

 

五、求解 w :

 

令一阶偏导数等于 0 解出 w :

\frac{\partial E\left ( w,b \right )}{\partial w}    =           =     0

                                                                    w*\sum_{i=1}^{m} x_{i}^{2}       =         \sum_{i=1}^{m}\ y _{i} *x_{i} -\sum_{i=1}^{m}\ b*x_{i}

 

将   b   =   \frac{1}{m}      =     \frac{1}{m}* \sum_{i=1}^{m} y _{i}  - w* \frac{1}{m}* \sum_{i=1}^{m} x_{i}

                                                       =     \bar{y}-w*\bar{x}                                 ,带入上式得:

 

                                      w*\sum_{i=1}^{m} x_{i}^{2}       =         \sum_{i=1}^{m}\ y _{i} *x_{i} -\sum_{i=1}^{m}\ {\color{Red} b}*x_{i}

                                     w*\sum_{i=1}^{m} x_{i}^{2}       =         \sum_{i=1}^{m}\ y _{i} *x_{i} -\sum_{i=1}^{m}\ {\color{Red} \left ( \bar{y}-w*\bar{x} \right )} *x_{i}

                                     w*\sum_{i=1}^{m} x_{i}^{2}       =         \sum_{i=1}^{m} y _{i} *x_{i} - \bar{y}* \sum_{i=1}^{m}x_{i} + w* \bar{x} * \sum_{i=1}^{m} x_{i}

           w*\sum_{i=1}^{m} x_{i}^{2}- w* \bar{x} * \sum_{i=1}^{m} x_{i}       =         \sum_{i=1}^{m} y _{i} *x_{i} - \bar{y}* \sum_{i=1}^{m}x_{i}

            w*\left ( \sum_{i=1}^{m} x_{i}^{2}- \bar{x} * \sum_{i=1}^{m} x_{i} \right )       =         \sum_{i=1}^{m} y _{i} *x_{i} - \bar{y}* \sum_{i=1}^{m}x_{i}

                                                      w     =        \frac{\sum_{i=1}^{m} y _{i} *x_{i} - \bar{y}* \sum_{i=1}^{m}x_{i}}{\sum_{i=1}^{m} x_{i}^{2}- \bar{x} * \sum_{i=1}^{m} x_{i}}

 

(因为有:\bar{y}* \sum_{i=1}^{m}x_{i} = \frac{1}{m} * \sum_{i=1}^{m} y_{i} \sum_{i=1}^{m}x_{i} = \bar{x} * \sum_{i=1}^{m}y_{i} , \bar{x}* \sum_{i=1}^{m}x_{i} = \frac{1}{m} * \sum_{i=1}^{m} x_{i} \sum_{i=1}^{m}x_{i} = \frac{1}{m} * \left ( \sum_{i=1}^{m}x_{i} \right ) ^{2}

(西瓜书)简单线性回归公式推导_第1张图片

 

所以 :    w   =    \frac{\sum_{i=1}^{m} y _{i} *x_{i} - \bar{x} * \sum_{i=1}^{m}y_{i} }{\sum_{i=1}^{m} x_{i}^{2}- \frac{1}{m} * \left ( \sum_{i=1}^{m}x_{i} \right ) ^{2} }   =    \frac{ \sum_{i=1}^{m} y _{i} * \left ( x_{i} - \bar{x} \right ) }{\sum_{i=1}^{m} x_{i}^{2}- \frac{1}{m} * \left ( \sum_{i=1}^{m}x_{i} \right ) ^{2} }      (此即为西瓜书式 3.7

 

 

 

 

(西瓜书)多元线性回归公式推导请移步:     https://blog.csdn.net/qq_42185999/article/details/102942166   .

你可能感兴趣的:(机器学习,简单线性回归公式推导,西瓜书,机器学习,最小二乘法)