（西瓜书）简单线性回归公式推导
目录
一、线性回归概述：
二、数学知识储备：
三、证明损失函数 是关于 w 和 b 的凸函数 ：
四、求解 b :
五、求解 w :
一、线性回归概述：
给定数据集 
， 其中 
， 
，线性回归试图学得：
，使得 
.
回归任务中常使用均方误差来衡量 f(x) 与 y 之间的差别。使均方误差最小化得到的 w, b 即我们所求。（基于均方误差来进行模型求解的方法称为 “最小二乘法”）。
因此，由最小二乘法导出损失函数 
= 
= 
= 
（此即为西瓜书式 3.4 后面部分）
下面，我们先考虑一种最简单的情形：输入属性的数目只有一个。下面的推导均基于这种情形展开。
二、数学知识储备：
二元函数判断凹凸性：
设 
在区域 D 上具有二阶连续偏导数，记 
, 
, 
, 则：
- 在 D 上恒有
, 且 
时， 在区域 D 上是凸函数。 - 在 D 上恒有
, 且 时， 在区域 D 上是凹函数。
二元凹凸函数求最值：
设 是在开区域 D 内具有连续偏导数的凸函数（或凹函数），
且 
, 
. 则 
必为 
在 D 内的最小值（或最大值）
三、证明损失函数 是关于 w 和 b 的凸函数 ：
（1）求 ：
= ![\frac{\partial }{\partial w}\left [ \sum_{i=1}^{m} \left (y _{i}-w*x_{i}-b \right )^{2} \right ]](http://img.e-com-net.com/image/info8/cdb6c71a80584c238e394dd88f159d4d.gif)
= 
= 
= （此即为西瓜书式 3.5）
= 
= 
= ![\frac{\partial }{\partial w} \left [ 2* w*\sum_{i=1}^{m} x_{i}^{2} \right ]](http://img.e-com-net.com/image/info8/ba9059e53f24489cac7943e6a8a238ea.gif)
= 
此即为 ，所以 在 D 上恒有
（2）求 ：
= 
= 
=
= 
= 
= 
此即为 .
（3）求 ：
= ![\frac{\partial }{\partial b}\left [ \sum_{i=1}^{m} \left (y _{i}-w*x_{i}-b \right )^{2} \right ]](http://img.e-com-net.com/image/info8/985228eca1c6485f9d9bf92ab56bdd98.gif)
= 
= 
= （此即为西瓜书式 3.6）
= 
=
= 
= 
此即为 .
（4）判断 
的符号
至此，我们求得 : 
, 
, 
= 
= 
= 
= 
= 
= 
这里我们的目的是要证得 是否大于等于 0 ，所以我们下面要对上面的式子进行变形，以便判断符号。
因为： 
= 
= 
= 
= 
所以 ： = 
= 
= 
所以 = >= 0 , 也即损失函数 是关于 w 和 b 的凸函数得证。
四、求解 b :
令一阶偏导数等于 0 解出 b ：
= = 0
= 0
b = 
（此即为西瓜书式 3.8）
五、求解 w :
令一阶偏导数等于 0 解出 w ：
= = 0
= 
将 b = = 
= 
，带入上式得：
= 
= 
= 
= 
=
w = 
（因为有：
， 
）
所以 ： w = 
= 
（此即为西瓜书式 3.7）
（西瓜书）多元线性回归公式推导请移步： https://blog.csdn.net/qq_42185999/article/details/102942166 .