Python 算法：线性回归及相关公式推导

0 前言

本文以一个小小的案例展开，主要讲解了线性回归的步骤、常用的两种求最优解的方法（最小二乘法和sklearn回归算法及算法原理）及相关函数、公式的过程推导。

相关环境：
Windows 64位
Python3.9
scikit-learn==1.0.2
pandas==1.4.2
numpy==1.21.5
matplotlib==3.5.1

1 案例数据及数据关系

假设有一组数如下，问(10,27)是否合理？

x	y
1	5
2	6
3	9
4	11
5	13

要回答这个问题，可以分三步走：
1、确认x和y的关系；
2、拟合模型，并根据模型进行预测；
3、判断(10,27)是否合理。

要确定关系，可以将数据通过散点图绘制出来

import pandas as pd
import matplotlib.pyplot as plt
df = pd.DataFrame({'x':list(range(1,6)),'y':[5,6,9,11,13]})
plt.scatter(df.x,df.y)
plt.show()

由散点图可见，这是一个线性回归模型，故令线性模型函数为$f\left(x_i\right)=a{x}_i+b$，使得$f\left(x_i\right)\approx y_i$。
这时，一开始的问题就转化成了求系数a和截距b。

2 拟合模型，求最优解

什么时候a和b达到最优解，也就是拟合效果最好呢？
如果根据过往数学经验，就是画一条直线，尽可能多的过一些散点或靠近散点更多的地方，但是这条线是不是最优的，还不确定，需要通过计算每一条线的拟合结果来确定。判断拟合结果好坏，有一个常用的判断方法：最小二乘法（LS） 得到的值尽可能小。
最小二乘法用通俗的话讲，就是将每个点的实际值$y_i$和直线的预测值$f\left(x_i\right)$相减，然后平方，然后求和。
特殊情况下，当该结果值为0时，说明实际的点和直线的点完全重合，其实就是直线上取出来的点。
最小二乘法的公式如下：

$LS={\sum }_{i=1}^m{\left(f\left(x_i\right)-y_i\right)}^2，其中f\left(x_i\right)=a{x}_i+b\text{(2.1)}$

均分误差（MSE，也称平方损失）的公式如下：

$MSE=\frac{1}{m}{\sum }_{i=1}^m{\left(f\left(x_i\right)-y_i\right)}^2，其中f\left(x_i\right)=a{x}_i+b\text{(2.2)}$
注：m 表示点的总数，i 表示每个点。

二者差别在于最小二乘法没有除以m，均方差除以m。在某些场景会有变形，比如加权最小二乘法和加权均方差，权重是对应值出现的概率。
在周志华的机器学习一书讲到的一个概念是“最小二乘法是基于均方误差最小化来进行模型求解的方法”，即：
$\boxed{minimizeMSE\stackrel{模型}{}LS}$
介绍完LS和MSE，再回到一开始的问题，什么时候a和b达到最优解，可以通过求导方式求解，即在均方差函数上分别对相关未知变量求导，再令导函数$f^{\prime }=0$进行求解；也可以通过算法进行定向的搜索求解，即先分别给a和b先赋一个初始值，然后通过梯度下降算法，不断更新a和b的值，最终收敛到极值，得到最优解。

2.1 均方差求导求解

如何在均方差$E\left(a,b\right)=\frac{1}{m}{\sum }_{i=1}^m{\left(f\left(x_i\right)-y_i\right)}^2$上，分别对a和b求导呢？
先把$f\left(x_i\right)=a{x}_i+b$代入上式，得到

$\begin{array}{rlr}E\left(a,b\right)& =\frac{1}{m}\sum _{i=1}^m{\left(a{x}_i+b-y_i\right)}^2& (2.3)\\ & =\frac{1}{m}\sum _{i=1}^m\left(x_i^2{a}^2+2\left(b-y_i\right)x_{i}a+{\left(b-y_i\right)}^2\right)& (2.4)\\ & =\frac{1}{m}\sum _{i=1}^m\left(b^2+2\left(a{x}_i-y_i\right)b+{\left(a{x}_i-y_i\right)}^2\right)& (2.5)\end{array}$

当对a求导时，可以改为(2.4)式的结构以便查看；当对b求导时，可以改为(2.5)式的结构以便查看。求导结果为：

$\begin{array}{rlr}\frac{\partial }{\partial a}{E}_{(a,b)}& =\frac{2}{m}\sum _{i=1}^m\left(a{x}_i+b-y_i\right)x_i& (2.6)\\ \frac{\partial }{\partial b}{E}_{(a,b)}& =\frac{2}{m}\sum _{i=1}^m\left(a{x}_i+b-y_i\right)& (2.7)\end{array}$

令(2.6)式和(2.7)式都为0，并结合新得到的两个等式，可得到解：

$a=\frac{\sum _{i=i}^m\left(y_1-\overline{y}\right)x_i}{\sum _{i=i}^m\left(x_1-\overline{x}\right)x_i}或\frac{\sum _{i=1}^m\left(x_i-\overline{x}\right)y_i}{\sum _{i=i}^m\left(x_1-\overline{x}\right)x_i}或\frac{\sum _{i=i}^m\left(y_1-\overline{y}\right)\left(x_i-\overline{x}\right)}{\sum _{i=i}^m{\left(x_1-\overline{x}\right)}^2}或=\frac{\sum _{i=i}^m{x}_i{y}_1-m\overline{x}\overline{y}}{\sum _{i=i}^m{x}_i^2-m{\overline{x}}^2}\text{(2.9)}$


$b=\frac{1}{m}\sum _{i=1}^m\left(y_i-a{x}_i\right)=\overline{y}-a\overline{x}\text{(2.10)}$

注：a的4个分子得到一样的值，3个分母也是，可以有多种组合。以上公式具体推导过程可以看公式推导小节。

该组数据得到的解为a=2.1；b=2.5。

import pandas as pd
import matplotlib.pyplot as plt
df = pd.DataFrame({'x':list(range(1,6)),'y':[5,6,9,11,13]})
plt.figure(figsize=(8,6))
plt.scatter(df.x,df.y)
plt.plot(df.x,df.x*2.1+2.5)
plt.show()

print(2.1*10+2.5)           # 结果为23.5

拟合结果如下：

插播：导数的作用

导数的作用：导数描述了一个函数在某一点上的变化率，这个变化率的大小需要根据导数结果定义。
比如直线函数（如$y=x$，其求导函数为$y^{\prime }=1$）的导数是一个自然数（$数字1$），那么整一条直线上的任意一个点的导数都是该值，变化率不变。
如果是曲线函数（如$y=x^2$，其求导函数为$y^{\prime }=2x$），其导数会根据点在不同的位置上得到一个变化率（$y^{\prime }$），也表示为该点上的切线斜率，切线斜率越小，表示越接近全局或局部的最值（最大或最小值），当切线斜率为0时，达到最值（可能是全局也可能是局部，结合函数判断，最高幂次方为2次则只有一个最值），如下图1。
导数的作用就是帮助我们通过切线斜率等于0时找到最值，一般该值就是原函数的最优解。当然了，如果一个函数有多个切线斜率等于0，可能会取到局部的最优解，而不是全局最优解。（如下图2）

2.2 算法拟合求解

接下来看看算法实现的方式，算法实现的过程是通过定向的搜索。
先来看一个图，如下图，这也是一种搜索的过程，直接在原散点上找拟合效果比较好的线。不过该方法难以判断什么时候能够达到最优解。

这时候需要更加科学的方式来解决以上问题，前辈们已经为我们创造了好多算法用于搜索最优解。这些算法中有一个表经典的就是梯度下降法。该算法和前面的导函数有些相同之处，在寻找极值的时候，通过对函数对应的梯度不断进行迭代和搜索，最终在极值点收敛。如下图：

这是二维的展示，如果是三维的，可以参考吴恩达机器学习课程的一张经典的图：
注：$J\left({\theta }_0,{\theta }_1\right)$是代价函数，同本文的$J\left(a,b\right)$，${\theta }_0$和${\theta }_1$则类比a和b，是代价函数（下面讲）的最优解。

梯度下降的算法逻辑很简单，不过用公式和求解表示会有一点复杂。

讲该算法之前，先引入另外一个概念：损失函数（也叫代价函数）。随着算法不断的发展，损失函数也不断发展。本文建一个比较经典的，就是基于均方差演变而来的，即在均方差的计算结果除以2，看了好些资料，介绍这个2，主要是用于约掉均方差求导后的系数2，以便于计算，姑且这么理解吧。
本次引入的损失函数如下：

$J\left(a,b\right)=\frac{1}{2m}{\sum }_{i=1}^m{\left(f\left(x_i\right)-y_i\right)}^2\text{(2.11)}$

注：损失函数和代价函数的差别在于损失函数定义在单个样本，是一个样本的误差，代价函数定义在整个训练集，是所有样本的平均误差。

梯度下降算法的公式如下：

$\begin{array}{rlr}{a}_{i+1}& =a_i-\alpha \frac{\partial }{\partial a_i}{J}_{(a,b)}& (2.12)\\ b_{i+1}& =b_i-\alpha \frac{\partial }{\partial b_i}{J}_{(a,b)}& (2.13)\end{array}$

这两个公式是迭代公式，就是下一次的a和b值由本次得到的a和b值减去后面一长串公式得到的结果。
$\alpha$是学习速率，或者叫步长，就是你给算法定义的值，每次期望移动多大值；$\frac{\partial }{\partial a}{J}_{(a,b)}$和$\frac{\partial }{\partial b}{J}_{(a,b)}$是求导公式，即在损失函数上，对a和b分别求导。
补充说明：可能有的小伙伴对于对a和b分别求导有点无厘头，特别是多个位置参数放在一起的时候，更容易混淆。无论如何复杂，认准一点，对谁求导，谁就是自变量，其他的全部视为常数，然后根据求导的规则获取导函数。比如：$f\left(x\right)=a{x}^2+bx+c$对a求导就是$f^{\prime }\left(a\right)=x^2$，对b求导就是$f^{\prime }\left(b\right)=x$，对c求导就是$f^{\prime }\left(c\right)=1$。

如何在代价函数$J\left(a,b\right)=\frac{1}{2m}{\sum }_{i=1}^m{\left(f\left(x_i\right)-y_i\right)}^2$上，分别对a和b求导呢？这个和上文讲均方差求导时有介绍过类似内容，只不过前面是均方差，此处是代价函数，多除以2，其他基本一致。
先把$f\left(x_i\right)=a{x}_i+b$代入上式，得到

$\begin{array}{rlr}J\left(a,b\right)& =\frac{1}{2m}\sum _{i=1}^m{\left(a{x}_i+b-y_i\right)}^2& (2.14)\\ & =\frac{1}{2m}\sum _{i=1}^m\left(x_i^2{a}^2+2\left(b-y_i\right)x_{i}a+{\left(b-y_i\right)}^2\right)& (2.15)\\ & =\frac{1}{2m}\sum _{i=1}^m\left(b^2+2\left(a{x}_i-y_i\right)b+{\left(a{x}_i-y_i\right)}^2\right)& (2.16)\end{array}$

当对a求导时，可以改为(2.15)式的结构以便查看；当对b求导时，可以改为(2.16)式的结构以便查看。求导结果为：

$\begin{array}{rlr}\frac{\partial }{\partial a}{J}_{(a,b)}& =\frac{1}{m}\sum _{i=1}^m\left(a{x}_i+b-y_i\right)x_i& (2.17)\\ \frac{\partial }{\partial b}{J}_{(a,b)}& =\frac{1}{m}\sum _{i=1}^m\left(a{x}_i+b-y_i\right)& (2.18)\end{array}$

注：具体推导过程可以看公式推导小节。

将(2.17)代入(2.12)，将(2.18)代入(2.13)，便可以得到：

$\begin{array}{rlr}{a}_{i+1}& =a_i-\alpha \frac{1}{m}\sum _{i=1}^m\left(a_i{x}_i+b_i-y_i\right)x_i& (2.19)\\ b_{i+1}& =b_i-\alpha \frac{1}{m}\sum _{i=1}^m\left(a_i{x}_i+b_i-y_i\right)& (2.20)\end{array}$

注：右边的a和b的结构都是本次的a和b，左边的a和b是下一次值，二者同步更新。用Python实现过程，或需要新建一个中间变量，以避免在计算完(2.19)式之后，变量a 变成了下一次的值，等到计算(2.20)式时，使用下一次的a 值更新下一次的b 值。

如果通过Python实现们可以直接调用scikit-learn（sklearn）的线性回归模型库实现，具体代码实现步骤如下：

# 读取数据
import pandas as pd
data = pd.DataFrame({'x':[1,2,3,4,5],'y':[5,6,9,11,13]})
# data.shape,type(data)
x = data.loc[:,'x']
y = data.loc[:,'y']

# 画图查看数据分布
from matplotlib import pyplot as plt
plt.figure(figsize=(8,6))
plt.scatter(x,y)
plt.show()

# 调用sklearn的线性模型
from sklearn.linear_model import LinearRegression
lr_model = LinearRegression()

# 转换维度，一维转为二维
X = x.values.reshape(-1, 1) 

# 训练模型
lr_model.fit(X,y)
# 预测x结果
y_predict = lr_model.predict(X)

# 画图查看y和y_predict
plt.figure(figsize=(8,6))
plt.scatter(x,y)
plt.plot(x,y_predict)
plt.show()

# 打印a、b值
a = lr_model.coef_
b = lr_model.intercept_
print(a,b)                  # 结果为：[2.1] 2.499999999999999

# 查看均方差
from sklearn.metrics import mean_squared_error,r2_score
MSE = mean_squared_error(y,y_predict)
R2 = r2_score(y,y_predict)
print(MSE,R2)               # 结果为：0.13999999999999996 0.984375

# 预测具体某个值的结果
y_p = lr_model.predict([[10]])
print(y_p)                  # 结果为：[23.5]

拟合的曲线为：$f\left(x_i\right)=2.1x_i+2.5$
拟合结果可视化如下：

3 判断结果

通过以上两种求解方法得到的结果均为23.5。(10,27)点在拟合直线的上方，27比23.5大3.5。
是否合理呢？可以通过$R^2$来衡量，在算法计算中有计算过该值，为0.984375，也就是说，在该模型的拟合效果上，有98.4%的可信度相信当x=10时，得到23.5。所以27是不合理的。但是，需要注意的是，该可信度是基于已知的5个点训练得到的结果，由于数量较少，对x>5之外的值可能不适用，当然，如果是相同的场景下，或有一定的适用性，权当教学使用。
虽然27不合理，但是在涉及到决策时，需要再结合实际的情况做出是否接受的判断，比如说如果是某地的房价预测是23.5万/平，实际出价是27万/平，对于卖方有利，对于卖方无利。站在卖方角度，一般可接受，站在买方角度，一般不可接受。

4 公式推导

4.1 如何证明${\sum }_{i=1}^m\left(x_i-\overline{x}\right)x_i={\sum }_{i=1}^m{\left(x_i-\overline{x}\right)}^2={\sum }_{i=i}^m{x}_i^2-m{\overline{x}}^2$成立？

$\sum _{i=1}^m{x}_i=x_1+x_2+x_3+\cdot \cdot \cdot \cdot \cdot \cdot +x_m=m\overline{x}=\sum _{i=1}^m\overline{x}\text{(4.1)}$

(4.1)式，x的m个样本值加起来等于m倍均值，可表示为${\sum }_{i=1}^m\overline{x}$，即m个$\overline{x}$相加。

$\sum _{i=1}^m\left(\overline{x}{x}_i\right)=\overline{x}\sum _{i=1}^m{x}_i\text{(4.2)}$

(4.2)式，$\overline{x}$是一个常量，(4.2)式相当于是$\overline{x}{x}_1+\overline{x}{x}_2+\cdot \cdot \cdot +\overline{x}{x}_m=\overline{x}(x_1+x_2+\cdot \cdot \cdot +x_m)$

证明${\sum }_{i=1}^m\left(x_i-\overline{x}\right)x_i={\sum }_{i=1}^m{\left(x_i-\overline{x}\right)}^2$

$\begin{array}{rlr}\sum _{i=1}^m\left(x_i-\overline{x}\right)x_i& =\sum _{i=1}^m\left(x_i^2-\overline{x}{x}_i\right)& (4.3)\\ & =\sum _{i=1}^m\left(x_i^2-\overline{x}{x}_i+\overline{x}{x}_i-\overline{x}{x}_i\right)& (4.4)\\ & =\sum _{i=1}^m\left(x_i^2-2\overline{x}{x}_i+\overline{x}{x}_i\right)& (4.5)\\ & =\sum _{i=1}^m\left(x_i^2-2\overline{x}{x}_i\right)+\sum _{i=1}^m\left(\overline{x}{x}_i\right)& (4.6)\\ & =\sum _{i=1}^m\left(x_i^2-2\overline{x}{x}_i\right)+\overline{x}\sum _{i=1}^m\left(x_i\right)& (4.7)\\ & =\sum _{i=1}^m\left(x_i^2-2\overline{x}{x}_i\right)+\overline{x}\cdot m\overline{x}& (4.8)\\ & =\sum _{i=1}^m\left(x_i^2-2\overline{x}{x}_i\right)+m{\overline{x}}^2& (4.9)\\ & =\sum _{i=1}^m\left(x_i^2-2\overline{x}{x}_i\right)+\sum _{i=1}^m{\overline{x}}^2& (4.10)\\ & =\sum _{i=1}^m\left(x_i^2-2\overline{x}{x}_i+{\overline{x}}^2\right)& (4.11)\\ & =\sum _{i=1}^m{\left(x_i-\overline{x}\right)}^2& (4.12)\end{array}$

证明${\sum }_{i=1}^m\left(x_i-\overline{x}\right)x_i={\sum }_{i=i}^m{x}_i^2-m{\overline{x}}^2$：

$\begin{array}{rlr}\sum _{i=1}^m\left(x_i-\overline{x}\right)x_i& =\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m\overline{x}{x}_i& (4.13)\\ & =\sum _{i=1}^m{x}_i^2-\overline{x}\sum _{i=1}^m{x}_i& (4.14)\\ & =\sum _{i=1}^m{x}_i^2-\overline{x}\cdot m\overline{x}& (4.15)\\ & =\sum _{i=1}^m{x}_i^2-m{\overline{x}}^2& (4.16)\end{array}$
结合(4.1)式代入(4.14)可得到(4.15)式。

4.2 如何证明${\sum }_{i=1}^m\left(x_i-\overline{x}\right)y_i={\sum }_{i=1}^m\left(y_i-\overline{y}\right)x_i={\sum }_{i=i}^m\left(y_i-\overline{y}\right)\left(x_i-\overline{x}\right)={\sum }_{i=i}^m{x}_i{y}_i-m\overline{x}\overline{y}$成立？


$\begin{array}{rl}\overline{x}=\frac{1}{m}\sum _{i=1}^m{x}_i& (4.17)\\ \overline{y}=\frac{1}{m}\sum _{i=1}^m{y}_i& (4.18)\end{array}$

证明${\sum }_{i=1}^m\left(x_i-\overline{x}\right)y_i={\sum }_{i=1}^m\left(y_i-\overline{y}\right)x_i$：

$\begin{array}{rlr}\sum _{i=1}^m\left(x_i-\overline{x}\right)y_i& =\sum _{i=1}^m\left(x_i{y}_i-\overline{x}{y}_i\right)& (4.19)\\ & =\sum _{i=1}^m{x}_i{y}_i-\sum _{i=1}^m\overline{x}{y}_i& (4.20)\\ & =\sum _{i=1}^m{x}_i{y}_i-\overline{x}\cdot \sum _{i=1}^m{y}_i& (4.21)\\ & =\sum _{i=1}^m{x}_i{y}_i-\left(\frac{1}{m}\sum _{i=1}^m{x}_i\right)\cdot \left(m\overline{y}\right)& (4.22)\\ & =\sum _{i=1}^m{x}_i{y}_i-\overline{y}\sum _{i=1}^m{x}_i& (4.23)\\ & =\sum _{i=1}^m{x}_i{y}_i-\sum _{i=1}^m\overline{y}{x}_i& (4.24)\\ & =\sum _{i=1}^m\left(x_i{y}_i-\overline{y}{x}_i\right)& (4.25)\\ & =\sum _{i=1}^m\left(y_i-\overline{y}\right)x_i& (4.26)\end{array}$

将(4.17)和(4.18)代入(4.21)可得到(4.22)。
注意：${\sum }_{i=1}^m{x}_i{y}_i/=x_i{\sum }_{i=1}^m{y}_i$因为$x_i$不是常量，${\sum }_{i=1}^m{x}_i{y}_i$表示的是两个变量$x_i$和$y_i$乘积的和，计算顺序为先乘后加。而$x_i{\sum }_{i=1}^m{y}_i$是对变量$y_i$求和之后乘以变量$x_i$。如果$x_i$为常量等式才成立。

证明${\sum }_{i=1}^m\left(x_i-\overline{x}\right)y_i={\sum }_{i=i}^m\left(y_i-\overline{y}\right)\left(x_i-\overline{x}\right)$：

$\begin{array}{rlr}\sum _{i=i}^m\left(y_1-\overline{y}\right)\left(x_i-\overline{x}\right)& =\sum _{i=i}^m\left(x_i{y}_i-\overline{x}{y}_i-x_i\overline{y}+\overline{xy}\right)& (4.27)\\ & =\sum _{i=i}^m\left(x_i-\overline{x}\right)y_i-\sum _{i=i}^m\left(x_i\overline{y}\right)+\sum _{i=i}^m\left(\overline{xy}\right)& (4.28)\\ & =\sum _{i=i}^m\left(x_i-\overline{x}\right)y_i-\overline{y}\sum _{i=i}^m\left(x_i\right)+\overline{y}\sum _{i=i}^m\left(\overline{x}\right)& (4.29)\\ & =\sum _{i=i}^m\left(x_i-\overline{x}\right)y_i-m\overline{xy}+-m\overline{xy}& (4.30)\\ & =\sum _{i=i}^m\left(x_i-\overline{x}\right)y_i& (4.31)\end{array}$
将(4.1)式和(4.17)式代入(4.29)，可得到(4.30)。

证明${\sum }_{i=1}^m\left(x_i-\overline{x}\right)y_i={\sum }_{i=i}^m{x}_i{y}_i-m\overline{x}\overline{y}$：结合(4.18)式和(4.21)式，即可推导出该结果。

4.3 为什么$J_{(a,b)}=\frac{1}{2m}{\sum }_{i=1}^m{\left(a{x}_i+b-y_i\right)}^2$对a 求导之后是$\frac{1}{m}{\sum }_{i=1}^m\left(a{x}_i+b-y_i\right)x_i$，而对b 求导之后是$\frac{1}{m}{\sum }_{i=1}^m\left(a{x}_i+b-y_i\right)$？

在$E(a,b)$函数上对a和b求导的解法和该解法相类似，不赘述。
$\begin{array}{rlr}J\left(a,b\right)& =\frac{1}{2m}\sum _{i=1}^m{\left(a{x}_i+b-y_i\right)}^2& (4.32)\\ & =\frac{1}{2m}\sum _{i=1}^m\left(x_i^2{a}^2+2\left(b-y_i\right)x_{i}a+{\left(b-y_i\right)}^2\right)& (4.33)\\ & =\frac{1}{2m}\sum _{i=1}^m\left(b^2+2\left(a{x}_i-y_i\right)b+{\left(a{x}_i-y_i\right)}^2\right)& (4.34)\end{array}$

使用(4.33)式，对a求导；使用(4.34)式对b求导。

$$\begin{gathered} \begin{array}{rlr}\frac{\partial J_{(a,b)}}{\partial a}& =\frac{1}{2m}\sum _{i=1}^m\left(2x_i^{2}a+2\left(b-y_i\right)x_i+0\right)& (4.35)\\ & =\frac{1}{2m}\sum _{i=1}^{m}2x_i\left(x_{i}a+\left(b-y_i\right)\right)& (4.36)\\ & =\frac{1}{m}\sum _{i=1}^m{x}_i\left(x_{i}a+b-y_i\right)& (4.37)\\ & =\frac{1}{m}\sum _{i=1}^m\left(a{x}_i+b-y_i\right)x_i& (4.38)\end{array} \\ \begin{array}{rlr}\frac{\partial J_{(a,b)}}{\partial b}& =\frac{1}{2m}\sum _{i=1}^m\left(2b+2\left(a{x}_i-y_i\right)+0\right)& (4.39)\\ & =\frac{1}{2m}\sum _{i=1}^{m}2x_i\left(x_{i}a+\left(b-y_i\right)\right)& (4.40)\\ & =\frac{1}{m}\sum _{i=1}^m{x}_i\left(x_{i}a+b-y_i\right)& (4.41)\\ & =\frac{1}{m}\sum _{i=1}^m\left(a{x}_i+b-y_i\right)x_i& (4.42)\end{array} \end{gathered}$$

4.4 sklearn.metrics.r2_score的公式及变形推导

基础知识：
总体平方和（Total Sum of Squares）：$TSS={\sum }_{i=1}^m{\left(y_i-\overline{y}\right)}^2$（实际值与均值的差值的平方和）
回归平方和（Explained Sum of Squares）：$ESS={\sum }_{i=1}^m{\left(y^{\prime }-\overline{y}\right)}^2$（预测值与均值的差值的平方和）
残差平方和（Residual Sum of Squares）：$RSS={\sum }_{i=1}^m{\left(y_i-y^{\prime }\right)}^2$（实际值与预测值的差值的平方和）
$TSS=ESS+RSS$
均方差（Mean Square Error）：$MSE=\frac{1}{m}{\sum }_{i=1}^m{\left(y_i-y^{\prime }\right)}^2=\frac{1}{m}RSS$
y的方差（Variance）：$va{r}_y=\frac{1}{m}{\sum }_{i=1}^m{\left(y_i-\overline{y}\right)}^2=\frac{1}{m}TSS$
x的方差（Variance）：$va{r}_x=\frac{1}{m}{\sum }_{i=1}^m{\left(x_i-\overline{x}\right)}^2$
标准差（Standard Deviation）：$std=\sqrt{var}$

$\begin{array}{rl}{R}^2& =1-\frac{RSS}{TSS}(残差平方和与总体平方和的比值)\\ & =1-\frac{MSE}{va{r}_y}(均方差和y_i的方差的比值)\\ & =a\frac{std(x_i)}{std(y_i)}(直线系数a乘以x_i和y_i的标准差的比值)\end{array}$

对$R^2$从上到下推导：
(4.43)~(4.45)证明：$\begin{array}{r}{R}^2=1-\frac{RSS}{TSS}=1-\frac{MSE}{va{r}_y}\end{array}$
(4.46)~(4.54)证明：$\begin{array}{r}{R}^2=1-\frac{RSS}{TSS}=a\frac{std(x_i)}{std(y_i)}\end{array}$
注：$y^{\prime }=a{x}_i+b$代入(4.48)，$b=\overline{y}-a\overline{x}$代入(4.49)

$\begin{array}{rlr}{R}^2& =1-\frac{RSS}{TSS}& (4.43)\\ & =1-\frac{\frac{1}{m}RSS}{\frac{1}{m}TSS}& (4.44)\\ & =1-\frac{MSE}{va{r}_y}& (4.45)\\ & =\frac{TSS-RSS}{TSS}& (4.46)\\ & =\frac{ESS}{TSS}& (4.47)\\ & =\frac{\sum _{i=1}^m{\left(y^{\prime }-\overline{y}\right)}^2}{\sum _{i=1}^m{\left(y_i-\overline{y}\right)}^2}& (4.48)\\ & =\frac{\sum _{i=1}^m{\left(a{x}_i+b-\overline{y}\right)}^2}{\sum _{i=1}^m{\left(y_i-\overline{y}\right)}^2}& (4.49)\\ & =\frac{\sum _{i=1}^m{\left(a{x}_i+\left(\overline{y}-a\overline{x}\right)-\overline{y}\right)}^2}{\sum _{i=1}^m{\left(y_i-\overline{y}\right)}^2}& (4.50)\\ & =\frac{\sum _{i=1}^m{\left(a{x}_i-a\overline{x}\right)}^2}{\sum _{i=1}^m{\left(y_i-\overline{y}\right)}^2}& (4.51)\\ & =\frac{a^2\sum _{i=1}^m{\left(x_i-\overline{x}\right)}^2}{\sum _{i=1}^m{\left(y_i-\overline{y}\right)}^2}& (4.52)\\ & =a^2\frac{\frac{1}{m}\sum _{i=1}^m{\left(x_i-\overline{x}\right)}^2}{\frac{1}{m}\sum _{i=1}^m{\left(y_i-\overline{y}\right)}^2}& (4.53)\\ & =a^2\frac{var(x_i)}{var(y_i)}& (4.54)\end{array}$

5 参考：

机器学习-周志华-P54
语雀Latex：https://www.yuque.com/yuque/gpvawt/brzicb
符号Katex：https://katex.org/docs/supported.html

小小福利：第4部分公式的推导，可以点击该链接下载相关Markdown文档。