python pytorch 超详细线性回归原理解析加代码实现-小白入门级

python 线性回归

答应老师做的一个系列教程，也是头一次花这吗大精力去写一篇基础的文档，里面虽然有不少的公式，但只要能顺着看下来会发现都是非常基础的公式都是特别简单的。

---

学习目标：

• 了解深度学学习的结构基本过程和原理

模型(函数): $f(x)=wx+b$

数据集:

NO.	x	y
0	1	3
1	2	5
2	3	7
3	4	9

一个训练样本: 一组$(x,y)$ 例:第0组训练样本$(x_0,y_0)=(1,3)$

x为输入数据,y为预测标签/目标值/希望被拟合的值

任务：寻找合适的$w$和$b$使得$f(x)=wx+b$可以拟合上表中的数据

• 怎么具体描述拟合?
• 就是让所有训练样本中每个训练的样本的$x_i$值经过模型(函数)之后的输出$f(x_i)$更接近其对应的$y_i$看距离的变化,距离小证明拟合的效果越好,距离越大证明拟合的越差,在这个任务里我们选择用两个数据差的平方和也就是欧式距离来作为衡量指标,也被我们称为损失,那计算距离的函数也就被称作损失函数.

计算回归任务的损失

在$w$,$b$已知的情况下,模型(函数)可表示为
$$f(x)=wx+b$$
定义一个训练样本损失的计算函数
$$L(x)=(f(x)-y{)}^2$$
如果输入的数据为$x_0$,其对应的目标值为$y_0$则经过模型之后的损失可表示为:
$$L(x_0)=(f(x_0)-y_0{)}^2$$
我们选择用数据集中的前三组数据来作为训练数据,为了让模型能更好的拟合所有的数据,所以希望的是所有训练样本损失变小，我们的总体损失函数$Loss(x)$可表示为

$$Loss(x)=\sum _{i=0}^{k}L(x_i)k=2x=[1,2,3]y=[3,5,7]$$
即:
$$Loss(x)=L(x_0)+L(x_1)+L(x_2)$$

在输入数据和模型参数$w,b$已知的情况下,模型的总体损失是一个固定值

接下来转换思路,现在训练样本$x$已知,我们的目的是求$w,b$使总体损失最小,则我们将$w,b$作为自变量,构建一个随着$w,b$变化的而变化的损失函数,然后去搜索使这个函数值最小的$w,b$的值.

在$x$已知的情况下,模型(函数)表示为
$$f_i(w,b)=w{x}_i+b$$
则重新定义一个训练样本的损失计算函数
$$L_i(w,b)=(f_i(w,b)-y_i{)}^2$$
则总体损失函数为:
$$Loss(w,b)=\sum _{i=0}^k{L}_i(w,b)k=2x=[1,2,3]$$
将损失函数展开为:
$$Loss(w,b)=L_0(w,b)+L_1(w,b)+L_2(w,b)$$
将$L_i(w,h)$替换
$$Loss(w,b)=(f_0(w,b)-y_0{)}^2+(f_1(w,b)-y_1{)}^2+(f_2(w,b)-y_2{)}^2$$
将$f_i(w,b)$替换
$$Loss(w,b)=(w{x}_0+b-y_0{)}^2+(w{x}_1+b-y_1{)}^2+(w{x}_2+b-y_2{)}^2$$

梯度下降的原理

到这该思考怎么去搜索一组$w,b$,为了理解的透彻我们举几个例子

先从一个最简单的问题上思考,已知一个有最小值点的函数$f(x)$,和一个初始值$x=x_0$,则$x$朝着哪个方向移动会使函数值更接近最小值点.

挑一个最简单的函数
$$f(x)=x^2$$
设置初始点为
$$x_0=0.5则y_0=0.5^2=0.25$$
为了走向最小值点,我们的策略就是一直将$x$往使函数值变小的方向一点点移动,那往哪个方向移动会使用使函数值见小呢根据简单的数学知识我们知道**如果$x$朝着梯度(导数)的方向移动则函数值会增大,所以让$x$朝着负梯度方向移动则函数值就会变小.因此先求在$x_0=0.5$处的梯度(导数)
$$f^{\prime }(x)=2x$$
$f^{\prime }(0.5)=2\ast 0.5=1$ 因为在$x_0$点处的导数$f^{\prime }(0.5)$大于0梯度方向朝着x轴的正轴方向,所以$x$如果向着正半轴移动则函数值会增大,$x$向负半轴移动函数值会减小,移动多少就由负梯度乘以一个步长来决定,通过让步长乘以负梯度的方式可以调节变量实际移动距离让$x$点在接近最小值点也就是导数为0的点时移动的距离变小,在导数大的地方移动加快,提高收敛速度,假设步长为$0.1$则$x$在$x_0$点开始向右侧移动$0.1\ast f^{\prime }(0.5)=0.1$,我们将这次移动之后的位置记为$x_1$,则$x_1=0.4f(x_1)=0.16<f(x_0)$ 如我们所愿函数值减小了,同理求$f^{\prime }(x_1)$,朝着$f^{\prime }(x_1)$的反向再继续更新$x$的值,最终$x$的值会落在最小值的附近,通过这种方式我们最后搜索到了得到了一个让$f(x)$贴近或者等于最小值的$x$值.

那如果有两个自变量呢假设我们要求最小值的函数为,初始点坐标$(x_0,y_0)=(1,1)$
$$f(x,y)=x^2+y^2$$
则在函数的初始值$(x_0,y_0)=(1,1)$点的函数值$f(x_0,y_0)=1^2+1^2=2$,要想使三维空间中的点不断的逼近最小值那就是找,输入的二维坐标点的负梯度方向,对于多维函数,求梯度方向就是求每一个自变量的偏导数.

则用$f(x,y)$对$x,y$求偏导
$$\frac{\partial f}{\partial x}=2x\frac{\partial f}{\partial y}=2y$$
则在$(x_0,y_0)$ 点处的偏导数值为$(2，2)$
$$\frac{\partial f}{\partial x}=2\frac{\partial f}{\partial y}=2$$
因此如果$(x,y)$分别朝着导数方向则函数值会增大，为了让函数值减小则同理$(x,y)$同时向这负梯度方向则可以减小，同样设置步长为$0.1$,则$x_1=x_0+0.1\ast (-2)=0.8y_1=y_0+0.1\ast (-2)=0.8f(x_1,y_1)<f(x_0,y_0)$ 通过这种方式不断的更新$x,y$自变量的值，最终就可以搜索到一组$(x,y)$的值使用函数值最小.

到这里其实可以明确一个概念深度学习的本质就是求函数的最小值

---

模型参数的更新过程

好回到之前回归任务求$w,b$是自变量,沿着负梯度方向不断更新$w,b$使下面这个函数值最小
$$Loss(w,b)=(w{x}_0+b-y_0{)}^2+(w{x}_1+b-y_1{)}^2+(w{x}_2+b-y_2{)}^2$$

接下来求函数对$w$的导数,先将损失函数转换成未完全展开的模式.
$$Loss(w,b)=L_0(w,b)+L_1(w,b)+L_2(w,b)$$
先观察其中一个$Loss$中的分量$L_0(w,b)$
$$L_0(w,b)=(f_0(w,b)-y_0{)}^2=(w{x}_0+b-y_0{)}^2$$
然后我们观察这个定义这个分量的原函数
$$L_i(w,b)=(f_i(w,b)-y_i{)}^2$$
要求$L_i(w,b)$对$w$的导数则需要求$L_i(w,b)$对$f_i(w,b)$的导数,然后求$f_i(w,b)$对$w$的导数,通过链式求导法则最终得到

$L_i(w,b)$对$w$的导数
$$\frac{\partial L_i(w,b)}{\partial w}=\frac{\partial L_i(w,b)}{\partial f_i(w,b)}\times \frac{\partial f_i(w,b)}{\partial w}$$
根据
$$f_i(w,b)=w{x}_i+b$$
先求
$$\frac{\partial f_i(w,b)}{\partial w}=x_i$$
然后根据
$$L_i(w,h)=(f_i(w,b)-y_i{)}^2$$
求得

$$\frac{\partial L_i(w,b)}{\partial f_i(w,b)}=2\times (f_i(w,h)-y_i)$$
所以可以算出
$$\frac{\partial L_i(w,b)}{\partial w}=2\times (f_i(w,h)-y_i)\times x_i=2\times (w{x}_i+b-y_i)\times x_i$$
同理我们去求$L_i(w,b)$对$b$的导数
$$\frac{\partial L_i(w,b)}{\partial b}=\frac{\partial L_i(w,b)}{\partial f_i(w,b)}\times \frac{\partial f_i(w,b)}{\partial b}$$
$L_i(w,b)$对$f_i(w,b)$的导数不变,只需要再去求一下$f_i(w,b)$对$b$的导数
$$\frac{\partial f_i(w,b)}{\partial b}=1$$
则最终求出来的$L_i(w,b)$对$b$的导数为
$$\frac{\partial L_i(w,b)}{\partial b}=2\times (f_i(w,h)-y_i)\times 1=2(w{x}_i+b-y_i)$$
最终我们得到了学习参数过程中最重要的梯度计算公式
$$\begin{gathered} \frac{\partial L_i(w,b)}{\partial w}=2\times (w{x}_i+b-y_i)\times x_i \\ \frac{\partial L_i(w,b)}{\partial b}=2(w{x}_i+b-y_i) \end{gathered}$$
根据总体损失的公式
$$Loss(w,b)=\sum _{i=0}^k{L}_i(w,b)k=3x=[1,2,3]y=[3,5,7]$$
我们也就能算出$Loss(w,b)$对$w,b$的梯度
$$\begin{gathered} \frac{\partial Loss(w,b)}{\partial w}=\sum _{i=0}^k\frac{\partial L_i(w,b)}{\partial w}=\sum _{i=0}^{k}2\times (w{x}_i+b-y_i)\times x_{i}k=2 \\ \frac{\partial Loss(w,b)}{\partial b}=\sum _{i=0}^k\frac{\partial L_i(w,b)}{\partial b}=\sum _{i=0}^{k}2\times (w{x}_i+b-y_i)k=2 \end{gathered}$$
有了更新公式之后,我们只需要设置一个初始的就可以根据梯度公式不断的更新$w,b$我们设置步长$\lambda =0.01$

则可以写出$w,b$的更新公式
$$\begin{gathered} w_{i+1}=w_i+\lambda \times (-\frac{\partial Loss(w,b)}{\partial w}) \\ {b}_{i+1}=b_i+\lambda \times (-\frac{\partial Loss(w,b)}{\partial b}) \end{gathered}$$
接下来我们模拟一步更新过程

根据一开始的表个我们的训练数据$(x,y)$分别为
$$\begin{gathered} x=[1,2,3] \\ y=[3,5,7] \end{gathered}$$
假设初始值
$$w_0=1b_0=0$$
根据下面的这个式子去算一下损失
$$Loss(w,b)=(w{x}_0+b-y_0{)}^2+(w{x}_1+b-y_1{)}^2+(w{x}_2+b-y_2{)}^2$$

将$w=1,b=0x_0=1,x_1=2,x_2=3y_0=3,y_1=5,y_2=7$带入
$$Loss(1,0)=(1\times 1+0-3{)}^2+(1\times 2+0-5{)}^2+(1\times 3+0-7{)}^2=29$$

接下来计算损失函数对$w,b$的梯度
$$\begin{gathered} \frac{\partial Loss(w_0,b_0)}{\partial w}=\sum _{i=0}^k\frac{\partial L_i(w_0,b_0)}{\partial w}=\sum _{i=0}^{k}2\times (w_0{x}_i+b_0-y_i)\times x_{i}k=2 \\ =2\times (w_0{x}_0+b_0-y_0)\times x_0+2\times (w_0{x}_1+b_0-y_1)\times x_1+2\times (w_0{x}_2+b_0-y_2)\times x_2 \\ =2\times (1\times 1+0-3)\times 1+2\times (1\times 2+0-5)\times 2+2\times (1\times 3+0-7)\times 3=-40 \end{gathered}$$

$$\begin{gathered} \frac{\partial Loss(w,b)}{\partial b}=\sum _{i=0}^k\frac{\partial L_i(w,b)}{\partial b}=\sum _{i=0}^{k}2\times (w{x}_i+b-y_i)k=2 \\ =2\times (w_0{x}_0+b_0-y_0)+2\times (w_0{x}_1+b_0-y_1)+2\times (w_0{x}_2+b_0-y_2) \\ =2\times (1\times 1+0-3)+2\times (1\times 2+0-5)+2\times (1\times 3+0-7)=-18 \end{gathered}$$

接下来使用更新公式对$w,b$进行更新
$$\begin{gathered} w_1=w_0+\lambda \times (-\frac{\partial Loss(w_0,b_0)}{\partial w})=1+0.01\times 40=1.4 \\ {b}_1=b_0+\lambda \times (-\frac{\partial Loss(w_0,b_0)}{\partial b})=0+0.01\times 18=0.18 \end{gathered}$$
接下来我们将新的参数带入进损失函数
$$\begin{gathered} Loss(w_1,b_1)=(w_1{x}_0+b_1-y_0{)}^2+(w_1{x}_1+b_1-y_1{)}^2+(w_1{x}_2+b_1-y_2{)}^2 \\ =(1.4\times 1+0.18-3{)}^2+(1.4\times 2+0.18-5{)}^2+(1.4\times 3+0.18-7{)}^2=12.9612 \end{gathered}$$

可喜可贺损失变小了,接下来就是重复上面的步骤设置学习次数,学习到损失几乎不再下降为止.

接下来用python的基础库模拟出这个过程

python基础库实现

先初始化需要用到的变量

# 训练数据
train_data = [1,2,3]
# 训练标签
train_label = [3,5,7]
# 测试数据
test_data = [4]
# 测试标签
test_label = [9]
# 初始化权重
w = 1
b = 0
# 迭代次数/训练次数
iter = 10000
# 设置步长
lamb = 0.01

然后定义模型

# 回归模型
def f(x):
    return w*x + b

定义用到的损失函数

# 计算一个样本的损失函数
def L(data,label):
    return (data-label)**2

# 总体损失函数
def Loss(x,y):
    loss = 0
    k = len(x)
    for i in range(k):
        loss += L(f(x[i]),y[i])
    return loss

定义计算梯度函数

# 计算梯度
def gradient(w,b,x,y):
    dw,db = 0,0
    k = len(x)
    for i in range(k):
        dw += 2*(w*x[i]+b-y[i])*x[i]
        db += 2*(w*x[i]+b-y[i])
    return dw,db

训练部分

# 训练
for i in range(iter):
    dw,db = gradient(w,b,train_data, train_label)
    w = w - lamb*dw
    b = b - lamb*db

最后加上绘图代码最终的完整代码如下

import matplotlib.pyplot as plt
import numpy as np

# 训练数据
train_data = [1,2,3]
# 训练标签
train_label = [3,5,7]
# 测试数据
test_data = [4]
# 测试标签
test_label = [9]
# 初始化权重
w = 1
b = 0
# 迭代次数/训练次数
iter = 1000
# 设置步长
lamb = 0.01

# 回归模型
def f(x):
    return w*x + b
# f = lambda x: w*x + b

# 计算一个样本的损失函数
def L(data,label):
    return (data-label)**2

# 总体损失函数
def Loss(x,y):
    loss = 0
    k = len(x)
    for i in range(k):
        loss += L(f(x[i]),y[i])
    return loss

# 计算梯度
def gradient(w,b,x,y):
    dw,db = 0,0
    k = len(x)
    for i in range(k):
        dw += 2*(w*x[i]+b-y[i])*x[i]
        db += 2*(w*x[i]+b-y[i])
    return dw,db

# 训练
for i in range(iter):
    dw,db = gradient(w,b,train_data, train_label)
    w = w - lamb*dw
    b = b - lamb*db

# 打开网格
plt.grid()
# 绘制训练集点
plt.scatter(train_data,train_label,c='blue')
# 回执测试集点
plt.scatter(test_data,test_label,c='red')

#设置绘图范围
plt.xlim([0,5])
plt.ylim([0,10])

#绘制拟合直线
x = np.linspace(0,5,1000)
y = f(x)
plt.scatter(x,y,c='black',s=1)
plt.show()

#打印学习之后的w，b值
print('w=',w)
print('b=',b)

最终拟合的直线结果如下

最终训练之后的$w,b$值为

w= 2.000148389025502
b= 0.9996626768662412

稍微变动一下数据让数据不都在一条线上，看一下最终的拟合结果会是什么样的

# 训练数据
train_data = [1,1.5,3]
# 训练标签
train_label = [3,5,7]
# 测试数据
test_data = [4]
# 测试标签
test_label = [9]

w= 1.846223184751381
b= 1.6152357121183563