1. 环境搭建
1-1) 下载并安装Anaconda
这个读者自行百度
1-2) 创建conda虚拟环境
# 创建conda虚拟环境
conda create -n pytorch_learn python=3.9
# 激活环境
conda activate pytorch_learn
环境激活以后，我们查看一下当前环境的版本
python -V
结果显示是3.9.1
1-3) 安装jupyter notebook
conda install jupyter notebook
1-4) 启动jupyter notebook
命令行下
jupyter notebook
1-5) 安装需要用到的库
新开一个命令行
conda activate pytorch_learn
conda install numpy
conda install scikit-learn
conda install matplotlib
- 验证
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler
import matplotlib.pyplot as plt
2. 梯度下降(Gradient Descent)介绍
- 什么是梯度下降
百度百科的解释是:
梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。
- 应用场景
在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。
上面这段话看起来有些抽象，不过不要紧，我们还是通过实际的步骤来看一下吧。
2-1) 定义一个模型
首先，我们要定义一个模型来训练我们的梯度下降算法。
我们的模型如下:
image.png
各个参数解释:
- 参数b是偏差(bias)。
- 参数w是权重，告诉我们y增长有多快，w越大，y增长越快。
- 最后一个参数希腊字母，我们暂且叫它c，它是噪声，是指我们无法去除的错误。
上面这个模型我们用实际生活中一个类似模型来替代你就好理解了，如下:
salary = [minimum wage] + [increase per year] * [years of experience] + noise
上面这个场景中，比如你刚开始工作的时候，由于你没有任何经验，因此假设你的初始工资是1000块，每年获取经验可以涨薪1000，那么2年以后理论上你的工资应该是3000块，但是实际你可能拿到了3500，那么这个恭喜你，这个500块就是噪音。
2-2) 人工造数
## Generate Synthetic Data
true_b = 1
true_w = 2
N = 100
# Data Generation
np.random.seed(42)
x = np.random.rand(N, 1)
epsilon = (.1 * np.random.randn(N, 1))
y = true_b + true_w * x + epsilon
2-3) 定义画图函数
def figure1(x_train, y_train, x_val, y_val):
fig, ax = plt.subplots(1, 2, figsize=(12, 6))
ax[0].scatter(x_train, y_train)
ax[0].set_xlabel('x')
ax[0].set_ylabel('y')
ax[0].set_ylim([0, 3.1])
ax[0].set_title('Generated Data - Train')
ax[1].scatter(x_val, y_val, c='r')
ax[1].set_xlabel('x')
ax[1].set_ylabel('y')
ax[1].set_ylim([0, 3.1])
ax[1].set_title('Generated Data - Validation')
fig.tight_layout()
return fig, ax
2-4) 画图
figure1(x_train, y_train, x_val, y_val)
结果如下:
image.png