#1. 定义一个线性回归函数，返回值为自变量X和函数值y
def synthetic_data(w,b,num_examples):
#******************1.1 定义1000x2大小的数据集X******************
X = torch.normal(0,1,(num_examples,len(w)))
#torch.normal(means, std, out=None),means(tensor)-均值，std(tensor)-标准差，out(tensor)-可选的输出张量
#返回一个张量，包含从给定参数means,std的离散正态分布中抽取随机数。
#均值means是一个张量，包含每个输出元素相关的正态分布的均值。
#std是一个张量，包含每个输出元素相关的正态分布的标准差。
#out的大小和数量可以被指定
#均值和标准差的形状不须匹配，但每个张量的元素个数须相同。
#******************1.2 计算y=Xw+b******************
y = torch.matmul(X,w)+b
#torch,matmul(a,b) tensor的乘法，输入可以是高维的
#输入有3维时，把多出的一维作为batch；大于3维，第0维作为batch，其余利用广播机制
#*******************1.3 加入随机噪声0.01(假设误差服从均值为0的正态分布)***********
y += torch.normal(0,0.01,y.shape)
return X,y.reshape((-1,1)) #n行1列，即列向量
#reshape函数，修改成m行n列的矩阵，
#-1表示模糊控制，行或列为-1表示行数或列数不确定，另一维确定即可
#2. 生成真实的w和b，调用函数得到特征和标签
true_w = torch.tensor([2,-3.4])
true_b = 4.2
features,labels = synthetic_data(true_w,true_b,1000);
#3. 定义一个data_iter函数，用于分割批量。
#接收批量大小、特征矩阵和标签向量作为输入
#生成大小为batch_size的小批量
def data_iter(batch_size,features,labels):
num_examples = len(features)
indices = list(range(num_examples))#用range()函数从0到n-1计数，再通过list()返回列表
#Python3 range() 函数返回的是一个可迭代对象（类型是对象），而不是列表类型， 所以打印的时候不会打印列表。
#range(stop) 计数到stop结束
#range(start,stop[,step]) 从start开始，step为步长
#Python3 list() 函数是对象迭代器，可以把range()返回的可迭代对象转为一个列表，返回的变量类型为列表。
#序列中的每个元素都分配一个数字 - 它的位置，或索引，第一个索引是0，第二个索引是1，依此类推。
#列表的数据项不需要具有相同的类型
#创建一个列表，只要把逗号分隔的不同的数据项使用方括号括起来即可
random.shuffle(indices) #随机打乱
for i in range(0,num_examples,batch_size):#从0开始，到num_examples结束，每次跳batch_size
batch_indices = torch.tensor(indices[i:min(i+batch_size,num_examples)])
#每次生成从i到i+batch_size大小的tensor，
#min函数避免到最后一个batch数量不足size，取到num_examples即可
yield features[batch_indices],labels[batch_indices]
#一个带有 yield 的函数就是一个 generator，
#它和普通函数不同，生成一个 generator 看起来像函数调用，但不会执行任何函数代码，
#直到对其调用 next()（在 for 循环中会自动调用 next()）才开始执行。
#虽然执行流程仍按函数的流程执行，但每执行到一个 yield 语句就会中断，并返回一个迭代值，
#下次执行时从 yield 的下一个语句继续执行。
#看起来就好像一个函数在正常执行的过程中被 yield 中断了数次，
#每次中断都会通过 yield 返回当前的迭代值。
batch_size = 10
#4. 定义初始化模型参数
w = torch.normal(0,0.01,size=(2,1),requires_grad=True)
b = torch.zeros(1,requires_grad=True)
#5. 定义模型
def linreg(X,w,b):
"""线性回归模型"""
return torch.matmul(X,w)+b
#6. 定义损失函数
def squared_loss(y_hat,y):
"""均方损失"""
return (y_hat-y.reshape(y_hat.shape))**2/2
#7. 定义优化算法
def sgd(params,lr,batch_size):#params：参数w和b；lr：学习率；batch_size：批量大小
"""小批量随机梯度下降"""
with torch.no_grad():
for param in params:
param -= lr*param.grad/batch_size
param.grad.zero_() #手动设置梯度清零
#8. 训练过程
lr = 0.03
num_epochs = 3 #把整个数据扫三遍
net = linreg
loss = squared_loss
for epoch in range(num_epochs):
for X,y in data_iter(batch_size,features,labels):
l = loss(net(X,w,b),y) #l是每个小批量损失
l.sum().backward() #便于计算梯度
sgd([w,b],lr,batch_size) #使用参数的梯度更新参数
with torch.no_grad():
train_l = loss(net(features,w,b),labels)
print(f'epoch{epoch+1},loss{float(train_l.mean()):f}')
