目录
1.Softmax回归的从零开始实现
2.softmax回归的简洁实现
对重新审视softmax的实现的思考:
对交叉熵损失函数的思考:
小批量随机梯度下降算法的理解:
import torch
from IPython import display
from d2l import torch as d2l
#每次随机读256张图片
batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
"""初始化模型参数"""
num_inputs = 784
#对于softmax的输入需要是一个向量,原来的输入是1*28*28的3d矩阵,28*28等于784
#拉成向量会损失掉很多空间信息,交给卷积神经网络继续
num_outputs = 10
#因为数据集有10个类,所以模型输出的维度为10
W = torch.normal(0, 0.01, size=(num_inputs, num_outputs), requires_grad=True)
#w的形状为784*10
b = torch.zeros(num_outputs, requires_grad=True)
#偏移是一个长为10的向量
"""定义softmax操作"""
X = torch.tensor([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])
#定义了2*3的矩阵
X.sum(0, keepdim=True), X.sum(1, keepdim=True)
#结果输出:tensor([[5., 7., 9.]]), tensor([[ 6.], [15.]])
#分别按照0维和1维求和,然后保持维度
#实现softmax
def softmax(X):
#对于矩阵来讲,就是对每一行作softmax
X_exp = torch.exp(X)
#对每一行作指数运算
partition = X_exp.sum(1, keepdim=True)
#按照维度1来求和,压缩列,就是对每一行求和,得出一个2维矩阵
return X_exp / partition # 这里应用了广播机制
#X_exp的每一行除以 partition中对应行元素之和,因为X_exp(2*3),partion(2*1),满足广播机制
#我们将每个元素变成一个非负数。 此外,依据概率原理,每行总和为1
X = torch.normal(0, 1, (2, 5))
#矩阵x(2*5)
X_prob = softmax(X)
X_prob, X_prob.sum(1)
#结果输出:tensor([[0.2968, 0.4115, 0.0945, 0.1603, 0.0368],[0.2128, 0.5422, 0.0865,
#0.1104, #0.0481]]),tensor([1.0000, 1.0000])
#说明把2*5的矩阵放进softmax之后,形状还是2*5没有改变,变化就是所有的值都为正了
#理论上来说x是呈正态分布,正负比例应该是一样的。按照1维压缩列,就是把所有行相加,
#输出2*1,没有保持维度输出就是一个向量,且每一行和为1
"""定义模型"""
def net(X):
return softmax(torch.matmul(X.reshape((-1, W.shape[0])), W) + b)
#对于输入X,需要的是一个批量大小*输入维数的矩阵,reshape成2d的矩阵,-1表示自己
#算得的批量大小,W.shape[0]就是784,所以X被reshape成256*784的矩阵
#拿到一个所有的元素大于0,而且行和为1的输出矩阵
"""定义损失函数"""
#创建一个数据样本y_hat,其中包含2个样本在3个类别的预测概率, 以及它们对应的标签y
y = torch.tensor([0, 2])
#定义一个长度为2的向量,表示两个真实的标号,y=[0,2]的意思是第一个样本是类别0,
#第二个样本是类别2,对应于真是样本的数据的one_hot编码是[1,0,0]和[0,0,1]
y_hat = torch.tensor([[0.1, 0.3, 0.6], [0.3, 0.2, 0.5]])
#有3类,对两个样本作预测就是一个2*3的矩阵,[0.1, 0.3, 0.6]是第0样本的预测值
# [0.3, 0.2, 0.5]是第1样本的预测值
y_hat[[0, 1], y]
#对0号样本,拿出y0对应的元素,对于1号样本,拿出y1下标对应的输出。
#因为y0等于0,所以对于0号样本,拿到的是0号元素0.1,y1=2,所以拿到了0.5
#这个操作的意思就是,给我了一个预测值,然后我就去拿出真实标号(样本真实属于的那个类)
#那个类的预测值进一步理解:y_hat[[0, 1], y] 使用的行索引是 [0, 1],列索引是 y 即 [0, 2]。
#所以这个操作选择出的元素是 y_hat[0, 0] 和 y_hat[1, 2]
#实现交叉熵损失函数
def cross_entropy(y_hat, y):
return - torch.log(y_hat[range(len(y_hat)), y])
#对于每一行拿出来, len为2,
#使用one-hot编码,range(y_hat)是所有行,y是真实值所对应的列,这句话的意思就是锁定
#y轴在x轴上根据labels抽取预测值
cross_entropy(y_hat, y)
#结果输出:tensor([2.3026, 0.6931]),
#2.3026是样本0的损失,0.6931是样本1的损失
"""分类精度"""
#将预测类别与真实y元素进行比较
def accuracy(y_hat, y): #@save
"""计算预测正确的数量"""
if len(y_hat.shape) > 1 and y_hat.shape[1] > 1:
#len的长度反映了y_hat原本是一个几维的矩阵
#这里要求y_hat是一个矩阵,而且第1维的长度,也就是列数也要大于1
y_hat = y_hat.argmax(axis=1)
#将每一行中元素值最大的那个下标存到y_hat里面,每一行的含义是批量中的一个样本
#argmax是numpy中的一个函数,
#常用于在数组中查找最大值所在的位置。只需要将需要查找最大值所在位置的数组作为
#输入参数,即可获得最大值所在的索引。函数:numpy.argmax(array, axis)
#array:代表输入数组;在axis=0时,就是固定列,寻找最大的行的索引,指定axis=1
#就是固定行,返回列索引中的最大值。返回的会是一个一维的array。
#解释为什么要取最大值:分类问题,y_hat表示你真实对这个真实样本的不同类别的预测值
#所以取最大的预测值代表你再这个多分类问题中你的模型的决策
cmp = y_hat.type(y.dtype) == y
#cmp这是一个bool类型的tensor,因为 y_hat中存储的是每一行预测概率最大的列的索引,索引
#就等于10个类别中间的一个,所以把索引和真实的类别作比较看是否相等,如果相等,cmp就
#等于1就说明预测正确
return float(cmp.type(y.dtype).sum())
#把预测正确的样本次数加起来,z转成和y一样的形状,求和,再转成一个浮点数,将布尔
#张量转换成整形时,True转换为1,False转换为0
accuracy(y_hat, y) / len(y)
#结果输出:0.5
#整个函数的含义是:找出来预测正确的样本数,再除以y的长度,就是预测正确的概率
#因为每一行是一个样本,y_hat中存了很多行,同时输出很多行,每一行的维度为10(因为有10类,
#每一行是一个样本),如果预测正确了,cmp对应位置就成1了,所有样本检测正确后求和,除以
#所有的物体数目,得到正确率。accuracy(y_hat, y)返回的是预测正确的次数的总和,除以总的
#样本真实的类别数,就等于预测正确的概率
#我们可以评估在任意模型net的精度
def evaluate_accuracy(net, data_iter): #@save
"""计算在指定数据集上模型的精度"""
if isinstance(net, torch.nn.Module):
#isinstance()函数是python中的一个内置函数,作用:判断一个函数是否是一个已知类型,
#类似type()。语法:isinstance ( object , classinfo ), object:实例对象。classinfo:
#可以是直接或间接类名、基本类型或由它们组成的元组 如果对象的类型与参数二(classinfo)
#的类型相同返回true,否则false。isinstance() 与 type() 区别:type() 不会认为子类是
#一种父类类型,不考虑继承关系。isinstance() 会认为子类是一种父类类型,考虑继承关系。
#torch.nn是专门为神经网络设计的模块化接口,nn.Module是nn中十分重要的类
net.eval() # 将模型设置为评估模式
#作用是不计算梯度,只做一个forward path
#model.eval(),不启用 BatchNormalization 和 Dropout。此时pytorch会自动把BN和
#DropOut固定住,不会取平均,而是用训练好的值。不然的话,一旦test的batch_size过小,
#很容易就会因BN层导致模型performance损失较大。Dropout可以比较有效的缓解过拟合的
#发生,在一定程度上达到正则化的效果。过拟合具体表现在:模型在训练数据上损失函数
#较小,预测准确率较高;但是在测试数据上损失函数比较大,预测准确率较低。Dropout
#说的简单一点就是:我们在前向传播的时候,让某个神经元的激活值以一定的概率p停止
#工作,这样可以使模型泛化性更强,因为它不会太依赖某些局部的特征
metric = Accumulator(2) # 正确预测数、预测总数
#做一个累加器
#Accumulator类,Accumulator(2)的理解:倘若这里的n为2,则此时self.data以[0.0, 0.0]
#这样的列表展现出来
with torch.no_grad():
for X, y in data_iter:
metric.add(accuracy(net(X), y), y.numel())
#metric.add以是拿self.data的[0.0, 0.0]不断和[accuracy(net(X), y), y.numel()]
#在相同的位置作累加,metric的形状还是1*2的向量。accuracy(net(X), y)返回的
#是预测正确的次数的总和
return metric[0] / metric[1]
#返回的是分类正确的样本数除以总的样本数就拿到精度了。
class Accumulator: #@save
"""在n个变量上累加"""
def __init__(self, n):
self.data = [0.0] * n
#倘若这里的n为2,则此时self.data以[0.0, 0.0]这样的列表展现出来
def add(self, *args):
self.data = [a + float(b) for a, b in zip(self.data, args)]
#把self.data和args数组的对应位置上的数打包成一个,比如self.data = [1,2,3],
#args= [4,5,6],zip(self.data, args)=[(1, 4), (2, 5), (3, 6)],a分别等于1,2,3
#b分别等于4,5,6,再执行a + float(b),简单来说,就是将两个数组对应位置上的元素累加
def reset(self):
self.data = [0.0] * len(self.data)
def __getitem__(self, idx):
return self.data[idx]
evaluate_accuracy(net, test_iter)
#结果输出:0.0598
#随机出来的模型和测试迭代器的精度是0.0598,因为类别数是10,
"""训练"""
#softmax回归的训练
def train_epoch_ch3(net, train_iter, loss, updater): #@save
"""训练模型一个迭代周期(定义见第3章)"""
# 将模型设置为训练模式
if isinstance(net, torch.nn.Module):
net.train()
#将模型设置为训练模式:默认参数是Train。model.train()会启动drop 和 BN,但是
#model.train(False)不会。如果模型中有BN层(Batch Normalization)和Dropout,需要
#在训练时添加model.train(),在测试时添加model.eval()。其中model.train()是保证BN层
#用每一批数据的均值和方差,而model.eval()是保证BN用全部训练数据的均值和方差;
# 训练损失总和、训练准确度总和、样本数
metric = Accumulator(3)
#用长度为3的迭代器累加需要的信息
#metric=[0.0,0.0,0.0]
for X, y in train_iter:
#扫一遍数据
# 计算梯度并更新参数
y_hat = net(X)
#计算预测值,net(X)返回的是一个矩阵,其中每行是一个样本,列代表10个分类,
#y_hat中存储的是每个样本在10个类别中的预测概率
l = loss(y_hat, y)
#这里的loss是传入的损失函数,在调用该方法时传入cross_entropy
if isinstance(updater, torch.optim.Optimizer):
#updater是torch.optim.Optimizer
# 使用PyTorch内置的优化器和损失函数
updater.zero_grad()
#先把梯度设成0
l.mean().backward()
#计算梯度
updater.step()
#对参数进行自更新
else:
# 使用定制的优化器和损失函数
l.sum().backward()
#l的输出是一系列的向量分别代表每个样本的损失,因此求和算梯度
updater(X.shape[0])
#再根据批量大小,updater一下
metric.add(float(l.sum()), accuracy(y_hat, y), y.numel())
#记录总的损失,以及分类正确的个数,以及样本的和总数
# 返回训练损失和训练精度
return metric[0] / metric[2], metric[1] / metric[2]
#定义一个在动画中绘制数据的实用程序类
class Animator: #@save
"""在动画中绘制数据"""
def __init__(self, xlabel=None, ylabel=None, legend=None, xlim=None,
ylim=None, xscale='linear', yscale='linear',
fmts=('-', 'm--', 'g-.', 'r:'), nrows=1, ncols=1,
figsize=(3.5, 2.5)):
#构造方法,参数有x,y坐标轴。legend在图上标明一个图例,用于说明每条曲线的文字显示
#xlim显示的是x轴的作图范围,同时ylim显示的是y轴的作图范围。xscale,yscale的作用都是
#设置坐标轴的缩放类型。设置为‘linear’时,x轴是均匀分布的;设置为‘log’时,x轴比例
#尺逐渐增大。nrows=1, ncols=1,表示有1个画布,figsize表示画布大小
# 增量地绘制多条线
if legend is None:
legend = []
d2l.use_svg_display()
# SVG是一种无损格式,意味着它在压缩时不会丢失任何数据,可以呈现无限数量的颜色。
#d2l.use_svg_display() 意思是使用svg来显示图片,这样清晰度高一些。
self.fig, self.axes = d2l.plt.subplots(nrows, ncols, figsize=figsize)
#创建一个带有多个axes(坐标系/绘图区)的图,fig : 图对象。axes : 返回相应数量
#的坐标系
if nrows * ncols == 1:
#如果只有一个图
self.axes = [self.axes, ]
# 使用lambda函数捕获参数
self.config_axes = lambda: d2l.set_axes(
self.axes[0], xlabel, ylabel, xlim, ylim, xscale, yscale, legend)
self.X, self.Y, self.fmts = None, None, fmts
def add(self, x, y):
# 向图表中添加多个数据点
if not hasattr(y, "__len__"):
#hasattr()函数是Python内置函数之一,用于判断对象是否具有指定的属性或方法。
#它接受两个参数:对象和属性或方法的名称。函数返回一个布尔值,如果对象具有指定的
#属性或方法,则返回True,否则返回False。此处hasattr(y, "__len__")返回值为假
y = [y]
n = len(y)
if not hasattr(x, "__len__"):
x = [x] * n
#创建一个列表
if not self.X:
#self.X为假
self.X = [[] for _ in range(n)]
if not self.Y:
self.Y = [[] for _ in range(n)]
for i, (a, b) in enumerate(zip(x, y)):
if a is not None and b is not None:
self.X[i].append(a)
self.Y[i].append(b)
self.axes[0].cla()
for x, y, fmt in zip(self.X, self.Y, self.fmts):
self.axes[0].plot(x, y, fmt)
self.config_axes()
display.display(self.fig)
display.clear_output(wait=True)
#实现一个训练函数, 它会在train_iter访问到的训练数据集上训练一个模型net。 该训练函数
#将会运行多个迭代周期(由num_epochs指定)。 在每个迭代周期结束时,利用test_iter访问到
#的测试数据集对模型进行评估。 我们将利用Animator类来可视化训练进度。
def train_ch3(net, train_iter, test_iter, loss, num_epochs, updater): #@save
"""训练模型(定义见第3章)"""
animator = Animator(xlabel='epoch', xlim=[1, num_epochs], ylim=[0.3, 0.9],
legend=['train loss', 'train acc', 'test acc'])
for epoch in range(num_epochs):
train_metrics = train_epoch_ch3(net, train_iter, loss, updater)
#对整个数据扫一次更新模型
#train_epoch_ch3拿到的是训练的损失和训练的精度
test_acc = evaluate_accuracy(net, test_iter)
#在测试数据集test_iter上评估一下精度
#evaluate_accuracy返回的是分类正确的样本数除以总的样本数的测试的精度
animator.add(epoch + 1, train_metrics + (test_acc,))
#显示训练的误差,训练的精度,测试的误差,测试的精度
train_loss, train_acc = train_metrics
assert train_loss < 0.5, train_loss
assert train_acc <= 1 and train_acc > 0.7, train_acc
assert test_acc <= 1 and test_acc > 0.7, test_acc
#assert():断言函数,当表达式为真时,程序继续往下执行,只是判断,不做任何处理;
#当表达式为假时,抛出AssertionError错误,并将 [参数] 输出
#使用小批量随机梯度下降来优化模型的损失函数
lr = 0.1
def updater(batch_size):
return d2l.sgd([W, b], lr, batch_size)
num_epochs = 10
#训练10个迭代周期
train_ch3(net, train_iter, test_iter, cross_entropy, num_epochs, updater)
#结果输出:一张记录了损失和精度的图片
"""预测"""
def predict_ch3(net, test_iter, n=6): #@save
"""预测标签(定义见第3章)"""
for X, y in test_iter:
break
trues = d2l.get_fashion_mnist_labels(y)
#拿出真实标号
preds = d2l.get_fashion_mnist_labels(net(X).argmax(axis=1))
#拿出预测标号
titles = [true +'\n' + pred for true, pred in zip(trues, preds)]
d2l.show_images(
X[0:n].reshape((n, 28, 28)), 1, n, titles=titles[0:n])
predict_ch3(net, test_iter)
这是训练的结果。
现在训练已经完成,我们的模型已经准备好对图像进行分类预测。 给定一系列图像,我们将比较它们的实际标签(文本输出的第一行)和模型预测(文本输出的第二行)。
可以看出预测是比较准确的,全都分类正确了。
import torch
from torch import nn
from d2l import torch as d2l
batch_size = 256
#一批量大小为256张图片
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
"""初始化模型参数"""
#softmax回归的输出层是一个全连接层
# PyTorch不会隐式地调整输入的形状。因此,
# 我们在线性层前定义了展平层(flatten),来调整网络输入的形状
net = nn.Sequential(nn.Flatten(), nn.Linear(784, 10))
#nn.Flatten()把任何维度的tensor变成2d的tensor,其中第0维度保留,剩下的维度全部展成一个向量
#定义一个输入为784,输出为10的线性层,全连接层初始化nn.Linear(input_size, output_size),
#把这两个串在一起放进Sequential类构造器里面
def init_weights(m):
#m就是当前层
if type(m) == nn.Linear:
#如果m是一个线性层,线性连接层又叫全连接层,是通过矩阵的乘法将前一层的矩阵变换为
#下一层矩阵。W 被称为全连接层的权重weights,b 被称为全连接层的偏置bias
nn.init.normal_(m.weight, std=0.01)
#就把输入张量初始化成一个均值为0,标准差为0.01的随机值。
#torch.nn.init.normal_(tensor, mean=0, std=1),正态分布:从给定均值和标准差
#的正态分布N(mean, std)中生成值,填充输入的张量或变量。.weight:得到的是一个p
#arameter的变量,可以计算梯度的
net.apply(init_weights);
#按照每一层跑一下这个函数就可以完成初始化了
#net.apply(fn: Callable[[ForwardRef(‘Module’)], NoneType]) -> ~T
#model.apply(fn) 会递归地将函数 fn 应用到父模块的每个子模块以及model这个父模块自身。
#通常用于初始化模型的参数。
"""重新审视Softmax的实现"""
loss = nn.CrossEntropyLoss(reduction='none')
#nn.CrossEntropyLoss(weight=None,size_average=None,ignore_index=-100,
#reduce=None,reduction='mean')
#reduction='none'表示逐个样本计算Loss,有多少个独立样本,就返回多少个Loss
"""优化算法"""
#使用学习率为0.1的小批量随机梯度下降作为优化算法
trainer = torch.optim.SGD(net.parameters(), lr=0.1)
#torch.optim.SGD(params,lr=, momentum=0, dampening=0,
#weight_decay=0, nesterov=False)。
"""训练"""
num_epochs = 10
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)
"""
def train_ch3(net, train_iter, test_iter, loss, num_epochs, updater): #@save
"""训练模型(定义见第3章)"""
animator = Animator(xlabel='epoch', xlim=[1, num_epochs], ylim=[0.3, 0.9],
legend=['train loss', 'train acc', 'test acc'])
for epoch in range(num_epochs):
train_metrics = train_epoch_ch3(net, train_iter, loss, updater)
test_acc = evaluate_accuracy(net, test_iter)
animator.add(epoch + 1, train_metrics + (test_acc,))
train_loss, train_acc = train_metrics
assert train_loss < 0.5, train_loss
assert train_acc <= 1 and train_acc > 0.7, train_acc
assert test_acc <= 1 and test_acc > 0.7, test_acc
"""
#在从0实现softmax定义的训练函数
这是简洁版输出的结果,和以前一样,这个算法使结果收敛到一个相当高的精度,而且这次的代码比之前更精简了。
语法:nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean')
SGD
是最基础的优化方法,普通的训练方法, 需要重复不断的把整套数据放入神经网络NN
中训练, 这样消耗的计算资源会很大.当我们使用SGD
会把数据拆分后再分批不断放入 NN
中计算. 每次使用批数据, 虽然不能反映整体数据的情况, 不过却很大程度上加速了NN
的训练过程, 而且也不会丢失太多准确率.
3.直播问答
问题1:softlabel选练策略以及为什么有效
答:用1位有效来表示标号,就是说有一串向量,其中只有一位为1,其他的都为0。用softmax去逼近全0,全1的分布。问题是很难用指数去逼近1,因为要指数变成1要求你的输出几乎接近无穷大,而剩下的都很小。所以很难用softmax去逼近0、1极端的数值。提出的方案就是,如果你是正确的类,就记成0.9,剩下的不正确的类就是0.1/(1/n),这就是softlabel,好处就是用softmax去你和0.9和很小的数是有可能的,是图片分类的一个小技巧。
问题2:softmax回归和logistic回归分析是一样的吗,如果不一样,有那些地方不同?
答:可以认为是一样的,logistic回归可以认为只有两类的时候用softmax,等于输出只有两个一个+1,一个-1,logistic是一个二分类的问题,只要输出一个类的预测,那么另一个类就等于1-已知类的预测概率。但是softmax加起来是等于1的,
问题3同问题2
问题4:为什么用交叉熵,不用相对熵,互信息扽等其他基于信息量的度量?
答:相对熵比较的是两个概率之间的区别,他比交叉熵的好处是他是一个对称的关系,I(p,q)=I(q,p)。没有特别大的原因不用。互信息不好算。我们只关心两个分布之间的距离。
问题5:
答:不是不关心不正确的类,是因为独热码编码把剩下类的概率变成0了,所以就可以忽略掉不正确的类。
问题8同问题9:
答:最小化损失等价于最大化似然函数,似然函数就是说有一个模型,给定数据的情况下,模型(就是所谓的权重)出现的概率有多大。我们要找到一个模型,使得给定的数据出现的概率是最大的,最合理的解释。
问题10:
答:对w作更新的时候需要两项,一项是学习率,一项是负的梯度方向。假设学习率是固定的情况下,不同的损失函数会导致算梯度的那个值发生变化,诗的每次走的步伐会有点不一样。
问题13:
答:是并行的,如果num_workers设置为4的话,在后端开4个python的进程来做分析
(后面还有很多问题我就没有看了)
参考:
torch.nn.Module模块简单介绍-CSDN博客
李沐的深度学习Accumulator怎么理解_python accumulator-CSDN博客
动手学深度学习Accumulator类_metric = accumulator(2)-CSDN博客
https://www.cnblogs.com/Henry-ZHAO/p/13230320.html
PyTorch6:nn.Linear&常用激活函数-腾讯云开发者社区-腾讯云
【pytorch】交叉熵损失函数 nn.CrossEntropyLoss()-CSDN博客【学习笔记】Pytorch深度学习—损失函数(一)_pytorch 损失函数 图像-CSDN博客【pytorch】交叉熵损失函数 nn.CrossEntropyLoss()-CSDN博客
pytorch优化器详解:SGD_pytorch sgd-CSDN博客
torch.optim.SGD-CSDN博客