《动手学深度学习第9页

动手学深度学习—卷积神经网络LeNet（代码详解）

1.LeNetLeNet由两个部分组成：卷积编码器：由两个卷积层组成；全连接层密集块：由三个全连接层组成。每个卷积块中的基本单元是一个卷积层、一个sigmoid激活函数和平均汇聚层；每个卷积层使用5×5卷积核和一个sigmoid激活函数；这些层将输入映射到多个二维特征输出，通常同时增加通道的数量；每个4×4池操作（步幅2）通过空间下采样将维数减少4倍。importtorchfromtorchimp

緈福的街口·2023-08-16 13:48

李沐动手学深度学习：softmax回归的从零开始实现

importtorchfromIPythonimportdisplayfromd2limporttorchasd2lbatach_size=256train_iter,test_iter=d2l.load_data_fashion_mnist(batach_size)num_input=784#图片的尺寸：28*28num_output=10#10个类别W=torch.normal(0,0.01,

一个小猴子｀·2023-08-16 12:02

[动手学深度学习-PyTorch版]-3.15深度学习基础-数值稳定性和模型初始化

3.15数值稳定性和模型初始化理解了正向传播与反向传播以后，我们来讨论一下深度学习模型的数值稳定性问题以及模型参数的初始化方法。深度模型有关数值稳定性的典型问题是衰减（vanishing）和爆炸（explosion）。3.15.1衰减和爆炸image.png随着内容的不断深入，我们会在后面的章节进一步介绍深度学习的数值稳定性问题以及解决方法。3.15.2随机初始化模型参数在神经网络中，通常需要随机

蒸饺与白茶·2023-08-15 10:46

六动手学深度学习v2 ——权重衰退+dropout

1.权重衰退最常见的用来处理过拟合的方法使用均方范数作为硬性限制使用均方范数作为软性限制总结：正则化是处理过拟合的常用方法：在训练集的损失函数中加入惩罚项，以降低学习到的模型的复杂度。保持模型简单的一个特别的选择是使用L2惩罚的权重衰减。这会导致学习算法更新步骤中的权重衰减。权重衰减功能在深度学习框架的优化器中提供。在同一训练代码实现中，不同的参数集可以有不同的更新行为。2.dropoutdrop

王二小、·2023-08-14 18:32

四动手学深度学习v2 —— 感知机多层感知机

感知机多层感知机多层感知机的从零开始实现多层感知机的简洁实现感知机：https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_12.pdf多层感知机：https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_13.pdf

王二小、·2023-08-14 18:01

五动手学深度学习v2 —— 模型选择+欠拟合和过拟合

模型选择欠拟合和过拟合4.4.2.2.K折交叉验证当训练数据稀缺时，我们甚至可能无法提供足够的数据来构成一个合适的验证集。这个问题的一个流行的解决方案是采用K折交叉验证。这里，原始训练数据被分成K个不重叠的子集。然后执行K次模型训练和验证，每次在K−1个子集上进行训练，并在剩余的一个子集（在该轮中没有用于训练的子集）上进行验证。最后，通过对K次实验的结果取平均来估计训练和验证误差。4.4.3.欠拟

王二小、·2023-08-14 18:01

七动手学深度学习v2 ——数值稳定性+模型初始化和激活函数

1.数值稳定性2.如何让训练更加稳定目标：让梯度值在合理的范围内方法：将乘法变成加法ResNetLSTM归一化梯度归一化梯度裁剪合理的权重初始和激活函数

王二小、·2023-08-14 18:30

多尺度目标检测【动手学深度学习】

在上篇博客《锚框【目标检测】》中，我们以输入图像的每个像素为中心，生成多个锚框。基本而言，这些锚框代表了图像不同区域的样本。然而如果以每个像素都生成的锚框，最后可能会得到太多需要计算的锚框。想象一个561×728的输入图像，如果以每个像素为中心生成五个形状不同的锚框，就需要在图像上标记和预测超过200万个锚框（561×728×5）。多尺度锚框减少图像上的锚框数量并不困难，比如可以在输入图像中均匀采

东城青年·2023-08-12 12:08

人邮异步社区·2023-08-11 21:22

动手学深度学习（三）线性神经网络—softmax回归

分类任务是对离散变量预测，通过比较分类的概率来判断预测的结果。softmax回归和线性回归一样也是将输入特征与权重做线性叠加，但是softmax回归的输出值个数等于标签中的类别数，这样就可以用于预测分类问题。分类问题和线性回归的区别：分类任务通常有多个输出，作为不同类别的置信度。一、softmax回归1.1网络架构为了解决线性模型的分类问题，我们需要和输出一样多的仿射函数，每个输出对应它自己的仿射

向岸看·2023-08-11 10:27

[Pytorch]＜动手学深度学习＞pytorch笔记-----预备知识

原书籍地址:https://raw.githubusercontent.com/OUCMachineLearning/OUCML/master/BOOK/Dive-into-DL-PyTorch.pdfPytorch版出处:Dive-into-DL-PyTorch1.创建Tensor首先导入torch包importtorch1.创建大小为5x3的未初始化的Tensor并输出x=torch.empt

End1esz·2023-08-10 01:35

【动手学深度学习v2李沐】学习笔记08：丢弃法

前文回顾：权重衰退、正则化文章目录一、丢弃法1.1动机1.2无偏差的加入噪音1.3使用丢弃法1.3.1训练中1.3.2预测中1.4总结二、代码实现2.1从零开始的实现2.1.1Dropout2.1.2定义模型2.1.3训练和测试2.2简洁实现2.2.1定义模型与Dropout2.2.2训练和测试一、丢弃法1.1动机一个好的模型需要对输入数据的扰动鲁棒。使用有噪音的数据等价于Tikhonov正则。丢

鱼儿听雨眠·2023-08-09 09:43

《动手学深度学习+PyTorch》3.9多层感知机（MLP）从零开始实现学习笔记

文章目录前言一、引入库二、步骤1.读取数据2.参数设置2.激活函数3.损失函数4.训练模型总结前言我们已经学习了包括线性回归和softmax回归在内的单层神经网络。然而深度学习主要关注多层模型。本次，我们将完成一个简单的多层感知机（multilayerperceptron，MLP）。一、引入库importtorchimportnumpyasnpimportsyssys.path.append(".

稚晖君的小弟·2023-08-09 09:12

[动手学深度学习-PyTorch版]-3.12深度学习基础-权重衰减

3.12权重衰减上一节中我们观察了过拟合现象，即模型的训练误差远小于它在测试集上的误差。虽然增大训练数据集可能会减轻过拟合，但是获取额外的训练数据往往代价高昂。本节介绍应对过拟合问题的常用方法：权重衰减（weightdecay）。3.12.1方法image.png3.12.2高维线性回归实验image.png%matplotlibinlineimporttorchimporttorch.nnasn

蒸饺与白茶·2023-08-08 22:14

《动手学深度学习》优化算法学习&习题

优化算法梯度下降类小批量随机梯度下降，通过平均梯度来减小方差动量法基础泄露平均法：用来取代梯度的计算β\betaβ这个参数控制了取多久时间的平均值上述推理构成了”加速”梯度方法的基础，例如具有动量的梯度。在优化问题条件不佳的情况下（例如，有些方向的进展比其他方向慢得多，类似狭窄的峡谷）”加速”梯度还额外享受更有效的好处。此外，它们允许我们对随后的梯度计算平均值，以获得更稳定的下降方向。诚然，即使是

银晗·2023-08-08 12:57

《动手学深度学习（PYTORCH版）》第3章导入torchvision后，报错无法定位程序输入点

在下载项目需要的torchvision后，在Pycharm上运行下面这段代码，总是会报上面这个错误，根据报错的提示，我猜测应该是torchvision出了问题：importtorchfromtorchimportnnfromtorch.nnimportinitimportnumpyasnpimportsyssys.path.append("..")importd2lzh_pytorchasd2lp

G_Sofia·2023-08-06 10:52

D2L学习记录-10-词嵌入word2vec

NLP-1-词嵌入(word2vec)参考:《动手学深度学习Pytorch第1版》第10章自然语言处理第1、2、3和4节(词嵌入)词嵌入(word2vec)：词向量：自然语言中，词是表义的基本单元。

@ZyuanZhang·2023-08-05 22:37

动手学深度学习（二）线性神经网络

向岸看·2023-08-05 11:46

动手学深度学习—卷积神经网络（原理解释+代码详解）

目录1.从全连接层到卷积层2.图像卷积2.1互相关运算2.2卷积层2.3图像中目标的边缘检测2.4学习卷积核2.5特征映射和感受野3.填充和步幅3.1填充3.2步幅4.多输入多输出通道4.1多输入通道4.2多输出通道4.31×1卷积核5.汇聚层5.1最大汇聚层和平均汇聚层5.2填充和步幅5.3多个通道1.从全连接层到卷积层多层感知机对图像处理是百万维度，模型不可实现。如果要在图片中找到某个物体，寻

緈福的街口·2023-08-05 02:27

动手学深度学习pytorch（第一天、第二天）

1.线性回归线性回归输出是⼀个连续值，因此适⽤用于回归问题。基本要素①模型定义②模型训练(1)训练数据：在机器器学习术语⾥里里，该数据集被称为训练数据集(trainingdataset)或训练集(trainingset)，⼀一栋房屋被称为⼀一个样本(sample)，其真实售出价格叫作标签(label)，⽤用来预测标签的两个因素叫作特征(feature)。特征⽤用来表征样本的特点。(2)损失函数：平

我叫涂涂可我的耳朵不大肿么办·2023-08-04 04:01

动手学深度学习（一）预备知识

目录一、数据操作1.N维数组样例2.访问元素3.基础函数（1）创建一个行向量（2）通过张量的shape属性来访问张量的形状和元素总数（3）reshape()函数（4）创建全0、全1、其他常量或从特定分布中随机采样的数字组成的张量（5）标准运算（张量间的标准运算，都是按元素运算）（6）拼接函数cat（7）求和函数sum（8）矩阵的转置（9）复制张量（10）点积，矩阵-向量积和矩阵乘法（11）范数4.

向岸看·2023-08-02 17:03

动手学深度学习 PyTorch版_个人笔记

day01b站：https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358497教材：https://zh-v2.d2l.ai/chapter_preface/index.html#sec-code代码注解：https://blog.csdn.net/shakalakaphd/category_10318255_2.html

nmslnmsl_n·2023-08-02 08:22

《动手学深度学习 v2》之预备、线性NN、多层感知机、深度学习计算

1.配置环境(AutoDl)https://mp.csdn.net/mp_blog/creation/editor/new/1286881852.预备知识2.1.数据操作importtorchprint(torch.__version__)#1.2.0#2.1.1入门x=torch.arange(12)print(x)print(x.shape)print(x.numel())#元素总数X=x.r

常某某的好奇心·2023-08-02 03:04

pytorch李沐动手学深度学习（三、深度学习计算）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、层和块自定义块顺序块在前向传播函数中执行代码二、参数管理参数访问目标参数一次性访问所有参数从嵌套块收集参数参数初始化自定义初始化参数绑定自定义层读写模型文件GPU一、层和块net=nn.Sequential(nn.Linear(20,256),nn.ReLU(),nn.Linear(256,10))自定义块classMLP

小火龙借个火·2023-08-01 21:26

【动手学深度学习PyTorch版】10 PyTorch 神经网络基础

上一篇移步【动手学深度学习PyTorch版】9Kaggle房价预测_水w的博客-CSDN博客目录一、PyTorch神经网络基础1.1层和块◼层和块◼自定义块◼顺序块◼正向传播◼混合组合块1.2参数管理◼

水w·2023-08-01 21:55

动手学深度学习——实战Kaggle比赛：预测房价（代码详解+调参优化）

目录1.下载和缓存数据集2.Kaggle3.访问和读取数据集4.数据预处理5.训练6.K折交叉验证7.模型选择8.提交Kaggle预测9.调参优化1.下载和缓存数据集数据集百度云：链接：https://pan.baidu.com/s/14CVZBjmlKA_c3MYNFLSvbg?pwd=pysi提取码：pysi1、导入包#导入所需要的包importhashlibimportosimporttar

緈福的街口·2023-08-01 21:24

《动手学深度学习》第四章深度学习计算

目录小tips4.1模型构造4.2模型参数的访问初始化和共享4.3模型参数的延后初始化4.4自定义层4.5读取和存储4.6GPU计算小tipsenumerate()函数，迭代器函数，生成由每个元素索引值和元素组成的元组。列表操作，append函数，在列表末尾添加新的对象，extend函数，用于在列表末尾一次性追加另一个序列中的多个值。列表索引[-1]明确比如一个列表或者字符串长度是51，正向索引索

小栗子pola·2023-08-01 21:23

动手学深度学习—深度学习计算（层和块、参数管理、自定义层和读写文件）

目录1.层和块1.1自定义块1.2顺序块1.3在前向传播函数中执行代码2.参数管理2.1参数访问2.1.1目标参数2.1.2一次性访问所有参数2.1.3从嵌套块收集参数2.2参数初始化2.2.1内置初始化2.2.2自定义初始化2.3参数绑定3.自定义层3.1不带参数的层3.2带参数的层4.读写文件4.1加载和保存张量4.2加载和保存模型参数5.GPU1.层和块块可以描述单个层、由多个层组成的组件或

緈福的街口·2023-08-01 21:22

[动手学深度学习-PyTorch版]-3.14深度学习基础-正向传播、反向传播和计算图

3.14正向传播、反向传播和计算图前面几节里我们使用了小批量随机梯度下降的优化算法来训练模型。在实现中，我们只提供了模型的正向传播（forwardpropagation）的计算，即对输入计算模型输出，然后通过autograd模块来调用系统自动生成的backward函数计算梯度。基于反向传播（back-propagation）算法的自动求梯度极大简化了深度学习模型训练算法的实现。本节我们将使用数学和

蒸饺与白茶·2023-08-01 06:42

[学习笔记]动手学深度学习v2

文章目录资料本地安装4.数据操作+数据预处理4.1数据操作实现4.2数据预处理4.3数据操作QA5.线性代数5.2线性代数实现7.自动求导8.线性回归8.2基础优化算法8.3线性回归的从零开始实现8.4线性回归的简洁实现8.5线性回归QA9.Softmax回归9.1Softmax回归9.2图片分类数据集9.3Softmax回归从零开始实现9.4Softmax回归简洁实现9.5QA10.多层感知机1

N刻后告诉你·2023-07-30 16:15

【动手学深度学习v2】学习笔记03：线性回归、基础优化算法、线性回归实现

前文回顾：线性代数、矩阵计算、自动求导文章目录一、线性回归1.1线性模型1.2流程1.2.1损失函数1.2.2训练数据1.2.3参数学习1.2.4显式解1.3总结二、基础优化算法2.1梯度下降2.2小批量随机梯度下降2.3总结三、线性回归的从零开始实现3.1导入的库3.2数据集3.2.1构造数据集3.2.2展示数据集3.3从零开始实现3.3.1生成小批量3.3.2模型和初始化模型参数3.3.3定义

鱼儿听雨眠·2023-07-30 16:45

一动手学深度学习v2笔记 —— 深度学习介绍及数据操作预处理

第一天动手学深度学习v2——深度学习介绍及数据操作预告01课程安排目标内容02深度学习介绍03安装04数据操作+数据预处理一、数据操作二、数据操作实现三、数据预处理实现目录:预告课程安排深度学习介绍安装数据操作数据预处理预告教材

王二小、·2023-07-30 16:15

【动手学深度学习v2】1-1 手动实现线性回归

这个是跟随沐神学习深度学习的系列笔记，自己手写后对代码做了比较详细的注释（自己的理解）。本篇文章所对应的内容可跳转线性回归从0开始实现。#加载所需要的包%matplotlibinlineimportrandomimporttorchfromd2limporttorchasd2l1.生成数据集#genrateourdatadefgen_data(w,b,n_samples):#genrateX:fr

Shelley9102·2023-07-30 16:14

动手学深度学习v2笔记 —— 线性回归 + 基础优化算法

二动手学深度学习v2——线性回归+基础优化算法目录:线性回归基础优化方法1.线性回归总结线性回归是对n维输入的加权，外加偏差使用平方损失来衡量预测值和真实值的差异线性回归有显示解线性回归可以看作是单层神经网络

王二小、·2023-07-30 16:43

[动手学深度学习-PyTorch版]-5.12卷积神经网络-稠密连接网络（DenseNet）

5.12稠密连接网络（DenseNet）ResNet中的跨层连接设计引申出了数个后续工作。本节我们介绍其中的一个：稠密连接网络（DenseNet）[1]。它与ResNet的主要区别如图5.10所示。图5.10ResNet（左）与DenseNet（右）在跨层连接上的主要区别：使用相加和使用连结image.pngDenseNet的主要构建模块是稠密块（denseblock）和过渡层（transitio

蒸饺与白茶·2023-07-30 08:21

动手学深度学习(三) 多层感知机

多层感知机多层感知机的基本知识使用多层感知机图像分类的从零开始的实现使用pytorch的简洁实现多层感知机的基本知识深度学习主要关注多层模型。在这里，我们将以多层感知机（multilayerperceptron，MLP）为例，介绍多层神经网络的概念。隐藏层下图展示了一个多层感知机的神经网络图，它含有一个隐藏层，该层中有5个隐藏单元。ImageName表达公式具体来说，给定一个小批量样本，其批量大小

致Great·2023-07-29 23:34

[动手学深度学习-PyTorch版]-5.10卷积神经网络-批量归一化

5.10批量归一化本节我们介绍批量归一化（batchnormalization）层，它能让较深的神经网络的训练变得更加容易[1]。在3.16节（实战Kaggle比赛：预测房价）里，我们对输入数据做了标准化处理：处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近：这往往更容易训练出有效的模型。通常来说，数据标准化预处理对于浅层模型就足够有效了。随着

蒸饺与白茶·2023-07-29 20:07

《动手学深度学习》——2.6概率(模拟掷色子代码解析)

文章目录完整代码代码解析结果展示完整代码%matplotlibinline!pipinstalld2limporttorchfromtorch.distributionsimportmultinomialfromd2limporttorchasd2lfair_probs=torch.ones([6])/6counts=multinomial.Multinomial(10,fair_probs).s

FeatherWaves·2023-07-26 14:27

《动手学深度学习》——第二章习题及自写答案

文章目录2.1数据操作练习1练习22.2数据预处理练习1练习22.3线性代数练习1练习2练习3练习4练习5练习6练习7练习82.4微积分练习1练习2练习3练习42.5自动微分练习1练习2练习3练习4练习52.6概率练习1练习2练习2练习22.1数据操作练习1运⾏本节中的代码。将本节中的条件语句X==YX==YX==Y更改为XYX>YX>Y，然后看看你可以得到什么样的张量。练习2用其他形状（例如三维

FeatherWaves·2023-07-26 14:27

动手学深度学习——实战Kaggle比赛：预测房价

导入包，建立字典DATA_HUB包含数据集的url和验证文件完整性的sha-1密钥。定义download()函数用来下载数据集，将数据集缓存在本地目录（默认情况下为…/data）中，并返回下载文件的名称。定义download_extract()函数下载并解压缩一个zip或tar文件，定义download_all()将所有数据集从DATA_HUB下载到缓存目录中。进行数据标准化得到all_featu

緈福的街口·2023-07-26 03:30

线性神经网路——线性回归随笔【深度学习】【PyTorch】【d2l】

d2l库是《动手学深度学习》(DiveintoDeepLea

来杯Sherry·2023-07-25 11:13

【动手学深度学习】Task03

过拟合、欠拟合及其解决方案模型选择、过拟合和欠拟合模型选择.jpg模型泛化性.jpg权重衰减基本概念权重衰减等价于范数正则化（regularization）。以线性回归中的线性回归损失函数为例其中是权重参数，是偏差参数，样本的输入为，标签为，样本数为。将权重参数用向量表示，带有范数惩罚项的新损失函数为其中超参数。有了范数惩罚项后，在小批量随机梯度下降中，线性回归中权重和的迭代方式更改为可见，范数正

逍遥客小老虎·2023-07-25 06:21

10、动手学深度学习——文本预处理：代码详解

1、文本预处理一篇文章可以被简单地看作一串单词序列，甚至是一串字符序列。本节中，我们将解析文本的常见预处理步骤。这些步骤通常包括：将文本作为字符串加载到内存中。将字符串拆分为词元（如单词和字符）。建立一个词表，将拆分的词元映射到数字索引。将文本转换为数字索引序列，方便模型操作。importcollectionsimportrefromd2limporttorchasd2l2、读取数据集首先，我们从

辰阳星宇·2023-07-24 21:54

8、动手学深度学习——现代卷积神经网络：AlexNet

1、学习表征在2012年前，图像特征都是机械地计算出来的。事实上，设计一套新的特征函数、改进结果，并撰写论文是盛极一时的潮流另一组研究人员，包括YannLeCun、GeoffHinton、YoshuaBengio、AndrewNg、ShunichiAmari和JuergenSchmidhuber，想法则与众不同：他们认为特征本身应该被学习。此外，他们还认为，在合理地复杂性前提下，特征应该由多个共同

辰阳星宇·2023-07-24 21:24

9、动手学深度学习——使用块的网络（VGG）

1、VGG块虽然AlexNet证明深层神经网络卓有成效，但它没有提供一个通用的模板来指导后续的研究人员设计新的网络。在下面的几个章节中，我们将介绍一些常用于设计深层神经网络的启发式概念。与芯片设计中工程师从放置晶体管到逻辑元件再到逻辑块的过程类似，神经网络架构的设计也逐渐变得更加抽象。研究人员开始从单个神经元的角度思考问题，发展到整个层，现在又转向块，重复层的模式。使用块的想法首先出现在牛津大学的

辰阳星宇·2023-07-24 21:24

7、动手学深度学习——卷积神经网络：基础部件+LeNet

辰阳星宇·2023-07-24 21:23

12、动手学深度学习——循环神经网络从零实现+Pytorch内置函数实现：代码详解

1、基础知识参考文章：8.4.循环神经网络2、从零开始实现本节将上述描述，从头开始基于循环神经网络实现字符级语言模型。这样的模型将在H.G.Wells的时光机器数据集上训练。首先，我们先读取数据集。%matplotlibinlineimportmathimporttorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limportto

辰阳星宇·2023-07-24 21:48

Pytorch中的多项分布multinomial.Multinomial().sample()解析

在读《动手学深度学习Pytorch》，疑惑于：fair_probs=torch.ones([6])/6multinomial.Multinomial(1,fair_probs).sample()故有此篇文章

Hoper.J·2023-07-24 16:46

【动手学深度学习】--12.深度卷积神经网络AlexNet

文章目录深度卷积神经网络AlexNet1.AlexNet2.模型设计3.激活函数4.模型实现5.读取数据集6.训练AlexNet深度卷积神经网络AlexNet学习视频：深度卷积神经网络AlexNet【动手学深度学习

小d<>·2023-07-24 13:27

【动手学深度学习】--17.残差网络 ResNet

文章目录残差网络ResNet1.函数类2.残差块3.RestNet模型4.训练模型残差网络ResNet学习视频：残差网络ResNet【动手学深度学习v2】官方笔记：残差网络（ResNet）1.函数类针对这一问题

小d<>·2023-07-24 09:16

推荐频道

《动手学深度学习