动手学深度学习第15页

动手学深度学习第二章练习（Pytorch版）

记录一下学习《动手学深度学习》的过程中完成的课后练习以及自己整理的课程相关知识点，部分内容有参考课程讨论区和网上一些大佬的解答。如有错误欢迎指教！

看星星的花栗鼠·2023-01-17 09:29

动手学深度学习（第二版）注释后代码【持续更新】

文章目录前言预备知识线性神经网络线性回归从零实现线性回归简洁实现softmax从零实现softmax简洁实现前言动手学深度学习的代码中用到一些python的特性，但是并没有解释，而且一些torch库函数也并没有做解释

亦梦亦醒乐逍遥·2023-01-17 09:29

《动手学深度学习》第二章——预备知识_2.2数据预处理_学习思考与习题答案

文章目录2.2数据预处理习题解答过程读取数据集处理缺失值转换为张量格式2.2数据预处理作者github链接：github链接习题创建包含更多行和列的原始数据集。删除缺失值最多的列。将预处理后的数据集转换为张量格式。解答过程为了能用深度学习来解决现实世界的问题，我们经常从预处理原始数据开始，而不是从那些准备好的张量格式数据开始。在Python中常用的数据分析工具中，我们通常使用pandas软件包。像

coder_sure·2023-01-17 09:58

【动手学深度学习】 2预备知识

李沫《动手学习深度学习》课程学习需要预备的知识原因重点线性代数处理表格数据矩阵运算微积分决定以何种方式调整参数损失函数（lossfunction）——衡量“模型有多糟糕”这个问题的分数梯度（gradient）——连结一个多元函数对其所有变量的偏导数，简单理解就是求导概率在不确定的情况下进行严格的推断目录2.1.数据操作——张量2.1.1.入门2.1.2.运算符2.1.3.广播机制2.1.4.索引和

sumshine_·2023-01-17 09:56

《动手学深度学习》课后习题3

《动手学深度学习》学习网址：参考资料《动手学深度学习》中文版官网教材：PyTorch中文文档：部分PyTorch代码来自GitHub开源仓库：《动手学》：批量归一化和残差网络nn.BatchNorm2d

极客阿宝·2023-01-17 09:55

李沐——动手学深度学习课后练习calculus

1.6练习绘制函数=()=3−1y=f(x)=x3−1x和其在=1x=1处切线的图像。求函数()=321+52f(x)=3x12+5ex2的梯度。函数()=‖‖2f(x)=‖x‖2的梯度是什么？你可以写出函数=(,,)u=f(x,y,z)，其中=(,)x=x(a,b)，=(,)y=y(a,b)，=(,)z=z(a,b)的链式法则吗?1.x=np.arange(0.9,1.2,0.1)defg(x)

Alphable·2023-01-17 09:23

《动手学深度学习》参考答案(第二版)-第二章

最近在学习《动手学深度学习》，结合百度和课后的大家的讨论(侵删)，整理出这一份可能并不完全正确的参考答案(菜鸡的做题记录)，因为个人水平有限，有错误的地方欢迎在公众号联系我，后面我对错误进行更正时候

平平无奇小扑街·2023-01-17 09:51

线性回归pytorch实现笔记

线性回归pytorch实现笔记实例一【用Pytorch实现一个简单的线性回归】实例三【线性回归的从零开始实现】本周首先学的是《动手学深度学习(pytorch版)》里面的线性回归的实现，但是有些东西看不懂

Far_Rainbow·2023-01-17 07:52

动手学深度学习Pytorch（一）——数据操作与预处理

文章目录1.数据操作的实现1.1创建张量1.2张量的属性1.3张量的操作1.4节省内存2.数据预处理参考资料张量（tensor）比Numpy的ndarray多一些重要功能。张量表示一个数组组成的数组。（1）GPU很好地支持加速计算，而Numpy仅支持CPU计算。（2）张量类支持自动微分。1.数据操作的实现首先需要导入torch：importtorch1.1创建张量有四种方式可以创建张量。创建随机张

冠long馨·2023-01-17 07:21

李沐动手学深度学习V2-深度循环神经网络和代码实现

一.深度循环神经网络1.介绍与多层感知机一样，循环神经网络也可以将多层循环神经网络堆叠在一起，通过对几个简单层的组合，产生了一个灵活的机制。特别是，数据可能与不同层的堆叠有关。下图所示描述了一个具有个隐藏层的深度循环神经网络，每个隐状态都连续地传递到当前层的下一个时间步输入和当前层下一层的当前时间步输入。2.函数依赖关系假设在时间步ttt有一个小批量的输入数据Xt∈Rn×d\mathbf{X}_t

cv_lhp·2023-01-17 07:19

李沐动手学深度学习V2-语义分割和Pascal VOC2012数据集加载代码实现

一.语义分割和数据集1.介绍目标检测问题中使用方形边界框来标注和预测图像中的目标，而语义分割（semanticsegmentation）问题，重点关注于如何将图像分割成属于不同语义类别的区域。与目标检测不同，语义分割可以识别并理解图像中每一个像素的内容：其语义区域的标注和预测是像素级的。如下图所示展示了语义分割中图像有关狗、猫和背景的标签，与目标检测相比，语义分割标注的像素级的边框显然更加精细。2

cv_lhp·2023-01-17 07:49

1李沐动手学深度学习v2/数据预处理

#创建数据集并存储到csv文件中importosos.makedirs(os.path.join('..','data'),exist_ok=True)data_file=os.path.join('..','data','house_tiny.csv')withopen(data_file,'w')asf:#列名f.write('NumRooms,Alley,Price\n')#数据，NA表示未

xcrj·2023-01-17 07:48

【李沐-动手学深度学习v2】04数据操作+数据预处理

1、数据操作#查看pytorch中的所有函数名或属性名importtorchprint(dir(torch.distributions))print('1.张量的创建')#ones函数创建一个具有指定形状的新张量，并将所有元素值设置为1t=torch.ones(4)print('t:',t)运行结果：x=torch.arange(12)print('x:',x)print('xshape:',x.

杳杳捞到月亮了吗·2023-01-17 07:43

动手学深度学习需要的环境遇到的小问题

可能因为我没有按照书上的顺序下载库，导致d2l和mxnet所需的numpy等库的版本矛盾解决如下：先下载好d2lpipinstalld2l==0.17.5GetStarted|ApacheMXNet利用官网下载好mxnetpipinstallmxnet==1.3.1希望可以帮到你

白衣纵马·2023-01-16 12:27

【动手学深度学习v2李沐】学习笔记04：Softmax回归、损失函数、图片分类数据集、详细代码实现

前文回顾：线性回归、基础优化算法、线性回归实现文章目录一、Softmax回归1.1多类分类1.1.1回归vs分类1.1.2均方损失1.2校验比例1.3Softmax和交叉熵损失1.4总结二、损失函数2.1均方损失L2Loss2.2绝对值损失L1Loss2.3哈珀鲁棒损失Huber'sRobustLoss三、图片分类数据集3.1获取数据集3.2查看数据集3.3读取小批量数据3.4封装四、Softma

鱼儿听雨眠·2023-01-16 09:03

09 Softmax 回归 + 损失函数 + 图片分类数据集【动手学深度学习v2】

分类问题分类问题只关心对正确类的预测梯度下降理解https://zhuanlan.zhihu.com/p/335191534（强推）图像分类数据集importmatplotlib.pyplotaspltimporttorchimporttorchvisionfromtorch.utilsimportdatafromtorchvisionimporttransformsfromd2limportto

sueong·2023-01-16 09:02

09 Softmax回归+损失函数+图片分类数据集 [动手学深度学习v2]

Huber’sRobustLossl(y,y′)={∣y−y′∣−12if∣y−y′∣>112(y−y′)2otherwisel\left(y,y^{\prime}\right)=\begin{cases}\left|y-y^{\prime}\right|-\frac{1}{2}&\text{if}\left|y-y^{\prime}\right|>1\\\frac{1}{2}\left(y-y^

Grin*·2023-01-16 09:28

【动手学深度学习】多层感知机（MLP）

1多层感知机的从零开始实现torch.nn继续使用Fashion-MNIST图像分类数据集导入需要的包importtorchfromtorchimportnnfromd2limporttorchasd2lbatch_size=256train_iter,test_iter=d2l.load_data_fashion_mnist(batch_size)##获取迭代器1.1初始化模型参数nn.Para

Ya_nnnG·2023-01-16 09:57

【动手学深度学习】线性回归＋基础优化算法

参考：08线性回归+基础优化算法【动手学深度学习v2】_哔哩哔哩_bilibili【pytorch系列】withtorch.no_grad():用法详解_大黑山修道的博客-CSDN博客_torch.no_grad

Ya_nnnG·2023-01-16 09:26

【动手学深度学习】Softmax 回归 + 损失函数 + 图片分类数据集

学习资料：09Softmax回归+损失函数+图片分类数据集【动手学深度学习v2】_哔哩哔哩_bilibilitorchvision.transforms.ToTensor详解|使用transforms.ToTensor

Ya_nnnG·2023-01-16 09:24

【动手学深度学习】06-ResNet解析

目录ResNet解析0前言1基础2残差块3总结参考ResNet解析0前言论文：《DeepResidualLearningforImageRecognition》论文地址：DeepResidualLearningforImageRecognition|IEEEConferencePublication|IEEEXplore1基础经典网络ResNet(ResidualNetworks)由Kaiming

是安澜啊·2023-01-16 08:08

动手学深度学习v2-文本预处理

#文本预处理核心：数据变成所需的训练资料importcollectionsimportrefromd2limporttorchasd2l#将数据集读取由多条文本行组成的列表中d2l.DATA_HUB['time_machine']=(d2l.DATA_URL+'timemachine.txt','090b5e7e70c295757f55df93cb0a180b9691891a')#load一本书d

Hzt_dreamer·2023-01-15 10:19

《动手学深度学习》Task02-3:循环神经网络

循环神经网络本节介绍循环神经网络，下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量HHH，用HtH_{t}Ht表示HHH在时间步ttt的值。HtH_{t}Ht的计算基于XtX_{t}Xt和Ht−1H_{t-1}Ht−1，可以认为HtH_{t}Ht记录了到当前字符为止的序列信息，利用HtH_{t}Ht对序列的下

努力！才能被爱慕~·2023-01-15 10:48

动手学深度学习（七、语言模型与循环神经网络）

动手学深度学习（七、语言模型与循环神经网络）参考链接：循环神经网络一、语言模型语言模型是自然语言处理的重要技术。N元语法是基于n−1阶马尔可夫链的概率语言模型，其中n权衡了计算复杂度和模型准确性。

jiangchao98·2023-01-15 10:17

【cs231n Lesson6】Batch Normalization批量归一化

参考：李沐动手学深度学习v2批量归一化李宏毅批量归一化为什么要引入BatchNormalizationBackpropagation过程中，随着层数的深入，每一层的梯度变得越来越小，就导致上层的参数更新速度快

我什么都不懂zvz·2023-01-14 12:48

L1正则化与L2正则化

Adhere_Chris·2023-01-14 10:06

门控循环单元（GRU）——【torch学习笔记】

门控循环单元（GRU）引用翻译：《动手学深度学习》在一个递归神经网络中计算梯度，矩阵的长积会导致梯度消失或发散。可能会遇到这样的情况：早期的观察结果对于预测所有未来的观察结果来说是非常重要的。

一个语文不好的NLPer·2023-01-14 10:20

GRU门控循环单元自学笔记（动手学深度学习）

前言：在上一章节中，通过对RNN模型计算图进行反向传播链式求导推理，可以看出普通RNN模型可能存在梯度爆炸或梯度消失的问题（因为存在矩阵的次幂项）。因此在本章中提出了若干模型可以缓解梯度消失或梯度爆炸，并且这些模型可以做到对不同时间步设置不同权重（为重要时间节点赋予较大权重并更新隐状态，为不重要的时间节点赋予较小权重并且不更新隐状态）。LSTM出现时间早于GRU，但由于GRU架构较为简单，所以先进

王大大可·2023-01-14 10:50

现代循环神经网络-1.门控循环单元（GRU）【动手学深度学习v2】

文章目录1.门控循环单元(GRU)1.1门控隐状态A.重置门与更新门B.候选隐状态C.隐状态1.2GRU的实现A.从零实现B.简洁实现1.门控循环单元(GRU)GRU是一个比较新的提出来的，在LSTM之后提出，但是相比LSTM思想更简单一点，效果也差不多，但是GRU的计算速度比LSTM更快。在RNN中，太长的信息处理效果并不好，因为RNN将所有信息都放进隐藏单元里，当时间步很长时，隐藏状态可能累积

紫色银杏树·2023-01-14 10:19

Pytorch基本操作（6）——神经网络基本骨架、卷积操作与卷积层

1前言在学习李沐在B站发布的《动手学深度学习》PyTorch版本教学视频中发现在操作使用PyTorch方面有许多地方看不懂，往往只是“动手”了，没有动脑。

Xujl99·2023-01-14 00:04

【无标题】

Vscode中使用Jupyter时，图片不显示问题，只有文字问题描述因为最近开始学习沐神的动手学深度学习，听完课之后就想着来自己敲一下代码，熟悉理论的同时，还能够学习python。

Elite_H·2023-01-13 19:54

查询文档 - 基于 mxnet

本博文来自于《动手学深度学习》本博文只是记录学习笔记，方便日后查缺补漏，如有侵权，联系删除查阅文档查找模块里的所有函数和类当我们想知道一个模块里面提供了哪些可以调用的函数和类的时候，可以使用dir函数。

帅到没朋友fx·2023-01-13 11:56

动手学深度学习--4.多层感知机

detach()用法目的：神经网络的训练有时候可能希望保持一部分的网络参数不变，只对其中一部分的参数进行调整，或者训练部分分支网络，并不让其梯度对主网络的梯度造成影响，这个时候我妈就需要使用detach()函数来切断一些分支的反向传播。tensor.detach()tensor.detach()会返回一个新的tensor，从当前的计算图中分离下来，但是仍指向原变量的存放位置，不同之处只是requi

为啥不能修改昵称啊·2023-01-13 09:46

【动手学深度学习】线性回归的简洁实现【代码】

更详细的解释地址importnumpyasnpimporttorchfromtorch.utilsimportdatafromd2limporttorchasd2ltrue_w=torch.tensor([2,-3.4])true_b=4.2features,labels=d2l.synthetic_data(true_w,true_b,1000)defload_array(data_arrays

I"ll carry you·2023-01-13 01:25

【笔记】动手学深度学习-线性回归

注：期望(mean)（或均值，亦简称期望）：为试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。方差：为各个数据与平均数之差的平方的和的平均数梯度：数学上就是f(x,y)中，f对x的偏导和对y的偏导两者的和。图像上可以理解为指向f函数值最快增加方向。梯度讲解简洁实现使用nn模具，和预处理模块来使得实现更为简单1importnumpyasnpimport

echo_gou·2023-01-13 01:23

动手学深度学习_线性回归

目录线性回归平方损失函数pytorch实现线性回归线性回归（LinearRegression）可以追溯到19世纪初，它在回归的各种标准工具中最简单而且最流行。线性回归基于几个简单的假设：首先，假设自变量x和因变量y之间的关系是线性的，即y可以表示为x中元素的加权和，这里通常允许包含观测值的一些噪声；其次，我们假设任何噪声都比较正常，如噪声遵循正态分布。线性模型可以表示为：向量版本：线性模型可以看做

CV小Rookie·2023-01-13 01:23

【动手学深度学习】 1前言

李沫《动手学深度学习》课程学习具体代码保存在自己的内存中，学完之后会考虑将资源全部上传，写文档的目的是保留一些自己认为重要的内容、调试的过程、练习的内容，尽力一周一章的学习进度。

sumshine_·2023-01-13 00:38

NLP学习笔记（三）- 李沐老师《动手学深度学习》

准备开肝李沐老师的《动手学深度学习》《动手学深度学习》链接：http://tangshusen.me/Dive-into-DL-PyTorch/#/课程：课程安排-动手学深度学习课程B站视频：https

bit熊·2023-01-12 11:22

动手学深度学习-李沐（7）

一、权重衰退常用的处理过拟合的方法1、使用均方范数作为硬性限制通过限制参数值的选择范围来控制模型容量限制w的数值2、使用均方范数作为柔性限制（常用）补：正则项就是防止损失函数最优导致过拟合，把损失函数的最优点往外拉一拉3、总结权重衰退通过L2正则项使得模型参数不会过大，从而控制模型复杂度正则权重是控制模型负责度的超参数

Everyyang·2023-01-12 11:49

动手学深度学习-李沐（8）

一、dropout丢弃法1、动机一个好的模型需要对输入数据的扰动鲁棒丢弃法：在层之间加入噪音——正则2、方法给定一个概率，一定概率变成0，一定概率使得元素变大期望不发生变化3、使用4、总结丢弃法将一些输出项随机置0来控制模型复杂度常作用在多层感知机的隐藏层输出上丢弃概率来控制模型复杂度的超参数

Everyyang·2023-01-12 11:49

动手学深度学习-李沐（5）

一、Softmax回归1、回归和分类问题回归是估计一个连续值分类是预测一个离散类别（分类从回归的单输出变成了多输出，输出的个数就是类别的个数）2、ont-hot编码格式使用均方损失训练使用最大值标号作为预测3、softmax的作用：输出是一个概率（非负和为1）概率y和y^的区别作出损失4、用交叉熵常用来衡量两个概率的区别假设p,q是一对离散概率，假设有n个元素，对每个元素i进行操作将交叉熵作为损失

Everyyang·2023-01-12 11:48

动手学深度学习-李沐（2）

1、范数的概念2、对称与反对称Aij=Aji(对称)Aij=-Aji(反对称)3、正定4、正交矩阵5、特征向量不被矩阵改变方向的向量6、标量标量由只有一个元素的张量表示x=torch.tensor([3.0])7、向量向量由标量值组成的列表x=torch.arange(4)

Everyyang·2023-01-12 11:18

动手学深度学习-李沐（3）

1、标量的导数2、对于不可导的情况，例如：y=|x|3、将导数拓展到向量标量求导是标量向量求导是向量4、补：上面是向量下面是标量，维度不变上面是标量下面是向量，维度变化（标量是一个值，向量是一串值）5、标量、向量求导问题

Everyyang·2023-01-12 11:48

【机器学习、深度学习与强化学习】机器学习（1）---机器学习简介

、深度学习和强化学习，请注意强化学习需要ML与DL的一部分基础，不要直接跳到RL去学习，效率很低，参考资料很多，我先列一些我会用到的机器学习、深度学习的参考资料吧：1.西瓜书——周志华《机器学习》2.动手学深度学习

旋转跳跃我闭着眼·2023-01-11 20:05

《动手学深度学习》(六) -- 图像增广与微调

1图像增广图像增广在对训练图像进行一系列的随机变化之后，生成相似但不同的训练样本，从而扩大了训练集的规模。此外，应用图像增广的原因是，随机改变训练样本可以减少模型对某些属性的依赖，从而提高模型的泛化能力。例如，我们可以以不同的方式裁剪图像，使感兴趣的对象出现在不同的位置，减少模型对于对象出现位置的依赖。我们还可以调整亮度、颜色等因素来降低模型对颜色的敏感度。可以说，图像增广技术对于AlexNet的

长路漫漫2021·2023-01-11 16:07

动手学深度学习（二十六）——图像增广(一生二，二生三，三生万物？)

文章目录一、图像增广二、常用的图像增广方法1.翻转和裁减2.颜色改变3.叠加使用多种数据增广方法三、使用图像增广进行训练四、总结（干活分享）一、图像增广定义&解释：通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的范化能力二、常用的图像增广方法使用下面这张400x500的图像作为范例%matplotl

留小星·2023-01-11 16:34

经典机器学习方法（2）—— Softmax 回归

参考：动手学深度学习注：本文是jupyternotebook文档转换而来，部分代码可能无法直接复制运行！

云端FFF·2023-01-11 16:32

AI学习网站-收录

speech.ee.ntu.edu.tw/~hylee/ml/2022-spring.php白板推导：https://space.bilibili.com/97068901/channel/series李沐系列动手学深度学习

Ray Song·2023-01-11 11:33

动手学深度学习——循环神经网络

循环神经网络循环神经网络（RNN）主要用于预测任务：基于当前和历史输入序列，预测序列的下一个字符。循环神经网络相对于普通神经网络而言，最大的特点在于颖仓变量HHH的引进，用HtH_{t}Ht表示HHH在时间步ttt的值，该变量记录了到当前字符为止的序列信息。历史信息的使用使得预测更为精确。循环神经网络的示意图：循环神经网络模型假设Xt∈Rn×d\boldsymbol{X_{t}\in\mathbb

伸腿瞪眼丸·2023-01-11 07:48

【动手学深度学习】之现代卷积神经网络 AlexNet VGGNet NIN 习题解答

动手学深度学习7.1AlexNet试着增加迭代轮数。对比LeNet的结果有什么不同？为什么？增加迭代次数，LeNet的准确率比AlexNet低，因为复杂的网络有着更强的学习能力。

丶契阔·2023-01-10 19:59

推荐频道

动手学深度学习

动手学深度学习 第二章练习（Pytorch版）