动手学深度学习第7页

动手学深度学习V2___截图

Beforedivingintodeeplearningresearch,it’sbeneficialtohaveasolidfoundationinseveralkeyareas.Herearesometopicsyoushouldconsidermastering:Mathematics:Deeplearningreliesheavilyonmathematicalconceptssuchas

ShCDNay·2023-09-24 16:09

动手学深度学习_个人笔记01_李沐（更新中......）

序言神经网络——本书中关注的DL模型的前身，被认为是过时的工具。深度学习在近几年推动了CV、NLP和ASR等领域的快速发展。关于本书让DL平易近人，教会概念、背景和代码。一种结合了代码、数学和HTML的媒介测试深度学习（DL）的潜力带来了独特的挑战，因为任何一个应用都会将不同的学科结合在一起。应用DL需要同时了解：（1）以特定方式提出问题的动机；（2）给定建模方法的数学；（3）将模型拟合数据的优化

ShCDNay·2023-09-24 16:39

解决d2l在anaconda经常安装失败的问题

李沐老师《动手学深度学习》配套一个d2l-zh用来学习非常方便，但是经常出现下载d2l失败的问题anaconda安装时大部分的库已经下好了，直接pipinstalld2l经常出现版本冲突采用最直接的办法在

wwse·2023-09-24 16:28

《动手学深度学习 Pytorch版》 7.6 残差网络(ResNet)

importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2l7.6.1函数类如果把模型看作一个函数，我们设计的更强大的模型则可以看作范围更大的函数。为了使函数能逐渐靠拢到最优解，应尽量使函数嵌套，以减少不必要的偏移。如下图，更复杂的非嵌套函数不一定能保证更接近真正的函数。只有当较复杂的函数类包含

AncilunKiang·2023-09-23 15:57

《动手学深度学习 Pytorch版》 7.4 含并行连接的网络(GoogLeNet)

importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2l7.4.1Inception块GoogLNet中的基本卷积块叫做Inception块（大概率得名于盗梦空间），由4条并行路径组成。前3条路径使用窗口大小为1×11\times11×1、3×33\times33×3和5×55\times5

AncilunKiang·2023-09-23 15:56

《动手学深度学习 Pytorch版》 7.3 网络中的网络(NiN)

LeNet、AlexNet和VGG的设计模式都是先用卷积层与汇聚层提取特征，然后用全连接层对特征进行处理。AlexNet和VGG对LeNet的改进主要在于扩大和加深这两个模块。网络中的网络（NiN）则是在每个像素的通道上分别使用多层感知机。importtorchfromtorchimportnnfromd2limporttorchasd2l7.3.1NiNNiN的想法是在每个像素位置应用一个全连接

AncilunKiang·2023-09-23 15:25

《动手学深度学习 Pytorch版》 7.5 批量规范化

7.5.1训练深层网络训练神经网络的实际问题：数据预处理的方式会对最终结果产生巨大影响。训练时，多层感知机的中间层变量可能具有更广的变化范围。更深层的网络很复杂容易过拟合。批量规范化对小批量的大小有要求，只有批量大小足够大时批量规范化才是有效的。用x∈B\boldsymbol{x}\inBx∈B表示一个来自小批量BBB的输入；$\hat{\boldsymbol{\mu}}_B$表示小批量BBB的样

AncilunKiang·2023-09-23 09:14

《动手学深度学习》（pytorch版+mxnet版）2023最新

这本书就是李沐、阿斯顿·张、立顿、斯莫拉四位大佬联合编写的《动手学深度学习》。本书面向中文读者，能运行、可讨论，适合本科生、研究生、工程师以及研究人员学习。

深度之眼·2023-09-21 11:20

【DL】使用pytorch从零实现线性回归

1.线性回归简介此内容主要依据李沐老师的《动手学深度学习》课程，同时结合了网络上其它资料和自己的理解。

None072·2023-09-20 04:29

《动手学深度学习 Pytorch版》 7.2 使用块的网络(VGG)

importtorchfromtorchimportnnfromd2limporttorchasd2l7.2.1VGG块AlexNet没有提供一个通用的模板来指导后续的研究人员设计新的网络，如今研究人员转向了块的角度思考问题。通过使用循环和子程序，可以很容易地在任何现代深度学习框架的代码中实现这些重复的架构。经典的卷积神经网络的基本组成部分如下：-带填充以保持分辨率的卷积层-非线性激活层-汇聚层V

AncilunKiang·2023-09-20 03:53

动手学深度学习 Task02:文本预处理；语言模型；循环神经网络基础

【一】文本预处理此次将讨论文本数据的常见预处理步骤，旨在将文本信息从人类语言转换为机器可读格式以便于后续处理。文本是一类序列数据，一篇文章可以看作是字符或单词的序列，预处理通常包括四个基本步骤：读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型读入文本我们用一部英文小说，即H.G.Well的TimeMachine，作为示例，展示文本预处理

周周儿_zHoU·2023-09-19 18:01

动手学深度学习PyTorch版--Task2--文本预处理；语言模型；循环神经网络基础

一.文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：1.读入文本2.分词3.建立字典，将每个词映射到一个唯一的索引（index）4.将文本从词的序列转换为索引的序列，方便输入模型1.读入文本importcollectionsimportredefread_time_machine():#open函数打开文本文件，创建文件

华尔街的幻觉·2023-09-19 18:29

【动手学习深度学习v2】循环神经网络-2.文本预处理

上一篇：【动手学深度学习V2】循环神经网络-1.序列模型文章目录2.文本预处理2.1读取数据集2.2词元化2.3词表2.4整合2.文本预处理序列数据的多种形式中，文本数据是最常见的一种，在英文文本中一篇文章或者一段句子可以看做一串单词序列

紫色银杏树·2023-09-19 18:27

动手学深度学习-文本预处理；语言模型；循环神经网络基础

一、文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型其中建立字典需要经过的步骤为：去重，统计词频筛掉部分词添加一些特殊的token将token映射到唯一索引将索引映射到token二、语言模型一段自然语言文本可以看

sjtucq·2023-09-19 18:26

pycharm笔记-动手学深度学习（李沐）线性代数课后习题

1.证明一个矩阵的转置的转置是，即(⊤)⊤=(A⊤)⊤=A。#创建一个5*4的矩阵importtorchA=torch.arange(20).reshape(5,4)print(A.T.T==A)2.给出两个矩阵和，证明“它们转置的和”等于“它们和的转置”，即⊤+⊤=(+)⊤A⊤+B⊤=(A+B)⊤A=torch.arange(12).reshape(3,4)B=torch.arange(12,2

幸运的的飞起·2023-09-19 17:12

李沐《动手学深度学习》笔记3-线性代数

标量向量长度：二范数点积正交矩阵线性代数的本质：矩阵是一个扭曲的空间F范数：对称，反对称，正定，正交置换矩阵特征向量，特征值此处不被改变指方向，与大小无关。importtorchx=torch.tensor([3.0])x=torch.arange(4)len(x)#4x[3]#tensor(3)x.shape#torch.Size([4])A=torch.arange(20).reshape(5

暄染落墨·2023-09-19 17:41

41 物体检测和数据集【动手学深度学习v2】(笔记)

一、物体检测1、图片分类->目标检测（应用更多：无人车、无人售货）-图片里是有主体，识别感兴趣的物体2、边缘框的两种表示方法3、目标检测中常用的数据集是COCO4、总结：物体检测识别图片里的多个物体的类别和位置-位置通常用边缘框表示-有两种表示方法，一种是左上+右下坐标，一种是左上+宽和高二、边缘框实现三、数据集

hlllllllhhhhh·2023-09-19 05:10

生物的神经系统与机器的人工神经网络

区别:总结前言因为本人是学生物的，并且深度学习的核心——人工神经网络与生物的神经系统息息相关，故想要在本章探讨一下生物的神经系统与机器的人工神经网络这两者之间的关系参考文献：从生物神经元到人工神经元《动手学深度学习

星石传说·2023-09-18 23:18

李宏毅hw-6利用GAN生成动漫图像

一、查漏补缺、熟能生巧：1.什么是转置卷积convTranspose、以及这种转置卷积怎么使用：（1）具体的原理直接看李沐老师的那个演示，非常清晰：47转置卷积【动手学深度学习v2】_哔哩哔哩_bilibili

诚威_lol_中大努力中·2023-09-18 22:14

《动手学深度学习 Pytorch版》 7.1 深度卷积神经网络(LeNet)

7.1.1学习表征深度卷积神经网络的突破出现在2012年。突破可归因于以下两个关键因素：缺少的成分：数据数据集紧缺的情况在2010年前后兴起的大数据浪潮中得到改善。ImageNet挑战赛中，ImageNet数据集由斯坦福大学教授李飞飞小组的研究人员开发，利用谷歌图像搜索对分类图片进行预筛选，并利用亚马逊众包标注每张图片的类别。这种数据规模是前所未有的。缺少的成分：硬件2012年，AlexKrizh

AncilunKiang·2023-09-18 16:10

《动手学深度学习 Pytorch版》 6.3 填充和步幅

6.3.1填充虽然我们用的卷积核较小，每次只会丢失几像素，但是如果应用多层连续的卷积层，累积的像素丢失就会很多。解决此问题的方法为填充。填充后的输出形状将为(nh−kh+ph+1)×(nw−kw+pw+1)(n_h-k_h+p_h+1)\times(n_w-k_w+p_w+1)(nh−kh+ph+1)×(nw−kw+pw+1)importtorchfromtorchimportnndefcomp_

AncilunKiang·2023-09-18 12:17

跟着李沐学AI（动手学深度学习 PyTorch版）学习笔记——03安装（环境配置d2l、pytorch）（python3.7版本+Windows+各种问题解决措施）

第一步：根据操作系统下载并安装Miniconda1.下载Miniconda下载地址2.在安装过程中需要勾选“AddAnacondatothesystemPATHenvironmentvariable”选项3.检验win+R，输入cmd，在文本框输入conda--version第二步:下载包含本书全部代码的压缩包。1.点击该链接+点击jupyter记事本下载压缩包2.解压该压缩包3.在解压后的文件夹

依洛(^_^)简·2023-09-18 10:01

《动手学深度学习 Pytorch版》 6.2 图像卷积

importtorchfromtorchimportnnfromd2limporttorchasd2l6.2.1互相关计算X=torch.tensor([[0.0,1.0,2.0],[3.0,4.0,5.0],[6.0,7.0,8.0]])K=torch.tensor([[0.0,1.0],[2.0,3.0]])此处应为：012345678*0123=19253743即0×0+1×1+3×2+4×

AncilunKiang·2023-09-18 09:12

《动手学深度学习 Pytorch版》 6.6 卷积神经网络

importtorchfromtorchimportnnfromd2limporttorchasd2l6.6.1LeNetLetNet-5由两个部分组成：-卷积编码器：由两个卷积核组成。-全连接层稠密块：由三个全连接层组成。模型结构如下流程图（每个卷积块由一个卷积层、一个sigmoid激活函数和平均汇聚层组成）：全连接层(10)↑\uparrow↑全连接层(84)↑\uparrow↑全连接层(12

AncilunKiang·2023-09-18 03:07

《动手学深度学习 Pytorch版》 6.5 汇聚层

importtorchfromtorchimportnnfromd2limporttorchasd2l6.5.1最大汇聚和平均汇聚汇聚层和卷积层类似，区别在于汇聚层不带包含参数，汇聚操作是确定性的，通常计算汇聚窗口中所有元素的最大值或平均值，即最大汇聚和平均汇聚。defpool2d(X,pool_size,mode='max'):p_h,p_w=pool_size#和互相关运算差不多Y=torch

AncilunKiang·2023-09-18 03:37

《动手学深度学习 Pytorch版》 6.4 多输入多输出通道

importtorchfromd2limporttorchasd2l6.4.1多输入通道简言之，多通道即为单通道之推广，各参数对上即可。defcorr2d_multi_in(X,K):#先遍历“X”和“K”的第0个维度（通道维度），再把它们加在一起returnsum(d2l.corr2d(x,k)forx,kinzip(X,K))X=torch.tensor([[[0.0,1.0,2.0],[3.

AncilunKiang·2023-09-18 03:36

《动手学深度学习 Pytorch版》 6.1 从全连接层到卷积

6.1.1不变性平移不变性（translationinvariance）：不管检测对象出现在图像中的哪个位置，神经网络的前面几层应该对相同的图像区域具有相似的反应，即为“平移不变性”。局部性（locality）：神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔较远区域的关系，这就是“局部性”原则。最终，可以聚合这些局部特征，以在整个图像级别进行预测。6.1.2多层感知机的限

AncilunKiang·2023-09-18 03:06

线性回归网络

李沐大神的《动手学深度学习》，是我入门机器学习的首课，因此在这里记录一下学习的过程。线性回归的从零开始实现线性回归是理解机器学习的基础，它经常用来表示输入和输出之间的关系。

Alzh·2023-09-17 21:25

《动手学深度学习 Pytorch版》 5.6 GPU

5.6.1计算设备importtorchfromtorchimportnntorch.device('cpu'),torch.device('cuda:0')#cuda等价于cuda:0（只有一块显卡没法试别的块号）(device(type='cpu'),device(type='cuda',index=0))torch.cuda.device_count()#查询可用GPU数量1deftry_g

AncilunKiang·2023-09-17 09:14

《动手学深度学习 Pytorch版》 5.4 自定义层

5.4.1不带参数的层importtorchimporttorch.nn.functionalasFfromtorchimportnnclassCenteredLayer(nn.Module):def__init__(self):super().__init__()defforward(self,X):returnX-X.mean()#仅作减去均值的操作layer=CenteredLayer()l

AncilunKiang·2023-09-17 09:13

《动手学深度学习 Pytorch版》 5.3 延后初始化

importtorchfromtorchimportnnfromd2limporttorchasd2l下面实例化的多层感知机的输入维度是未知的，因此框架尚未初始化任何参数，显示为“UninitializedParameter”。net=nn.Sequential(nn.LazyLinear(256),nn.ReLU(),nn.LazyLinear(10))net[0].weightc:\Softw

AncilunKiang·2023-09-17 09:43

《动手学深度学习 Pytorch版》 5.5 读写文件

5.5.1加载和保存importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFx=torch.arange(4)torch.save(x,'x-file')#使用save保存x2=torch.load('x-file')#使用load读回内存x2tensor([0,1,2,3])y=torch.zeros(4)torch.save([x,

AncilunKiang·2023-09-17 09:41

d2l绘图不显示的问题

1、出现的问题：我们在学习李沐大神的《动手学深度学习》这本书的时候，复现书中的源代码，导入d2l这个绘图工具包的时候，图片不显示。

咸鱼翻身的路上·2023-09-17 01:13

《动手学深度学习 Pytorch版》 5.1 层和块

层：接收一组输入生成相应输出由一组可调整参数描述块：可以描述单个层、由多个层组成的组件或整个模型本身讨论“比单个层大”但是“比整个模型小”的组件“块”更有价值从编程的角度看，块由类表示块必须具有反向传播函数#以前章多层感知机的代码为例importtorchfromtorchimportnnfromtorch.nnimportfunctionalasF#functional中有一些没有参数的函数ne

AncilunKiang·2023-09-16 07:56

《动手学深度学习 Pytorch版》 5.2 参数管理

importtorchfromtorchimportnnnet=nn.Sequential(nn.Linear(4,8),nn.ReLU(),nn.Linear(8,1))X=torch.rand(size=(2,4))net(X)tensor([[-0.3771],[-0.3822]],grad_fn=)5.2.1参数访问由Sequential类定义的模型可以通过索引访问其任意层，就像一个列表一

AncilunKiang·2023-09-16 07:56

51 序列模型【动手学深度学习v2】（笔记）

一、序列模型1、什么是序列数据?数据是有时序结构的，比如电影的评价随时间变化变化2、还有更多的序列数据3、在b发生的情况下，a也发生的概率4、反序：用未来的事情推测过去的事情，但有时在物理上是不可行的，因为时间上总是顺序发展的，但是RNN可以做到5、自回归模型，就是上个状态模型的输出当做下个状态模型的输入，进行迭代6、A:马尔科夫假设，当前数据只跟前面某几个数据点相关7、B:潜变量模型潜变量ht8

hlllllllhhhhh·2023-09-14 21:00

《动手学深度学习 Pytorch版》 4.9 环境和分布偏移

4.9.1分布偏移的类型整节理论，详见书本。4.9.2分布偏移示例整节理论，详见书本。4.9.3分布偏移纠正整节理论，详见书本。4.9.4学习问题的分类法整节理论，详见书本。4.9.5机器学习中的公平、责任和透明度整节理论，详见书本。练习（1）当我们改变搜索引擎的行为时会发生什么？用户可能会做什么？广告商呢？搜索结果发生变化。用户可能会由于搜索结果的改变搜索方式，广告商会改变投放位置。（2）实现一

AncilunKiang·2023-09-14 18:10

《动手学深度学习 Pytorch版》 4.10 实战Kaggle比赛：预测比赛

4.10.1下载和缓存数据集importhashlibimportosimporttarfileimportzipfileimportrequests#@saveDATA_HUB=dict()DATA_URL='http://d2l-data.s3-accelerate.amazonaws.com/'defdownload(name,cache_dir=os.path.join('..','dat

AncilunKiang·2023-09-14 18:39

《动手学深度学习 Pytorch版》 4.8 数值稳定性和模型初始化

4.8.1梯度消失和梯度爆炸整节理论，详见书本。梯度消失%matplotlibinlineimporttorchfromd2limporttorchasd2lx=torch.arange(-8.0,8.0,0.1,requires_grad=True)y=torch.sigmoid(x)y.backward(torch.ones_like(x))d2l.plot(x.detach().numpy(

AncilunKiang·2023-09-13 21:58

《动手学深度学习 Pytorch版》 4.7 前向传播、反向传播和计算图

4.7.1前向传播整节理论，详见书本。4.7.2前向传播计算图整节理论，详见书本。4.7.3反向传播整节理论，详见书本。4.7.4训练神经网络整节理论，详见书本。练习（1）假设一些标量函数XXX的输入XXX是n×mn\timesmn×m矩阵。fff相对于XXX的梯度的维数是多少？还是n×mn\timesmn×m，多少个变量就是多少个导数嘛。（2）向本节中描述的模型的隐藏层添加偏置项（不需要再正则化

AncilunKiang·2023-09-13 21:56

【动手学深度学习】--机器翻译与数据集

文章目录机器翻译与数据集1.下载和预处理数据集2.词元化3.词表4.加载数据集5.训练模型机器翻译与数据集学习视频：机器翻译数据集【动手学深度学习v2】官方笔记：机器翻译与数据集机器翻译（machinetranslation

小d<>·2023-09-13 17:58

《动手学深度学习 Pytorch版》 4.1 多层感知机

%matplotlibinlineimporttorchfromd2limporttorchasd2l4.1.1隐藏层整节理论，详见书本。以下展示常见的激活函数。ReLU函数ReLU(x)=max⁡(x,0)\mathrm{ReLU}(x)=\max(x,0)ReLU(x)=max(x,0)修正线性单元（rectifiedlinearunit，ReLU），通过将相应的激活值设为0，仅保留正元素丢弃

AncilunKiang·2023-09-13 07:55

《动手学深度学习 Pytorch版》 4.2 多层感知机的从零开始实现

importtorchfromtorchimportnnfromd2limporttorchasd2l#经典数据集与batchsizebatch_size=256train_iter,test_iter=d2l.load_data_fashion_mnist(batch_size)4.2.1初始化模型为什么不直接使用Tensor而是用nn.Parameter函数将其转换为parameter呢？nn

AncilunKiang·2023-09-13 07:55

《动手学深度学习 Pytorch版》 4.4 模型选择、欠拟合和过拟合

4.4.1训练误差和泛化误差整节理论，详见书本。4.4.2模型选择整节理论，详见书本。4.4.3欠拟合还是过拟合整节理论，详见书本。4.4.4多项回归importmathimportnumpyasnpimporttorchfromtorchimportnnfromd2limporttorchasd2l使用以下三阶多项式生成训练数据和测试数据的标签：y=5+1.2x−3.4x22!+5.6x33!+

AncilunKiang·2023-09-13 06:15

《动手学深度学习 Pytorch版》 4.5 权重衰减

4.5.1范数与权重衰减整节理论，详见书本。4.5.2高维线性回归%matplotlibinlineimporttorchfromtorchimportnnfromd2limporttorchasd2l#生成一些数据，为了使过拟合效果更明显，将维数增加到200并使用一个只包含20个样本的小训练集。n_train,n_test,num_inputs,batch_size=20,100,200,5tr