《动手学深度学习》自学之路第9页

《动手学深度学习 Pytorch版》 6.1 从全连接层到卷积

6.1.1不变性平移不变性（translationinvariance）：不管检测对象出现在图像中的哪个位置，神经网络的前面几层应该对相同的图像区域具有相似的反应，即为“平移不变性”。局部性（locality）：神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔较远区域的关系，这就是“局部性”原则。最终，可以聚合这些局部特征，以在整个图像级别进行预测。6.1.2多层感知机的限

AncilunKiang·2023-09-18 03:06

我的中医自学之路 ——缘起

读高中时，母亲患类风湿性关节炎，严重到走路困难，穿衣无法自理的程度，只能长期卧病在床。那时懵懂无知的我以为去大医院医治就可以康复。可是父亲的医生朋友说，这种病被称为不死的癌症，去大医院治疗可能会有所缓解，但要根治目前是不可能的，并且需要很大一笔钱。当时家里经济条件不好，还有一个妹妹，曾经有过退学打工的打算，和母亲说了之后，她不同意。于是劝母亲借钱去大医院治疗，等我工作了，我来还债。然而母亲选择了各

人型抹布zf·2023-09-17 23:35

线性回归网络

李沐大神的《动手学深度学习》，是我入门机器学习的首课，因此在这里记录一下学习的过程。线性回归的从零开始实现线性回归是理解机器学习的基础，它经常用来表示输入和输出之间的关系。

Alzh·2023-09-17 21:25

《动手学深度学习 Pytorch版》 5.6 GPU

5.6.1计算设备importtorchfromtorchimportnntorch.device('cpu'),torch.device('cuda:0')#cuda等价于cuda:0（只有一块显卡没法试别的块号）(device(type='cpu'),device(type='cuda',index=0))torch.cuda.device_count()#查询可用GPU数量1deftry_g

AncilunKiang·2023-09-17 09:14

《动手学深度学习 Pytorch版》 5.4 自定义层

5.4.1不带参数的层importtorchimporttorch.nn.functionalasFfromtorchimportnnclassCenteredLayer(nn.Module):def__init__(self):super().__init__()defforward(self,X):returnX-X.mean()#仅作减去均值的操作layer=CenteredLayer()l

AncilunKiang·2023-09-17 09:13

《动手学深度学习 Pytorch版》 5.3 延后初始化

importtorchfromtorchimportnnfromd2limporttorchasd2l下面实例化的多层感知机的输入维度是未知的，因此框架尚未初始化任何参数，显示为“UninitializedParameter”。net=nn.Sequential(nn.LazyLinear(256),nn.ReLU(),nn.LazyLinear(10))net[0].weightc:\Softw

AncilunKiang·2023-09-17 09:43

《动手学深度学习 Pytorch版》 5.5 读写文件

5.5.1加载和保存importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFx=torch.arange(4)torch.save(x,'x-file')#使用save保存x2=torch.load('x-file')#使用load读回内存x2tensor([0,1,2,3])y=torch.zeros(4)torch.save([x,

AncilunKiang·2023-09-17 09:41

d2l绘图不显示的问题

1、出现的问题：我们在学习李沐大神的《动手学深度学习》这本书的时候，复现书中的源代码，导入d2l这个绘图工具包的时候，图片不显示。

咸鱼翻身的路上·2023-09-17 01:13

《动手学深度学习 Pytorch版》 5.1 层和块

层：接收一组输入生成相应输出由一组可调整参数描述块：可以描述单个层、由多个层组成的组件或整个模型本身讨论“比单个层大”但是“比整个模型小”的组件“块”更有价值从编程的角度看，块由类表示块必须具有反向传播函数#以前章多层感知机的代码为例importtorchfromtorchimportnnfromtorch.nnimportfunctionalasF#functional中有一些没有参数的函数ne

AncilunKiang·2023-09-16 07:56

《动手学深度学习 Pytorch版》 5.2 参数管理

importtorchfromtorchimportnnnet=nn.Sequential(nn.Linear(4,8),nn.ReLU(),nn.Linear(8,1))X=torch.rand(size=(2,4))net(X)tensor([[-0.3771],[-0.3822]],grad_fn=)5.2.1参数访问由Sequential类定义的模型可以通过索引访问其任意层，就像一个列表一

AncilunKiang·2023-09-16 07:56

51 序列模型【动手学深度学习v2】（笔记）

一、序列模型1、什么是序列数据?数据是有时序结构的，比如电影的评价随时间变化变化2、还有更多的序列数据3、在b发生的情况下，a也发生的概率4、反序：用未来的事情推测过去的事情，但有时在物理上是不可行的，因为时间上总是顺序发展的，但是RNN可以做到5、自回归模型，就是上个状态模型的输出当做下个状态模型的输入，进行迭代6、A:马尔科夫假设，当前数据只跟前面某几个数据点相关7、B:潜变量模型潜变量ht8

hlllllllhhhhh·2023-09-14 21:00

《动手学深度学习 Pytorch版》 4.9 环境和分布偏移

4.9.1分布偏移的类型整节理论，详见书本。4.9.2分布偏移示例整节理论，详见书本。4.9.3分布偏移纠正整节理论，详见书本。4.9.4学习问题的分类法整节理论，详见书本。4.9.5机器学习中的公平、责任和透明度整节理论，详见书本。练习（1）当我们改变搜索引擎的行为时会发生什么？用户可能会做什么？广告商呢？搜索结果发生变化。用户可能会由于搜索结果的改变搜索方式，广告商会改变投放位置。（2）实现一

AncilunKiang·2023-09-14 18:10

《动手学深度学习 Pytorch版》 4.10 实战Kaggle比赛：预测比赛

4.10.1下载和缓存数据集importhashlibimportosimporttarfileimportzipfileimportrequests#@saveDATA_HUB=dict()DATA_URL='http://d2l-data.s3-accelerate.amazonaws.com/'defdownload(name,cache_dir=os.path.join('..','dat

AncilunKiang·2023-09-14 18:39

《动手学深度学习 Pytorch版》 4.8 数值稳定性和模型初始化

4.8.1梯度消失和梯度爆炸整节理论，详见书本。梯度消失%matplotlibinlineimporttorchfromd2limporttorchasd2lx=torch.arange(-8.0,8.0,0.1,requires_grad=True)y=torch.sigmoid(x)y.backward(torch.ones_like(x))d2l.plot(x.detach().numpy(

AncilunKiang·2023-09-13 21:58

《动手学深度学习 Pytorch版》 4.7 前向传播、反向传播和计算图

4.7.1前向传播整节理论，详见书本。4.7.2前向传播计算图整节理论，详见书本。4.7.3反向传播整节理论，详见书本。4.7.4训练神经网络整节理论，详见书本。练习（1）假设一些标量函数XXX的输入XXX是n×mn\timesmn×m矩阵。fff相对于XXX的梯度的维数是多少？还是n×mn\timesmn×m，多少个变量就是多少个导数嘛。（2）向本节中描述的模型的隐藏层添加偏置项（不需要再正则化

AncilunKiang·2023-09-13 21:56

【动手学深度学习】--机器翻译与数据集

文章目录机器翻译与数据集1.下载和预处理数据集2.词元化3.词表4.加载数据集5.训练模型机器翻译与数据集学习视频：机器翻译数据集【动手学深度学习v2】官方笔记：机器翻译与数据集机器翻译（machinetranslation

小d<>·2023-09-13 17:58

《动手学深度学习 Pytorch版》 4.1 多层感知机

%matplotlibinlineimporttorchfromd2limporttorchasd2l4.1.1隐藏层整节理论，详见书本。以下展示常见的激活函数。ReLU函数ReLU(x)=max⁡(x,0)\mathrm{ReLU}(x)=\max(x,0)ReLU(x)=max(x,0)修正线性单元（rectifiedlinearunit，ReLU），通过将相应的激活值设为0，仅保留正元素丢弃

AncilunKiang·2023-09-13 07:55

《动手学深度学习 Pytorch版》 4.2 多层感知机的从零开始实现

importtorchfromtorchimportnnfromd2limporttorchasd2l#经典数据集与batchsizebatch_size=256train_iter,test_iter=d2l.load_data_fashion_mnist(batch_size)4.2.1初始化模型为什么不直接使用Tensor而是用nn.Parameter函数将其转换为parameter呢？nn

AncilunKiang·2023-09-13 07:55

《动手学深度学习 Pytorch版》 4.4 模型选择、欠拟合和过拟合

4.4.1训练误差和泛化误差整节理论，详见书本。4.4.2模型选择整节理论，详见书本。4.4.3欠拟合还是过拟合整节理论，详见书本。4.4.4多项回归importmathimportnumpyasnpimporttorchfromtorchimportnnfromd2limporttorchasd2l使用以下三阶多项式生成训练数据和测试数据的标签：y=5+1.2x−3.4x22!+5.6x33!+

AncilunKiang·2023-09-13 06:15

《动手学深度学习 Pytorch版》 4.5 权重衰减

4.5.1范数与权重衰减整节理论，详见书本。4.5.2高维线性回归%matplotlibinlineimporttorchfromtorchimportnnfromd2limporttorchasd2l#生成一些数据，为了使过拟合效果更明显，将维数增加到200并使用一个只包含20个样本的小训练集。n_train,n_test,num_inputs,batch_size=20,100,200,5tr

AncilunKiang·2023-09-13 06:15

《动手学深度学习 Pytorch版》 4.3 多层感知机的简洁实现

importtorchfromtorchimportnnfromd2limporttorchasd2l模型net=nn.Sequential(nn.Flatten(),nn.Linear(784,256),nn.ReLU(),#与3.7节相比多了一层nn.Linear(256,10))definit_weights(m):iftype(m)==nn.Linear:#使用正态分布中的随机值初始化权重

AncilunKiang·2023-09-13 06:14

《动手学深度学习 Pytorch版》 4.6 暂退法

importtorchfromtorchimportnnfromd2limporttorchasd2l4.6.1重新审视过拟合整节理论，详见书本。4.6.2扰动的稳健性整节理论，详见书本。4.6.3实践中的暂退法整节理论，详见书本。4.6.4从零开始实现defdropout_layer(X,dropout):assert0dropout).float()#从均匀分布U[0,1]中抽取与神经网络同维

AncilunKiang·2023-09-13 06:34

十动手学深度学习v2 ——卷积神经网络之NiN + GoogLeNet

文章目录网络中的网络（NiN）InceptionGoogLeNet总结：网络中的网络（NiN）NiN块使用卷积层加两个1x1卷积层后者对每个像素增加了非线性性NiN使用全局平均池化层来替代VGG和AlexNet中的全连接层不容易过拟合，更少的参数个数InceptionInception块由四条并行路径组成。前三条路径使用窗口大小为1x1、3x3和5x5的卷积层，从不同空间大小中提取信息。中间的两条

王二小、·2023-09-12 07:31

Transformer-1. 注意力机制基础

主要是搬运来的：动手学深度学习NLP-王树森1.心理学人类的注意力是有限的、有价值和稀缺的资源。而环境中的干扰注意力的信息却并不少。

cartes1us·2023-09-12 01:23

动手学深度学习之注意力机制

复习：2021/11/10.前言相比于李老师讲的，更习惯使用XW或者xW的写法。这样和API(nn.Linear)更具有对应关系。1.安装库pipinstalld2l2.注意力公式公式一Attention(Q,K,V)=softmax(QKTdk)VAttention(Q,K,V)=softmax(\frac{QK^T}{\sqrt{d_k}})VAttention(Q,K,V)=softma

强强学习·2023-09-11 15:13

九动手学深度学习v2 ——卷积神经网络之AlexNet

文章目录AlexNetVGGAlexNetAlexNet新引入dropout、ReLU、maxpooling和数据增强。VGGVGG神经网络连接图7.2.1的几个VGG块（在vgg_block函数中定义）。其中有超参数变量conv_arch。该变量指定了每个VGG块里卷积层个数和输出通道数。全连接模块则与AlexNet中的相同。原始VGG网络有5个卷积块，其中前两个块各有一个卷积层，后三个块各包含

王二小、·2023-09-11 09:40

【动手学深度学习】Task07

目标检测基础锚框目标检测算法通常会在输入图像中采样大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边缘从而更准确地预测目标的真实边界框（ground-truthboundingbox）。不同的模型使用的区域采样方法可能不同。这里我们介绍其中的一种方法：它以每个像素为中心生成多个大小和宽高比（aspectratio）不同的边界框。这些边界框被称为锚框（anchorbox）。生成多个

逍遥客小老虎·2023-09-10 13:05

马士兵Java自学之路

目录JAVA自学之路一:学会选择JAVA自学之路二:JAVA自学路线图JAVA自学之路三:要动手JAVA自学之路四:要事为先JAVA自学之路五:问题解决之道1：要仔细的观察错误的现象，是的，要仔细2：要仔细思考问题会出在哪些环节

软件测试李同学·2023-09-10 09:41

自学之路

刚入门前端是在一位学长的带领下开始的，花了两节课的时间教授了有关于html和css的基础知识，学会盒式模型的布局，当然每一节课都是有作业的，仿站是一个很好的学习机会，第一节课仿了百度和google的首页，第二节课仿了锤子官网。网上的学习站点w3school，菜鸟教程。之后开始在学长手下接一下小的切图外包，绿城教育首页，surf公司首页，另外自己也接了一个比赛的外包mato众筹，这个时候还停留在切图

liu1992452008·2023-09-10 09:40

【动手学深度学习笔记】--门控循环单元GRU

门控隐状态1.1重置门和更新门1.2候选隐状态1.3隐状态2.从零开始实现2.1读取数据2.2初始化模型参数2.3定义模型2.4训练与预测3.简洁实现门控循环单元GRU学习视频：门控循环单元（GRU）【动手学深度学习

小d<>·2023-09-10 06:07

【动手学深度学习】--循环神经网络

读取数据集2.2独热编码2.3初始化模型参数2.4循环神经网络模型2.5预测2.6梯度裁剪2.7训练3.RNN简洁实现3.1读取数据集3.2定义模型3.3训练与预测循环神经网络学习视频：循环神经网络RNN【动手学深度学习

小d<>·2023-09-10 06:04

【动手学深度学习】--长短期记忆网络LSTM

忘记门、输出门1.2候选记忆元1.3记忆元1.4隐状态2.从零实现2.1加载数据集2.2初始化模型参数2.3定义模型2.4训练与预测3.简洁实现长短期记忆网络LSTM学习视频：长短期记忆网络（LSTM）【动手学深度学习

小d<>·2023-09-10 06:31

《动手学深度学习》-57长短期记忆网络LSTM

沐神版《动手学深度学习》学习笔记，记录学习过程，详细的内容请大家购买书籍查阅。b站视频链接开源教程链接长短期记忆网络（LSTM）长期以来，隐变量模型存在长期信息保存和短期输入缺失的问题。

Jiawen9·2023-09-10 04:50

八动手学深度学习v2 ——卷积神经网络之卷积+填充步幅+池化

图像卷积总结二维卷积层的核心计算是二维互相关运算。最简单的形式是，对二维输入数据和卷积核执行互相关操作，然后添加一个偏置。核矩阵和偏移是可学习的参数核矩阵大小是超参数填充和步幅padding和stride填充：在应用多层卷积时，我们常常丢失边缘像素。由于我们通常使用小卷积核，因此对于任何单个卷积，我们可能只会丢失几个像素。但随着我们应用许多连续卷积层，累积丢失的像素数就多了。解决这个问题的简单方法

王二小、·2023-09-09 13:57

【动手学深度学习】--语言模型

文章目录语言模型1.学习语言模型2.马尔可夫模型与N元语法3.自然语言统计4.读取长序列数据4.1随机采样4.2顺序分区语言模型学习视频：语言模型【动手学深度学习v2】官方笔记：语言模型和数据集在【文本预处理

小d<>·2023-09-09 02:34

【动手学深度学习】--序列模型

文章目录序列模型1.序列数据2.统计工具3.自回归模型3.1马尔科夫假设3.2潜变量模型4.训练5.预测序列模型学习视频：序列模型【动手学深度学习v2】官方笔记：序列模型1.序列数据想象一下有人正在看网飞

小d<>·2023-09-09 02:04

【动手学深度学习】--文本预处理

文章目录文本预处理1.读取数据集2.词元化3.词表4.整合所有功能文本预处理学习视频：文本预处理【动手学深度学习v2】官方笔记：文本预处理对于序列数据处理问题，在【序列模型】中评估了所需的统计工具和预测时面临的挑战

小d<>·2023-09-09 02:32

萌芽的前端之路

-为了忘却的纪念大三一个偶然的机会接触到“web前端开发工程师”的职位，看了看任职要求，搜索了一下那些提到的语言，觉得所见即所得挺好玩的，马上开始了漫长的自学之路。

i0Yuri·2023-09-08 19:58

multibox_prior函数锚框生成部分个人理解

在最近自学李沐沐神的《动手学深度学习》中，一直在研究这个方法里的代码，属实是差点把我整崩溃了，在网上找了许多参考还是看的很崩溃，在近一周的折磨中找到了一个理解的方法，那就是设置自定义初始值去逐句分析，怕自己忘记

阿十六·2023-09-08 11:12

box_iou交并比及assign_anchor_to_bbox个人理解

接上篇文章，李沐沐神的《动手学深度学习》中的show_bboxes还是比较好理解的，于是来看这两个方法以下内容建议对照源代码理解defbox_iou首先我们来设置boxes1和boxes2的初始值boxes1

阿十六·2023-09-08 11:08

pytorch学习——循环神经网络RNN讲解及其实现

参考书籍：8.6.循环神经网络的简洁实现—动手学深度学习2.0.0documentation参考视频：54循环神经网络RNN【动手学深度学习v2】_哔哩哔哩_bilibili一.介绍循环神经网络RNN（

一只小百里·2023-09-08 00:56

动手学深度学习（2）-3.5 图像分类数据集

文章目录引言正文图像分类数据集主要包介绍主要流程具体代码练习总结引言这里主要是看一下如何加载数据集，并且生成批次训练的数据。最大的收获是，知道了如何在训练阶段提高模型训练的性能增加batch_size增加num_worker数据预加载正文图像分类数据集主要包介绍这个模块主要是将如何加载数据集，并且生成一个迭代器，每一次访问都会俺批次生成数据。具体应用到以下几个功能：torchvision.data

客院载论·2023-09-07 20:21

动手学深度学习d2l.Animator无法在PyCharm中显示动态图片的解决方案

fromd2limporttorchasd2l一、问题描述运行d2l的训练函数，仅在控制台输出以下内容，无法显示动态图片（训练监控）二、解决方案修改d2l.Animator的add函数，以下分别是修改前的代码及修改后的代码：defadd(self,x,y):#Addmultipledatapointsintothefigureifnothasattr(y,"__len__"):y=[y]n=len

枯木何日可逢春·2023-09-07 07:50

loss.sum.backward()为什么要sum()?

在动手学深度学习中，这样解释的：当y不是标量时，向量y关于向量x的导数的最自然解释是一个矩阵。对于高阶和高维的y和x，求导的结果可以是一个高阶张量。

闪闪发亮的小星星·2023-09-06 10:16

动手学深度学习（四）多层感知机

目录一、多层感知机的从零开始实现1.1初始化模型参数1.2实现Relu函数1.3实现模型1.4训练二、多层感知机的简洁实现2.1实现模型2.2训练三、模型选择3.1训练误差和泛化误差3.2验证数据集和测试数据集3.3过拟合和欠拟合3.4代码实现3.4.1生成训练和测试数据的标签3.4.2评估损失3.4.3训练函数3.4.4正常拟合（使用三阶多项式函数的数据特征）3.4.5欠拟合（使用线性函数的数据

向岸看·2023-09-05 16:07

FCN在VOC数据集的实践

本次参考《动手学深度学习》（此书用的是MXNet，本次实践使用的是pytorch框架）进行FCN在VOC2012数据集上的实践。

坐下等雨·2023-09-05 03:20

李沐-动手学深度学习（4）数值稳定性、模型初始化、激活函数

【总结】当数值过大或者过小时会导致数值问题；常发生在深度模型中，因为其会对n个数累乘。合理的权重初始值和激活函数的选取可以提升数值稳定性。（使每一层的输出和每一层的梯度都是一个均值为0，方差为一个固定数的随机变量）（权重初始用Xavier，激活函数用tanh、relu或变化的sigmoid）一、数值稳定性t在这里表示层。向量关于向量的导数是一个矩阵，所以这里要做太多的矩阵乘法，会带了两个问题。（假

minlover·2023-09-04 13:48

[动手学深度学习-PyTorch版]-3.深度学习基础

3.1线性回归线性回归输出是一个连续值，因此适用于回归问题。回归问题在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。与回归问题不同，分类问题中模型的最终输出是一个离散值。我们所说的图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。softmax回归则适用于分类问题。由于线性回归和softmax回归都是单层神经网络，它们涉及的概念和技术同样适用于大多数的深度学习模

蒸饺与白茶·2023-09-03 05:02

【动手学深度学习Pycharm实现7】Dropout丢弃法及其不同丢失概率的结果对比

前言李沐大神源代码是用Jupyter写的，笔者想用Pycharm实现并仅作为学习笔记，如有侵权，请联系笔者删除。一、Dropout丢弃法Dropout，通过在层之间加入噪音，达到正则化的目的，一般作用在隐藏全连接层的输出上，通过将输出项随机置0来控制模型复杂度，如下图。需要注意的是，并不是把节点删掉，因为下一次迭代很有可能置0的项又会被重启。如何实现Dropout如下，下面的x为一层到下一层之间的

Stick_2·2023-09-03 01:07

【笔记】动手学深度学习- dropout 丢弃法

介绍在这里丢弃法特指倒置丢弃法（inverteddropout）。原理：不是在输入的时候加入噪音，而是在层与层之间加入噪音，类似于正则。图中x为上一层的输出，x'为加入了噪音的x，要求加入噪音后期望值不变。所以我们使用这个：。可以发现加入噪音后期望值为Xi，没变。使用丢弃法通常丢弃法使用在全连接层上。两个图的左侧是没有使用丢弃法，右侧使用了丢弃法。可以发现丢弃法按照一定的概率随机丢弃了隐藏层中的一

echo_gou·2023-09-03 01:05

推荐频道

《动手学深度学习》自学之路