nndl

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

6.3LSTM的记忆能力实验使用LSTM模型重新进行数字求和实验，验证LSTM模型的长程依赖能力。6.3.1模型构建使用第6.1.2.4节中定义Model_RNN4SeqClass模型，并构建LSTM算子．只需要实例化LSTM，并传入Model_RNN4SeqClass模型，就可以用LSTM进行数字求和实验。6.3.1.1LSTM层自定义LSTM算子nn.LSTM相较于简单的RNNcell，LST
真不想再学了·2022-12-05 09:22

NNDL 作业10：第六章课后题（LSTM | GRU）

目录习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果习题6-5推导GRU网络中参数的梯度，并分析其避免梯度消失的效果附加题6-1P什么时候应该用GRU?什么时候用LSTM?总结习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并
Persevere~~~·2022-12-05 09:20

NNDL 作业9：分别使用numpy和pytorch实现BPTT

目录6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.总结6-1P：推导RNN反向传播算法BPTT.数学·RNN（二）·BPTT算法-知乎老师给出的：6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.基础RNN模型importtorchimportnumpyasnp
Persevere~~~·2022-12-05 09:19

NNDL 实验七 循环神经网络（2）梯度爆炸实验

目录6.2梯度爆炸实验6.2.1梯度打印函数【思考】什么是范数，什么是L2范数，这里为什么要打印梯度范数？6.2.2复现梯度爆炸现象6.2.3使用梯度截断解决梯度爆炸问题【思考题】梯度截断解决梯度爆炸问题的原理是什么？总结：6.2梯度爆炸实验造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。一般来讲，循环网络的梯度爆炸问题比较容易解决，一般通过权重衰减或梯度截断可以较好地来避免
Persevere~~~·2022-12-05 09:19

NNDL 作业11：优化算法比较

目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹5.总结SGD、Momentum、AdaGrad、Adam的优缺点6.Adam这么好，SGD是不是就用不到了？参考1.编程实现图6-1，并观察特征代码实现importnumpyasnpfrommatplotlibimportpyplotaspltfrommpl_toolkits.mplot3dimportAxes
五元钱·2022-12-05 09:43

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

目录6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.1.2模型汇总6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练6.3.2.3损失曲线展示【思考题1】LSTM与SRN实验结果对比，谈谈看法。6.3.3模型评价6.3.3.1在测试集上进行模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图【思考题2】LSTM与SRN在不同长度数
Persevere~~~·2022-12-05 09:12

NNDL 作业11：优化算法比较

目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理（选做）1.为什么SGD会走“之字形”？其它算法为什么会比较平滑？2.Momentum、AdaGrad对SGD的改进体现在哪里？速度？方向？在图上有哪些体现？3.仅从轨迹来看，Adam似乎不如AdaGrad效果好，是这样么？5.总结SGD、Momentum、AdaGrad、Adam的优缺点（
乳酸蔓越莓吐司·2022-12-04 21:10

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

目录6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练6.3.2.3损失曲线展示【思考题1】LSTM与SRN实验结果对比，谈谈看法。（选做）6.3.3模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图【思考题2】LSTM与SRN在不同长度数据集上的准确度对比，谈谈看法。（选做）6.3.3.
乳酸蔓越莓吐司·2022-12-04 21:40

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

文章目录6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.1.2模型汇总6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练6.3.2.3损失曲线展示【思考题1】LSTM与SRN实验结果对比，谈谈看法。（选做）6.3.3模型评价6.3.3.1在测试集上进行模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图【思考题2】LSTM与SRN
plum-blossom·2022-12-04 14:41

NNDL 作业8：RNN - 简单循环网络

简单循环网络（SimpleRecurrentNetwork，SRN）只有一个隐藏层的神经网络．目录1.使用Numpy实现SRN2.在1的基础上，增加激活函数tanh3.分别使用nn.RNNCell、nn.RNN实现SRN4.分析“二进制加法”源代码5.实现“Character-LevelLanguageModels”源代码6.分析“序列到序列”源代码7.“编码器-解码器”的简单实现参考1.使用Nu
uvuvuvw·2022-12-04 13:00

NNDL 实验七 循环神经网络（1）RNN记忆能力实验

目录第6章循环神经网络6.1循环神经网络的记忆能力实验6.1.1数据集构建6.1.2模型构建6.1.3模型训练6.1.4模型评价总结参考第6章循环神经网络循环神经网络（RecurrentNeuralNetwork，RNN）是一类具有短期记忆能力的神经网络．在循环神经网络中，神经元不但可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构．和前馈神经网络相比，循环神经网络更加符合生物
uvuvuvw·2022-12-04 13:00

NNDL 实验七 循环神经网络（2）梯度爆炸实验

6.2梯度爆炸实验造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。一般来讲，循环网络的梯度爆炸问题比较容易解决，一般通过权重衰减或梯度截断可以较好地来避免；对于梯度消失问题，更加有效的方式是改变模型，比如通过长短期记忆网络LSTM来进行缓解。本节将首先进行复现简单循环网络中的梯度爆炸问题，然后尝试使用梯度截断的方式进行解决。这里采用长度为20的数据集进行实验，训练过程中将进行
uvuvuvw·2022-12-04 13:00

NNDL 实验六 卷积神经网络（1）卷积

目录5.1卷积5.1.1二维卷积运算5.1.2二维卷积算子5.1.3二维卷积的参数量和计算量5.1.4感受野5.1.5卷积的变种5.1.5.1步长（Stride）5.1.5.2零填充（ZeroPadding）5.1.6带步长和零填充的二维卷积算子5.1.7使用卷积运算完成图像边缘检测任务边缘检测系列1：传统边缘检测算子引入算法原理代码实现边缘检测系列2：简易的Canny边缘检测器总结5.1卷积卷积
uvuvuvw·2022-12-04 13:29

NNDL 实验六 卷积神经网络（2）基础算子

5.2卷积神经网络的基础算子我们先实现卷积网络的两个基础算子：卷积层算子和汇聚层算子。5.2.1卷积算子卷积层是指用卷积操作来实现神经网络中一层。为了提取不同种类的特征，通常会使用多个卷积核一起进行特征提取。5.2.1.1多通道卷积5.2.1.2多通道卷积层算子代码实现:importtorchimporttorch.nnasnnclassConv2D(nn.Module):def__init__(
uvuvuvw·2022-12-04 13:29

NNDL 作业7：第五章课后题（1×1 卷积核 | CNN BP）

习题5-2证明宽卷积具有交换性，即公式(5.12)证明：不失一般性，设：则：两端各补m-1和n-1个零,得到:两端各补u-1和v-1个零,得到:由定义：将代入，计算可得：【更正】两个矩阵右下角的元素应为乘法交换律可知：，所以矩阵内的对应位置的元素均相等，即两个矩阵相等。因此：进一步可得：原式得证.习题5-3分析卷积神经网络中1×1卷积核的作用降维和升维：每个1×1的卷积核都试图提取基于相同像素位置
uvuvuvw·2022-12-04 13:29

NNDL 作业3：分别使用numpy和pytorch实现FNN例题

1、过程推导-了解BP原理BP网络是在输入层与输出层之间增加若干层(一层或多层)神经元，这些神经元称为隐单元，它们与外界没有直接的联系，但其状态的改变，则能影响输入与输出之间的关系，每一层可以有若干个节点。BP神经网络的计算过程由正向计算过程和反向计算过程组成。正向传播过程，输入模式从输入层经隐单元层逐层处理，并转向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出
uvuvuvw·2022-12-04 13:29

NNDL 实验二 pytorch入门

目录一、概念：张量、算子1.2.1创建张量1.2.1.1指定数据创建张量1.2.1.2指定形状创建1.2.1.3指定区间创建1.2.2张量的属性1.2.2.1张量的形状1.2.2.2形状的改变1.2.2.3张量的数据类型1.2.2.4张量的设备位置1.2.2.5张量与Numpy数组转换1.2.3张量的访问1.2.3.1索引和切片1.2.3.2访问张量1.2.3.3修改张量编辑1.2.4张量的运算1
uvuvuvw·2022-12-04 13:59

NNDL 作业9 分别使用numpy和pytorch实现BPTT

目录6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.参考文献6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.importtorchimportnumpyasnpclassRNNCell:def__init__(self,
LzeKun·2022-12-04 13:21

NNDL 实验七 循环神经网络（2）梯度爆炸实验

目录6.2梯度爆炸实验6.2.1梯度打印函数【思考】什么是范数，什么是L2范数，这里为什么要打印梯度范数？6.2.2复现梯度爆炸现象6.2.3使用梯度截断解决梯度爆炸问题【思考题】梯度截断解决梯度爆炸问题的原理是什么？参考文献6.2梯度爆炸实验造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。梯度爆炸问题：比较容易解决，一般通过权重衰减或梯度截断可以较好地来避免；梯度消失问题：
LzeKun·2022-12-04 13:51

NNDL 作业5：卷积

目录作业1编程实现作业2一、概念卷积卷积核特征图特征选择步长填充感受野二、探究不同卷积核的作用sharpen（锐化）blur（模糊）编辑emboss（浮雕）outline（边缘检测）topsobelleftsobelbottomsobel三、编程实现总结作业1编程实现1.图1使用卷积核，输出特征图importtorchimportmatplotlib.pyplotaspltimporttorch.
LzeKun·2022-12-04 13:50

NNDL 实验六 卷积神经网络（1） 卷积

目录5.1卷积5.1.1二维卷积运算5.1.2二维卷积算子5.1.3二维卷积的参数量和计算量5.1.4感受野5.1.5卷积的变种5.1.5.1步长（Stride）5.1.5.2零填充（ZeroPadding）5.1.6带步长和零填充的二维卷积算子5.1.7使用卷积运算完成图像边缘检测任务选做题：边缘检测系列1：传统边缘检测算子边缘检测系列2：简易的Canny边缘检测器边缘检测系列3：【HED】Ho
LzeKun·2022-12-04 13:50

NNDL 实验五 前馈神经网络（3）鸢尾花分类

目录深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.2数据处理4.5.2.2用DataLoader进行封装4.5.3模型构建4.5.4完善Runner类4.5.5模型训练4.5.6模型性价4.5.7模型预测思考题实验总结参考文献深入研究鸢尾花数据集画出数据集中150个数据的前两个特征的散点分布图：4.5实践：基于前馈神经网络完成鸢尾花分类在本实践中，
LzeKun·2022-12-04 13:20

NNDL 作业10：第六章课后题（LSTM | GRU）

目录习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果习题6-5推导GRU网络中参数的梯度，并分析其避免梯度消失的效果附加题6-1P什么时候应该用GRU?什么时候用LSTM?习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出
uvuvuvw·2022-12-04 13:17

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

6.3LSTM的记忆能力实验使用LSTM模型重新进行数字求和实验，验证LSTM模型的长程依赖能力。长短期记忆网络（LongShort-TermMemoryNetwork，LSTM）是一种可以有效缓解长程依赖问题的循环神经网络．LSTM的特点是引入了一个新的内部状态（InternalState）和门控机制（GatingMechanism）．不同时刻的内部状态以近似线性的方式进行传递，从而缓解梯度消失
LzeKun·2022-12-04 13:16

NNDL 实验五 前馈神经网络（3）鸢尾花分类

目录深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.2数据处理4.5.3模型构建4.5.4完善Runner类4.5.5模型训练4.5.6模型评价4.5.7模型预测思考题总结参考注：本次实验是对前面几次试验的调用和应用，通过对鸢尾花数据集进行分类，并且鸢尾花数据集就是我们经常说的最经典的鸢尾花数据集。深入研究鸢尾花数据集画出数据集中150个数据的前两个
五元钱·2022-12-04 09:17

NNDL 实验五 前馈神经网络 （3）鸢尾花数据集

目录深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.1.1数据分组4.5.2数据处理4.5.2.2用DataLoader进行封装4.5.3模型构建4.5.4完善Runner类4.5.5模型训练4.5.6模型评价4.5.7模型预测思考题总结参考：深入研究鸢尾花数据集画出数据集中150个数据的前两个特征的散点分布图：【统计学习方法】感知机对鸢尾花（iri
喝无糖雪碧·2022-12-04 09:14

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

目录6.3.1模型构建6.3.1.1LSTM层6.3.1.2模型汇总6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练6.3.2.3损失曲线展示6.3.2.3损失曲线展示【思考题1】LSTM与SRN实验结果对比，谈谈看法。（选做）6.3.3模型评价6.3.3.1在测试集上进行模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图【思考题2】LSTM与SRN在不同
AI-2 刘子豪·2022-12-04 09:13

NNDL 实验六 卷积神经网络（4）ResNet18实现MNIST

目录5.4基于残差网络的手写体数字识别实验5.4.1模型构建5.4.2没有残差连接的ResNet185.4.3带残差连接的ResNet185.4.4与高层API实现版本的对比实验5.4基于残差网络的手写体数字识别实验残差网络（ResidualNetwork，ResNet）是在神经网络模型中给非线性层增加直连边的方式来缓解梯度消失问题，从而使训练深度神经网络变得更加容易。在残差网络中，最基本的单位为
HBU_David·2022-12-04 09:42

NNDL 实验八 网络优化与正则化（2）批大小的调整

7.2批大小的调整实验为了观察不同批大小对模型收敛速度的影响，我们使用经典的LeNet网络进行图像分类。调用paddle.vision.datasets.MNIST函数读取MNIST数据集，并将数据进行规范化预处理。使用paddle.vision.models.LeNet快速构建LeNet网络使用paddle.io.DataLoader根据批大小对数据进行划分使用交叉熵损失函数标准的随机梯度下降优
HBU_David·2022-12-04 09:42

NNDL 实验八 网络优化与正则化（3）不同优化算法比较

目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比【选做题】7.3不同优化算法的比较分析飞桨AIStudio-人工智能学习与实训社区(baidu.c
HBU_David·2022-12-04 09:42

NNDL 实验九 注意力机制

8.1.基于双向LSTM和注意力机制的文本分类8.2.基于双向LSTM和多头自注意力的文本分类实验8.3基于自注意力模型的文本语义匹配8.4基于框架API实现文本语义匹配ref：NNDL实验8（上）-HBU_DAVID
HBU_David·2022-12-04 09:41

NNDL 实验二 pytorch入门

一.概念：张量、算子写出定义，并用通俗易懂的语言描述自己的理解。二.使用pytorch实现张量运算1.2张量1.2.1创建张量1.2.1.1指定数据创建张量1.2.1.2指定形状创建1.2.1.3指定区间创建1.2.2张量的属性1.2.2.1张量的形状1.2.2.2形状的改变1.2.2.3张量的数据类型1.2.2.4张量的设备位置1.2.3张量与Numpy数组转换1.2.4张量的访问1.2.4.1
HBU_David·2022-12-04 09:11

NNDL 实验三 线性回归

使用pytorch实现2.2线性回归2.2.1数据集构建构造一个小的回归数据集：生成150个带噪音的样本，其中100个训练样本，50个测试样本，并打印出训练数据的可视化分布。2.2.2模型构建2.2.3损失函数回归任务中常用的评估指标是均方误差均方误差（mean-squareerror,MSE）是反映估计量与被估计量之间差异程度的一种度量。【注意：代码实现中没有除2】思考：没有除2合理么？谈谈自己
HBU_David·2022-12-04 09:11

NNDL 实验六 卷积神经网络（1）卷积

目录5.1卷积5.1.1二维卷积运算5.1.2二维卷积算子5.1.3二维卷积的参数量和计算量5.1.4感受野5.1.5卷积的变种5.1.6带步长和零填充的二维卷积算子5.1.7使用卷积运算完成图像边缘检测任务选做题：实现1、2；阅读3、4、5卷积神经网络（ConvolutionalNeuralNetwork，CNN）受生物学上感受野机制的启发而提出。一般是由卷积层、汇聚层和全连接层交叉堆叠而成的前
HBU_David·2022-12-04 09:11

NNDL 作业10：第六章课后题（LSTM | GRU）

目录习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果习题6-5推导GRU网络中参数的梯度，并分析其避免梯度消失的效果附加题6-1P什么时候应该用GRU?什么时候用LSTM?附加题6-2PLSTMBP推导，并用Numpy实现总结习题6-3当使用公式(6.50)作为循环神经网
HBU_fangerfang·2022-12-04 09:10

NNDL 实验一 numpy

numpy的array操作1.导入numpy库2.建立一个一维数组a初始化为[4,5,6],(1)输出a的类型（type）(2)输出a的各维度的大小（shape）(3)输出a的第一个元素（值为4）3.建立一个二维数组b,初始化为[[4,5,6],[1,2,3]](1)输出各维度的大小（shape）(2)输出b(0,0)，b(0,1),b(1,1)这三个元素（对应值分别为4,5,2）4.(1)建立一
HBU_David·2022-12-04 09:40

NNDL 实验五 前馈神经网络（3）鸢尾花分类

目录深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法编辑4.5.1.1数据分组4.5.2数据处理4.5.2.2用DataLoader进行封装4.5.3模型构建4.5.4完善Runner类4.5.5模型训练4.5.6模型评价4.5.7模型预测思考题1.对比Softmax分类和前馈神经网络分类。（必做）2.自定义隐藏层层数和每个隐藏层中的神经元个数，尝试找到最优
HBU_fangerfang·2022-12-04 09:09

NNDL实验5

深入研究鸢尾花数据集画出数据集中150个数据的前两个特征的散点分布图：这里是借用的代码：只使用了前两个标签的数据df=pd.read_csv('Iris.csv',usecols=[1,2,3,4,5])"""绘制训练集基本散点图，便于人工分析，观察数据集的线性可分性"""#表示绘制图形的画板尺寸为8*5plt.figure(figsize=(8,5))#散点图的x坐标、y坐标、标签plt.sca
mmmooonnneeeyyy·2022-12-04 09:39

NNDL 作业11：优化算法比较

目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理（选做）1.为什么SGD会走“之字形”？其它算法为什么会比较平滑？2.Momentum、AdaGrad对SGD的改进体现在哪里？速度？方向？在图上有哪些体现？3.仅从轨迹来看，Adam似乎不如AdaGrad效果好，是这样么？5.总结SGD、Momentum、AdaGrad、Adam的优缺点（
AI-2 刘子豪·2022-12-04 09:28

NNDL实验 知识点梳理

目录实验内容编程基础机器学习基础FNNCNNRNN网络优化与正则化扩展实验建议自学实验实验基本步骤实验涉及知识点知识点相关细节更多细节实验内容编程基础NNDL实验一numpyNNDL实验二pytorch
HBU_David·2022-12-04 09:57

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

目录6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.1.2模型汇总6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练6.3.2.3损失曲线展示【思考题1】LSTM与SRN实验结果对比，谈谈看法。6.3.3模型评价6.3.3.1在测试集上进行模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图【思考题3】分析LSTM中单元状态和门数
HBU_fangerfang·2022-12-04 09:27

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.1.2模型汇总【思考题1】LSTM与SRN实验结果对比，谈谈看法。（选做）6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.3损失曲线展示6.3.3模型评价6.3.3.1在测试集上进行模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图6.3.3.3LSTM模型门状态和单元状态的变化【思考题2
刘先生TT·2022-12-03 17:30

transformer(一)注意力机制

20210625；短教程：《Transformers》；特邀讲师：邱锡鹏教授_哔哩哔哩_bilibili神经网络与深度学习https://nndl.github.io/ppt/chap-%E6%B3%A8%
shchojj·2022-12-03 11:07

NNDL 作业11：优化算法比较

目录1.编程实现下式，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理1.为什么SGD会走“之字形”？其它算法为什么会比较平滑？2.Momentum、AdaGrad对SGD的改进体现在哪里？速度？方向？在图上有哪些体现？3.仅从轨迹来看，Adam似乎不如AdaGrad效果好，是这样么？4.四种方法分别用了多长时间？是否符合预期？5.调整学习率、动量等超参数，轨迹有
笼子里的薛定谔·2022-12-03 11:07

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

NNDL实验七循环神经网络（3）LSTM的记忆能力实验6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练
笼子里的薛定谔·2022-12-03 11:33

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

NNDL实验七循环神经网络（3）LSTM的记忆能力实验6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练
叶雨柳光·2022-12-03 10:10

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

6.3LSTM的记忆能力实验使用LSTM模型重新进行数字求和实验，验证LSTM模型的长程依赖能力。6.3.1模型构建使用第6.1.2.4节中定义Model_RNN4SeqClass模型，并构建LSTM算子．只需要实例化LSTM，并传入Model_RNN4SeqClass模型，就可以用LSTM进行数字求和实验。6.3.1.1LSTM层自定义LSTM算子importtorch.nn.functiona
weixin_51715088·2022-12-03 08:35

NNDL 实验七 循环神经网络(3) LSTM的记忆能力实验

目录LSTM的记忆能力实验模型构建LSTM层模型训练训练指定长度的数字预测模型多组训练损失曲线显示思考模型评价在测试集上进行模型评价模型在不同长度的数据集上的准确率变化图思考LSTM模型门状态和单元状态的变化思考全面总结RNN（必做）参考LSTM的记忆能力实验长短期记忆网络（LongShort-TermMemoryNetwork，LSTM）是一种可以有效缓解长程依赖问题的循环神经网络．LSTM的特
白小码i·2022-12-03 08:30

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

NNDL实验七循环神经网络（3）LSTM的记忆能力实验6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.1.2模型汇总6.3.2模型训练6.3.2.1训练指定长度的数字预测模型
Perfect(*^ω^*)·2022-12-03 08:19

NNDL 作业10：第六章课后题（LSTM | GRU）

目录习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果习题6-5推导GRU网络中参数的梯度，并分析其避免梯度消失的效果附加题6-1P什么时候应该用GRU?什么时候用LSTM?附加题6-2PLSTMBP推导，并用Numpy实现总结参考习题6-3当使用公式(6.50)作为循环神
牛奶园雪梨·2022-12-03 07:20
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他