nndl

NNDL 作业11：优化算法比较

目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理（1）为什么SGD会走“之字形”？其它算法为什么会比较平滑？（2）Momentum、AdaGrad对SGD的改进体现在哪里？速度？方向？在图上有哪些体现？（3）仅从轨迹来看，Adam似乎不如AdaGrad效果好，是这样么？5.总结SGD、Momentum、AdaGrad、Adam的优缺点6.
Persevere~~~·2022-12-08 10:11

NNDL 作业9：分别使用numpy和pytorch实现BPTT

目录6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.代码实现：#GRADEDFUNCTION:rnn_forwardimportnumpyasnpdefrnn_forwar
沐一mu·2022-12-08 06:30

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

目录LSTM的记忆能力实验模型构建LSTM层模型汇总模型训练训练指定长度的数字预测模型多组训练损失曲线展示模型评价在测试集上进行模型评价模型在不同长度的数据集上的准确率变化图LSTM模型门状态和单元状态的变化【思考题2】LSTM与SRN在不同长度数据集上的准确度对比，谈谈看法。【思考题3】分析LSTM中单元状态和门数值的变化图，并用自己的话解释该图。全面总结RNNrefLSTM的记忆能力实验长短期
沐一mu·2022-12-08 06:30

NNDL 作业10：第六章课后题（LSTM | GRU）

目录习题6-3习题6-4附加题6-1P附加题6-2Pref习题6-3当使用公式（6.50）作为循环神经网络的状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决方法习题6-4推导LSTM网络中参数的梯度,并分析其避免梯度消失的效果.附加题6-1P什么时候应该用GRU?什么时候用LSTM?(选做)GRU和LSTM的区别在于：①GRU通过更新门来控制上一时刻的信息传递和当前时刻计算的隐层信息传递。G
沐一mu·2022-12-08 06:00

NNDL 作业11：优化算法比较

目录编程实现图6-1，并观察特征观察梯度方向编写代码实现算法，并可视化轨迹分析上图，说明原理（选做）总结SGD、Momentum、AdaGrad、Adam的优缺点（选做）增加RMSprop、Nesterov算法。（选做）ref编程实现图6-1，并观察特征importnumpyasnpfrommatplotlibimportpyplotaspltfrommpl_toolkits.mplot3dimp
沐一mu·2022-12-08 06:00

NNDL实验五 前馈神经网络（2）自动梯度计算 & 优化问题

4.3自动梯度计算虽然我们能够通过模块化的方式比较好地对神经网络进行组装，但是每个模块的梯度计算过程仍然十分繁琐且容易出错。在深度学习框架中，已经封装了自动梯度计算的功能，我们只需要聚焦模型架构，不再需要耗费精力进行计算梯度。飞桨提供了paddle.nn.Layer类，来方便快速的实现自己的层和模型。模型和层都可以基于paddle.nn.Layer扩充实现，模型只是一种特殊的层。继承了paddle
HBU_Hbdwhb·2022-12-07 20:18

NNDL 实验四 线性分类

yo前言：不知不觉已经进行了三次深度学习实验，本次实验是关于线性分类及其相关知识，利用不同的线性模型去执行二分类或多分类任务，虽说上学期学习了机器学习，但是通过解决深度学习实验中的每一个问题仍能获得许多新的知识和领悟，接下来开始本次实验，如有错误的地方请大家指正，希望能够相互学习。线性分类是指利用一个或多个线性函数将样本进行分类。常用的线性分类模型有Logistic回归和Softmax回归：Log
白小码i·2022-12-07 20:47

NNDL 实验五 前馈神经网络（2）自动梯度计算 & 优化问题

目录4.3自动梯度计算4.3.1利用预定义算子重新实现前馈神经网络4.3.2完善Runner类4.3.3模型训练4.3.4性能评价4.4优化问题4.4.1参数初始化4.4.2.1模型构建4.4.2.2使用Sigmoid型函数进行训练4.4.2.3使用ReLU函数进行模型训练4.4.3死亡ReLU问题4.4.3.1使用ReLU进行模型训练4.4.3.2使用LeakyReLU进行模型训练4.3自动梯度
.星.·2022-12-07 20:47

NNDL 实验五 前馈神经网络（2）自动梯度计算 & 优化问题

文章目录4.3自动梯度计算4.3.1使用pytorch的预定义算子来重新实现二分类任务4.3.2完善Runner类4.3.3模型训练4.3.4性能评价4.3.5增加一个3个神经元的隐藏层，再次实现二分类，并与1做对比。（必做）4.3.6自定义隐藏层层数和每个隐藏层中的神经元个数，尝试找到最优超参数完成二分类。可以适当修改数据集，便于探索超参数。（选做）4.4优化问题4.4.1参数初始化4.4.2梯
萐茀37·2022-12-07 20:47

【NNDL 作业】优化算法比较 增加 RMSprop、Nesterov

NNDL作业11：优化算法比较_HBU_David的博客-CSDN博客作业第7题。写完程序后，调整不同的学习率，观察现象。
HBU_David·2022-12-07 20:45

NNDL实验 优化算法3D轨迹 鱼书例题3D版

代码源自：深度学习入门：基于Python的理论与实现(ituring.com.cn)2D版讲解：NNDL作业11：优化算法比较调整学习率等超参数，观察动画，可以加深对各种算法的理解。
HBU_David·2022-12-07 20:38

NNDL实验 优化算法3D轨迹 复现cs231经典动画

这个动画很有名气，学习深度学习的朋友大多都见过，源自于：CS231nConvolutionalNeuralNetworksforVisualRecognition复现动画，向经典致敬~第一版：轨迹版第二版：小球版“轨迹版”不如原图生动，观察后，发现缺少移动的小球~失去了小球，就失去了灵魂~赶紧把灵魂找回来~第三版：综合版这样就有点“高仿”的意思了~收工~俯视效果：放在一起对比下：代码改编自《神经网
HBU_David·2022-12-07 20:08

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

目录6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练6.3.2.3损失曲线展示6.3.3模型评价6.3.3.1在测试集上进行模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图6.3.3.3LSTM模型门状态和单元状态的变化全面总结RNNref6.3LSTM的记忆能力实验长短期记忆网络（L
cdd04·2022-12-07 17:15

NNDL 作业11：优化算法比较

目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理（选做）5.总结SGD、Momentum、AdaGrad、Adam的优缺点6.Adam这么好，SGD是不是就用不到了？ref1.编程实现图6-1，并观察特征代码：importnumpyasnpfrommatplotlibimportpyplotaspltfrommpl_toolkits.mp
cdd04·2022-12-07 17:09

NNDL 作业11：优化算法比较

1.编程实现图6-1，并观察特征代码如下：importnumpyasnpfrommatplotlibimportpyplotaspltfrommpl_toolkits.mplot3dimportAxes3Ddeffunc(x,y):returnx*x/20+y*ydefpaint_loss_func():x=np.linspace(-50,50,100)#x的绘制范围是-50到50，从改区间均匀取
weixin_51715088·2022-12-07 15:00

NNDL 作业11：优化算法比较

1.编程实现图6-1，并观察特征importnumpyasnpfrommatplotlibimportpyplotaspltfrommpl_toolkits.mplot3dimportAxes3D#https://blog.csdn.net/weixin_39228381/article/details/108511882deffunc(x,y):returnx*x/20+y*ydefpaint_
真不想再学了·2022-12-07 15:30

NNDL 作业11：优化算法比较

目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹5.总结SGD、Momentum、AdaGrad、Adam的优缺点参考1.编程实现图6-1，并观察特征代码实现importnumpyasnpfrommatplotlibimportpyplotaspltfrommpl_toolkits.mplot3dimportAxes3Ddeffunc(x,y):returnx
冰冻胖头鱼·2022-12-07 11:22

NNDL 作业11：优化算法比较

目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹5.总结SGD、Momentum、AdaGrad、Adam的优缺点6.Adam这么好，SGD是不是就用不到了？1.编程实现图6-1，并观察特征importnumpyasnpfrommatplotlibimportpyplotaspltfrommpl_toolkits.mplot3dimportAxes3Ddeff
蒂洛洛·2022-12-06 15:25

NNDL 作业10：第六章课后题（LSTM | GRU）

目录习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果编辑习题6-5推导GRU网络中参数的梯度，并分析其避免梯度消失的效果习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.公式(6.50)为：在公式为在第K时刻函数
蒂洛洛·2022-12-06 15:24

NNDL 实验五 前馈神经网络（1）二分类任务

pytorch实现4.1神经元4.1.1净活性值使用pytorch计算一组输入的净活性值z净活性值z经过一个非线性函数f(·)后，得到神经元的活性值a使用pytorch计算一组输入的净活性值，代码参考paddle例题：importpaddle#2个特征数为5的样本X=paddle.rand(shape=[2,5])#含有5个参数的权重向量w=paddle.rand(shape=[5,1])#偏置项
蒂洛洛·2022-12-06 15:54

NNDL 作业3：分别使用numpy和pytorch实现FNN例题

目录过程推导-了解BP原理数值计算-手动计算，掌握细节代码实现-numpy手推+pytorch自动1、对比【numpy】和【pytorch】程序，总结并陈述。numpy程序pytorch程序2、激活函数Sigmoid用PyTorch自带函数torch.sigmoid()，观察、总结并陈述。3、激活函数Sigmoid改变为Relu，观察、总结并陈述。4、损失函数MSE用PyTorch自带函数t.nn
蒂洛洛·2022-12-06 15:54

NNDL 实验六 卷积神经网络（1）卷积

目录5.1卷积5.1.1二维卷积运算5.1.2二维卷积算子5.1.3二维卷积的参数量和计算量5.1.4感受野5.1.5卷积的变种5.1.6带步长和零填充的二维卷积算子5.1.7使用卷积运算完成图像边缘检测任务基于Pytorch实现的Canny边缘检测器卷积神经网络（ConvolutionalNeuralNetwork，CNN）受生物学上感受野机制的启发而提出。一般是由卷积层、汇聚层和全连接层交叉堆
蒂洛洛·2022-12-06 15:54

NNDL 作业9：分别使用numpy和pytorch实现BPTT

目录6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.importtorchimportnumpyasnpclassRNNCell:def__init__(self,weig
蒂洛洛·2022-12-06 15:54

NNDL 实验三 线性回归

使用pytorch实现2.2线性回归2.2.1数据集构建构造一个小的回归数据集：生成150个带噪音的样本，其中100个训练样本，50个测试样本，并打印出训练数据的可视化分布。importnumpyasnpimporttorchimportpandasaspdimportmatplotlib.pyplotaspltdefcreat_data(w,b,num_examples):x=torch.nor
蒂洛洛·2022-12-06 15:24

NNDL 实验二 pytorch入门

一.概念：张量、算子张量：数据经常用张量(Tensor)的形式来存储。张量是矩阵的扩展与延伸，可以认为是高阶的矩阵。1阶张量为向量，2阶张量为矩阵。如果你对Numpy熟悉，那么张量是类似于Numpy的多维数组(ndarray)的概念，可以具有任意多的维度。在深度学习框架中数据一般使用张量来进行存储，例如一维张量就是标量二维张量就是向量等等，总的来说张量就是数据的总称，区分数据可以依靠不同维数的张量
蒂洛洛·2022-12-06 15:54

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

目录6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.1.2模型汇总6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练6.3.2.3损失曲线展示【思考题1】LSTM与SRN实验结果对比，谈谈看法。（选做）6.3.3模型评价6.3.3.1在测试集上进行模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图【思考题2】LSTM与SRN在不
蒂洛洛·2022-12-06 15:21

NNDL 作业10：第六章课后题（LSTM | GRU）

目录习题6-3当使用公式(6.50)作为循环神经网络的状态更新公式时,分析其可能存在梯度爆炸的原因并给出解决方法.习题6-4推导LSTM网络中参数的梯度,并分析其避免梯度消失的效果.习题6-5推导GRU网络中参数的梯度,并分析其避免梯度消失的效果.(选做)附加题6-1P什么时候应该用GRU?什么时候用LSTM?参考习题6-3当使用公式(6.50)作为循环神经网络的状态更新公式时,分析其可能存在梯度
Stacey.933·2022-12-06 14:19

NNDL 实验七 循环神经网络（2）梯度爆炸实验

6.2梯度爆炸实验造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。一般来讲，循环网络的梯度爆炸问题比较容易解决，一般通过权重衰减或梯度截断可以较好地来避免；对于梯度消失问题，更加有效的方式是改变模型，比如通过长短期记忆网络LSTM来进行缓解。本节将首先进行复现简单循环网络中的梯度爆炸问题，然后尝试使用梯度截断的方式进行解决。这里采用长度为20的数据集进行实验，训练过程中将进行
Stacey.933·2022-12-06 14:19

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

目录6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.1.2模型汇总6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练6.3.2.3损失曲线展示【思考题1】LSTM与SRN实验结果对比，谈谈看法。6.3.3模型评价6.3.3.1在测试集上进行模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图【思考题2】LSTM与SRN在不同长度数
Stacey.933·2022-12-06 14:10

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

文章目录6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.1.2模型汇总6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练6.3.2.3损失曲线展示【思考题1】LSTM与SRN实验结果对比，谈谈看法。（选做）6.3.3模型评价6.3.3.1在测试集上进行模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图【思考题2】LSTM与SRN
牛奶园雪梨·2022-12-06 13:38

NNDL 作业11：优化算法比较

文章目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理（选做）5.总结SGD、Momentum、AdaGrad、Adam的优缺点（选做）6.Adam这么好，SGD是不是就用不到了？（选做）总结参考1.编程实现图6-1，并观察特征importnumpyasnpfrommatplotlibimportpyplotaspltfrommpl_too
牛奶园雪梨·2022-12-06 13:37

NNDL 实验七 循环神经网络（2）梯度爆炸实验

目录6.2梯度爆炸实验6.2.1梯度打印函数6.2.2复现梯度爆炸现象6.2.3使用梯度截断解决梯度爆炸问题【思考题】梯度截断解决梯度爆炸问题的原理是什么？6.2梯度爆炸实验造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。梯度爆炸问题：比较容易解决，一般通过权重衰减或梯度截断可以较好地来避免；梯度消失问题：更加有效的方式是改变模型，比如通过长短期记忆网络LSTM来进行缓解。本
_Gypsophila___·2022-12-06 11:42

NNDL 作业10：第六章课后题（LSTM | GRU）

习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.令为在第k时刻函数的输入，在计算误差项时，梯度有可能过大，从而导致梯度爆炸解决：增加门控机制，使用长短期记忆神经网络习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果编辑LSTM通过门控机制解决梯度问题，forgetinputoutput门非0即1门为1时梯度能很好地在LS
_Gypsophila___·2022-12-06 11:42

NNDL 实验七 循环神经网络（1）RNN记忆能力实验

目录6.1循环神经网络的记忆能力实验6.1.1数据集构建6.1.1.1数据集的构建函数6.1.1.2加载数据并进行数据划分6.1.1.3构造Dataset类6.1.2模型构建6.1.2.1嵌入层6.1.2.2SRN层6.1.2.3线性层6.1.2.4模型汇总6.1.3模型训练6.1.3.1训练指定长度的数字预测模型6.1.3.2多组训练6.1.3.3损失曲线展示6.1.4模型评价【动手练习】6.1
_Gypsophila___·2022-12-06 11:42

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

目录6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.1.2模型汇总6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练6.3.2.3损失曲线展示【思考题1】LSTM与SRN实验结果对比，谈谈看法。（选做）6.3.3模型评价6.3.3.1在测试集上进行模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图【思考题2】LSTM与SRN在不
_Gypsophila___·2022-12-06 11:31

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

文章目录6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.1.2模型汇总6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练6.3.2.3损失曲线展示【思考题1】LSTM与SRN实验结果对比，谈谈看法。6.3.3模型评价6.3.3.1在测试集上进行模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图【思考题2】LSTM与SRN在不同长
萐茀37·2022-12-06 11:40

NNDL 作业11：优化算法比较

文章目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理（选做）1.为什么SGD会走“之字形”？其它算法为什么会比较平滑？2.Momentum、AdaGrad对SGD的改进体现在哪里？速度？方向？在图上有哪些体现？3.仅从轨迹来看，Adam似乎不如AdaGrad效果好，是这样么？5.总结SGD、Momentum、AdaGrad、Adam的优缺
萐茀37·2022-12-06 11:28

NNDL 作业11：优化算法比较

文章目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理（选做）5.总结SGD、Momentum、AdaGrad、Adam的优缺点（选做）总结1.编程实现图6-1，并观察特征importnumpyasnpfrommatplotlibimportpyplotaspltfrommpl_toolkits.mplot3dimportAxes3D#ht
plum-blossom·2022-12-06 06:53

NNDL 作业10：第六章课后题（LSTM | GRU）

文章目录前言编辑一、当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法。二、习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果三、习题6-5推导GRU网络中参数的梯度，并分析其避免梯度消失的效果四、附加题6-1P什么时候应该用GRU?什么时候用LSTM?五、附加题6-2PLSTMBP推导，并用Numpy实现总结前言这次，我还是写的很细
别被打脸·2022-12-05 15:51

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

文章目录前言一、6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.1.2模型汇总6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练6.3.2.3损失曲线展示【思考题1】LSTM与SRN实验结果对比，谈谈看法。（选做）6.3.3模型评价6.3.3.1在测试集上进行模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图【思考题2】LSTM
别被打脸·2022-12-05 15:51

NNDL 作业11：优化算法比较

文章目录前言一、1.编程实现图6-1，并观察特征二、观察梯度方向三、3.编写代码实现算法，并可视化轨迹四、4.分析上图，说明原理（选做）1、为什么SGD会走“之字形”？其它算法为什么会比较平滑？2、Momentum、AdaGrad对SGD的改进体现在哪里？速度？方向？在图上有哪些体现？MomentumAdagrad3、仅从轨迹来看，Adam似乎不如AdaGrad效果好，是这样么？4、四种方法分别用
别被打脸·2022-12-05 15:45

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

文章目录6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.1.2模型汇总6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练6.3.2.3损失曲线展示【思考题1】LSTM与SRN实验结果对比，谈谈看法。（选做）6.3.3模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图【思考题2】LSTM与SRN在不同长度数据集上的准确度对比，谈谈
辰 希·2022-12-05 13:53

NNDL 作业5：卷积

目录作业一作业二一、概念二、探究不同卷积核的作用三、编程实现总结作业一编程实现1.图1使用卷积核，输出特征图importtorchimportmatplotlib.pyplotaspltimporttorch.nn.functionalasFimportnumpyasnp#生成图片defcreate_pic():picture=torch.Tensor([[0,0,0,255,255,255],[
.星.·2022-12-05 13:20

NNDL 作业11：优化算法比较

文章目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理（选做）1.为什么SGD会走“之字形”？其它算法为什么会比较平滑？2.Momentum、AdaGrad对SGD的改进体现在哪里？速度？方向？在图上有哪些体现？3.仅从轨迹来看，Adam似乎不如AdaGrad效果好，是这样么？5、调整学习率、动量等超参数，轨迹有哪些变化？5.总结SGD、M
辰 希·2022-12-05 13:14

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

目录6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.1.2模型汇总6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练6.3.2.3损失曲线展示6.3.3模型评价6.3.3.1在测试集上进行模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图【思考题2】LSTM与SRN在不同长度数据集上的准确度对比，谈谈看法。（选做）6.3.3.3
冰冻胖头鱼·2022-12-05 13:14

HBU-NNDL 作业11：优化算法比较

目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理1、为什么SGD会走“之字形”？其它算法为什么会比较平滑？2、Momentum、AdaGrad对SGD的改进体现在哪里？速度？方向？在图上有哪些体现？3、仅从轨迹来看，Adam似乎不如AdaGrad效果好，是这样么？4、四种方法分别用了多长时间？是否符合预期？5、调整学习率、动量等超参数，轨
不是蒋承翰·2022-12-05 13:13

NNDL 作业11：优化算法比较

NNDL作业11：优化算法比较目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理（选做）5.总结SGD、Momentum、AdaGrad、Adam
小鬼缠身、·2022-12-05 11:28

NNDL 实验二 pytorch入门

一.概念：张量、算子写出定义，并用通俗易懂的语言描述自己的理解。张量的定义：在深度学习框架中，数据经常用张量(Tensor)的形式来存储。张量是矩阵的扩展与延伸，可以认为是高阶的矩阵。1阶张量为向量，2阶张量为矩阵。理解：那么张量是类似于Numpy的多维数组(ndarray)的概念，可以具有任意多的维度。算子定义：深度学习算法由一个个计算单元组成，我们称这些计算单元为算子（Operator，简称O
AI-2 刘子豪·2022-12-05 10:34

NNDL实验 优化算法3D轨迹 pytorch版

程序改编自《神经网络与深度学习：案例与实践》（Paddle版）7.3不同优化算法的比较分析神经网络与深度学习(nndl.github.io)最终效果：动画：plt.show()看动画没问题。
HBU_David·2022-12-05 10:58

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

目录6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.1.2模型汇总6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练6.3.2.3损失曲线展示【思考题1】LSTM与SRN实验结果对比，谈谈看法。（选做）6.3.3模型评价6.3.3.1在测试集上进行模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图【思考题2】LSTM与SRN在不
五元钱·2022-12-05 10:26
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他