nndl

NNDL 作业10：第六章课后题（LSTM | GRU）

目录习题6-3当使用公式(6.50)作为循环神经网络的状态更新公式时,分析其可能存在梯度爆炸的原因并给出解决方法.习题6-4推导LSTM网络中参数的梯度,并分析其避免梯度消失的效果.习题6-5推导GRU网络中参数的梯度,并分析其避免梯度消失的效果.(选做)附加题6-1P什么时候应该用GRU?什么时候用LSTM?（选做）习题6-3当使用公式(6.50)作为循环神经网络的状态更新公式时,分析其可能存在
白小码i·2022-12-02 15:22

NNDL 作业10：第六章课后题（LSTM | GRU）

目录习题6-3当使用公式(6.50)作为循环神经网络的状态更新公式时,分析其可能存在梯度爆炸的原因并给出解决方法习题6-4推导LSTM网络中参数的梯度,并分析其避免梯度消失的效果附加题6-1P:什么时候应该用GRU?什么时候用LSTM?(选做)总结习题6-3当使用公式(6.50)作为循环神经网络的状态更新公式时,分析其可能存在梯度爆炸的原因并给出解决方法答：令为在第k时刻函数的输入，在计算公式时，
.星.·2022-12-02 13:06

NNDL 作业9：分别使用numpy和pytorch实现BPTT

目录6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.总结6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.importtorchimportnumpyasnpclassRNNCell:def__init__(self,we
.星.·2022-12-02 13:35

NNDL 实验七 循环神经网络（4）基于双向LSTM的文本分类

6.4实践：基于双向LSTM模型完成文本分类任务电影评论可以蕴含丰富的情感：比如喜欢、讨厌、等等．情感分析（SentimentAnalysis）是为一个文本分类问题，即使用判定给定的一段文本信息表达的情感属于积极情绪，还是消极情绪．本实践使用IMDB电影评论数据集，使用双向LSTM对电影评论进行情感分析．6.4.1数据处理IMDB电影评论数据集是一份关于电影评论的经典二分类数据集．IMDB按照评分
HBU_David·2022-12-02 13:03

NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

目录6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练6.3.2.3损失曲线展示6.3.3模型评价6.3.3.1在测试集上进行模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图6.3.3.3LSTM模型门状态和单元状态的变化全面总结RNN6.3LSTM的记忆能力实验使用LSTM模型重新进行
.星.·2022-12-02 13:28

HBU-NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

目录6.3LSTM的记忆能力实验6.3.1模型构建6.3.1.1LSTM层6.3.2模型训练6.3.2.1训练指定长度的数字预测模型6.3.2.2多组训练【思考题1】LSTM与SRN实验结果对比，谈谈看法。6.3.3模型评价6.3.3.1在测试集上进行模型评价6.3.3.2模型在不同长度的数据集上的准确率变化图【思考题2】LSTM与SRN在不同长度数据集上的准确度对比，谈谈看法。6.3.3.3LS
不是蒋承翰·2022-12-02 13:58

NNDL 作业10：第六章课后题（LSTM | GRU）

GRU的优点是其模型的简单性，因此更适用于构建较大的网络。它只有两个门控，从计算角度看，它的效率更高，它的可扩展性有利于构筑较大的模型；但是LSTM更加的强大和灵活，因为它具有三个门控。LSTM是经过历史检验的方法。因此，如果你要选取一个，我认为大多数人会把LSTM作为默认第一个去尝试的方法。同时GRU，因为其简单而且效果可以（和LSTM）比拟，可以更容易的将其扩展到更大的问题。
Guo_weiqi·2022-12-02 13:26

NNDL 作业10：第六章课后题（LSTM | GRU）

文章目录习题6-3习题6-4习题6-5附加题6-1P附加题6-2P参考链接习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.公式是：还会存在两个问题（1）梯度爆炸问题：令为在第k时刻函数g(·)的输入，在计算公式中的误差项时，梯度可能会过大，从而导致梯度爆炸问题（2）记忆容量问题：随着ht不断累积存储新的输入信息，会发生饱和现象。假设g(
凉堇·2022-12-02 03:21

NNDL 实验七 循环神经网络（一） 梯度爆炸实验

6.2梯度爆炸实验造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。一般来讲，循环网络的梯度爆炸问题比较容易解决，一般通过权重衰减或梯度截断可以较好地来避免；对于梯度消失问题，更加有效的方式是改变模型，比如通过长短期记忆网络LSTM来进行缓解。本节将首先进行复现简单循环网络中的梯度爆炸问题，然后尝试使用梯度截断的方式进行解决。这里采用长度为20的数据集进行实验，训练过程中将进行
真不想再学了·2022-12-01 19:26

NNDL 作业10：第六章课后题（LSTM | GRU）

习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.公式(6.50)：ht=ht−1+g(xt,ht−1;Θ)h_{t}=h_{t-1}+g(x_{t},h_{t-1};\Theta)ht=ht−1+g(xt,ht−1;Θ)令Zk=Uhk−1+Wxk+bZ_k=Uh_{k-1}+Wx_k+bZk=Uhk−1+Wxk+b为在第k时刻函数g(·
真不想再学了·2022-12-01 19:20

NNDL 作业10：第六章课后题（LSTM | GRU）

NNDL作业10：第六章课后题（LSTM|GRU）习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果习题
叶雨柳光·2022-11-30 21:17

NNDL 实验六 卷积神经网络（5）使用预训练resnet18实现CIFAR-10分类

文章目录5.5实践：基于ResNet18网络完成图像分类任务5.5.1数据处理5.5.1.1数据集介绍5.5.1.2数据读取5.5.1.3构造Dataset类5.5.2模型构建什么是“预训练模型”？什么是“迁移学习”？（必做）比较“使用预训练模型”和“不使用预训练模型”的效果。（必做）5.5.3模型训练5.5.4模型评价5.5.5模型预测思考题1.阅读《DeepResidualLearningfo
辰 希·2022-11-30 14:58

NNDL 作业1：第二章课后题

习题2-1分析为什么平方损失函数不适用于分类问题,交叉熵损失函数不适用于回归问题。1、平方损失函数的定义平方损失函数较为容易理解，它直接测量机器学习模型的输出与实际结果之间的距离。平方损失函数可以被定义为：2、交叉熵损失函数定义交叉熵（CrossEntry）是用来评估当前训练得到的概率分布与真实分布的差异情况，减少交叉熵损失就是在提高模型的预测准确率。其离散函数形式参数解释：p(x)是真实分布的概
辰 希·2022-11-30 14:57

NNDL 作业4：第四章课后题

文章目录习题4-2试设计一个前馈神经网络来解决XOR问题，要求该前馈神经网络具有两个隐藏神经元和一个输出神经元，并使用ReLU作为激活函数。习题4-3试举例说明“死亡ReLU问题”，并提出解决方法.习题4-7为什么在神经网络模型的结构化风险函数中不对偏置b进行正则化?习题4-8为什么在用反向传播算法进行参数学习时要采用随机参数初始化的方式而不是直接令w=0,=0？习题4-9梯度消失问题是否可以通过
辰 希·2022-11-30 14:57

NNDL 作业6：基于CNN的XO识别

文章目录一、实现卷积-池化-激活1.Numpy版本：手工实现卷积-池化-激活2.Pytorch版本：调用函数实现卷积-池化-激活3.可视化：了解数字与图像之间的关系二、基于CNN的XO识别1.数据集1.1数据集展示：1.2划分训练集和测试集2.构建模型3.训练模型4.测试训练好的模型5.计算模型的准确率6.查看训练好的模型的特征图7.查看训练好的模型的卷积核8.训练模型源代码9.测试模型源代码总结
辰 希·2022-11-30 14:57

NNDL 实验二 Pytorch入门

一.概念：张量、算子1.1张量在深度学习的实践中，我们通常使用向量或矩阵运算来提高计算效率。比如w1x1+w2x2+⋯+wNxNw的计算可以用w⊤x来代替（其中w=[w1w2⋯wN]⊤，x=[x1x2⋯xN]⊤，这样可以充分利用计算机的并行计算能力，特别是利用GPU来实现高效矩阵运算。在深度学习框架中，数据经常用张量(Tensor)的形式来存储。张量是矩阵的扩展与延伸，可以认为是高阶的矩阵。1阶张
辰 希·2022-11-30 14:27

NNDL 作业10：第六章课后题（LSTM | GRU）

文章目录习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果习题6-5推导GRU网络中参数的梯度，并分析其避免梯度消失的效果附加题6-1P什么时候应该用GRU?什么时候用LSTM?附加题6-2PLSTMBP推导，并用Numpy实现总结参考文章习题6-3当使用公式(6.50)作
辰 希·2022-11-30 13:11

NNDL 实验七 循环神经网络（2）梯度爆炸实验

目录6.2梯度爆炸实验6.2.1梯度打印函数6.2.2复现梯度爆炸现象6.2.3使用梯度截断解决梯度爆炸问题思考题梯度截断解决梯度爆炸问题的原理是什么？参考文献6.2梯度爆炸实验造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。一般来讲，循环网络的梯度爆炸问题比较容易解决，一般通过权重衰减或梯度截断可以较好地来避免；对于梯度消失问题，更加有效的方式是改变模型，比如通过长短期记忆
冰冻胖头鱼·2022-11-30 12:24

NNDL 实验七 循环神经网络（1）RNN记忆能力实验

目录6.1循环神经网络的记忆能力实验6.1.1数据集构建6.1.1.1数据集的构建函数6.1.1.2加载数据并进行数据划分6.1.1.3构造Dataset类6.1.2模型构建6.1.2.1嵌入层6.1.2.2SRN层6.1.2.3线性层6.1.2.4模型汇总6.1.3模型训练6.1.3.1训练指定长度的数字预测模型6.1.3.2多组训练6.1.3.3损失曲线展示6.1.4模型评价心得体会ref循环
cdd04·2022-11-30 12:21

NNDL 实验七 循环神经网络（2）梯度爆炸实验

目录6.2梯度爆炸实验6.2.1梯度打印函数6.2.2复现梯度爆炸现象6.2.3使用梯度截断解决梯度爆炸问题【思考题】梯度截断解决梯度爆炸问题的原理是什么？6.2梯度爆炸实验造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。一般来讲，循环网络的梯度爆炸问题比较容易解决，一般通过权重衰减或梯度截断可以较好地来避免；对于梯度消失问题，更加有效的方式是改变模型，比如通过长短期记忆网络
cdd04·2022-11-30 12:21

NNDL 作业9：分别使用numpy和pytorch实现BPTT

目录6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.ref6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.importtorchimportnumpyasnpclassRNNCell:def__init__(self,w
cdd04·2022-11-30 12:21

NNDL 作业10：第六章课后题（LSTM | GRU）

目录习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.习题6-4推导LSTM网络中参数的梯度,并分析其避免梯度消失的效果.习题6-5推导GRU网络中参数的梯度,并分析其避免梯度消失的效果.(选做)附加题6-1P:什么时候应该用GRU?什么时候用LSTM?(选做)ref习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其
cdd04·2022-11-30 12:16

NNDL 作业9：分别使用numpy和pytorch实现BPTT

6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.importtorchimportnumpyasnpclassRNNCell:def__init__(self,weight_ih,weight_hh,bias_ih,bias_hh):self.weight_ih=weight_ihself.weight_hh
冰冻胖头鱼·2022-11-30 12:16

NNDL 实验七 循环神经网络（1）RNN记忆能力实验

目录6.1循环神经网络的记忆能力实验6.1.1数据集构建6.1.1.1数据集的构建函数6.1.1.2加载数据并进行数据划分6.1.1.3构造Dataset类6.1.2模型构建6.1.2.1嵌入层6.1.2.2SRN层6.1.2.3线性层6.1.2.4模型汇总6.1.3模型训练6.1.3.1训练指定长度的数字预测模型6.1.3.2多组训练6.1.3.3损失曲线展示6.1.4模型评价总结参考循环神经网
五元钱·2022-11-30 07:47

NNDL 实验七 循环神经网络（2）梯度爆炸实验

目录6.2梯度爆炸实验6.2.1梯度打印函数6.2.2复现梯度爆炸现象6.2.3使用梯度截断解决梯度爆炸问题【思考题】梯度截断解决梯度爆炸问题的原理是什么？总结参考6.2梯度爆炸实验造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。一般来讲，循环网络的梯度爆炸问题比较容易解决，一般通过权重衰减或梯度截断可以较好地来避免；对于梯度消失问题，更加有效的方式是改变模型，比如通过长短期
五元钱·2022-11-30 07:47

NNDL 作业9：分别使用numpy和pytorch实现BPTT

目录6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.参考6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.importtorchimportnumpyasnpclassRNNCell:def__init__(self,we
五元钱·2022-11-30 07:47

NNDL 实验六 卷积神经网络（5）使用预训练resnet18实现CIFAR-10分类

目录5.5实践：基于ResNet18网络完成图像分类任务5.5.1数据处理5.5.1.1数据集介绍5.5.1.2数据读取5.5.1.3构造Dataset类5.5.2模型构建5.5.3模型训练5.5.4模型评价5.5.5模型预测总结参考5.5实践：基于ResNet18网络完成图像分类任务图像分类（ImageClassification）是计算机视觉中的一个基础任务，将图像的语义将不同图像划分到不同类
五元钱·2022-11-30 07:17

NNDL 作业5：卷积

目录作业11.图1使用卷积核编辑，输出特征图2.图1使用卷积核编辑，输出特征图3.图2使用卷积核编辑，输出特征图4.图2使用卷积核编辑，输出特征图5.图3使用卷积核编辑，编辑，编辑，输出特征图作业2一、概念二、探究不同卷积核的作用三、编程实现1、实现灰度图的边缘检测、锐化、模糊。（必做）2、调整卷积核参数，测试并总结。（必做）3、使用不同尺寸图片，测试并总结。（必做）总结参考链接作业1通过编程实现
五元钱·2022-11-30 07:16

NNDL 实验六 卷积神经网络（1）卷积

目录目录5.1卷积5.1.1二维卷积运算5.1.2二维卷积算子5.1.3二维卷积的参数量和计算量5.1.4感受野5.1.5卷积的变种5.1.6带步长和零填充的二维卷积算子5.1.7使用卷积运算完成图像边缘检测任务选做基于Pytorch实现的Canny边缘检测器总结参考卷积神经网络（ConvolutionalNeuralNetwork，CNN）受生物学上感受野机制的启发而提出。一般是由卷积层、汇聚层
五元钱·2022-11-30 07:16

NNDL 实验一 numpy

1.导入numpy库importnumpyasnp2.建立一个一维数组a初始化为[4,5,6],(1)输出a的类型（type）(2)输出a的各维度的大小（shape）(3)输出a的第一个元素（值为4）a=np.array([4,5,6])print(type(a))print(a.shape)print(a[0])运行结果3.建立一个二维数组b,初始化为[[4,5,6],[1,2,3]](1)输出
五元钱·2022-11-30 07:46

NNDL 实验二 pytorch入门

在上次实验我们已经对python进行了简单的回顾，并且上次我们也安装了numpy库，并且对其进行了简单的应用。这次我们就来学习一下新的内容，掌握一些深度学习需要的基本内容，pytorch入门级别教学。一.概念：张量、算子张量：张量是深度学习中表示和存储数据的主要形式，是类似于Numpy的多维数组的概念，张量是矩阵的扩展与延伸，可以认为是高阶的矩阵，1阶张量为向量，2阶张量为矩阵。算子：算子是构建复
五元钱·2022-11-30 07:46

NNDL 作业10：第六章课后题（LSTM | GRU）

目录习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果编辑习题6-5推导GRU网络中参数的梯度，并分析其避免梯度消失的效果参考习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.公式(6.50)为：在公式为在第K时刻
五元钱·2022-11-30 07:42

NNDL 作业9：分别使用numpy和pytorch实现BPTT

文章目录6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.总结6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.importtorchimportnumpyasnpclassRNNCell:def__init__(self,
plum-blossom·2022-11-29 14:22

NNDL 实验七 循环神经网络（2）梯度爆炸实验

文章目录6.2梯度爆炸实验6.2.1梯度打印函数【思考】什么是范数，什么是L2范数，这里为什么要打印梯度范数？6.2.2复现梯度爆炸现象6.2.3使用梯度截断解决梯度爆炸问题【思考题】梯度截断解决梯度爆炸问题的原理是什么？总结参考6.2梯度爆炸实验造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。梯度爆炸问题：比较容易解决，一般通过权重衰减或梯度截断可以较好地来避免；梯度消失问
plum-blossom·2022-11-29 14:21

NNDL 实验七 循环神经网络（1）RNN记忆能力实验

文章目录6.1循环神经网络的记忆能力实验6.1.1数据集构建6.1.1.1数据集的构建函数6.1.1.2加载数据并进行数据划分6.1.1.3构造Dataset类6.1.2模型构建6.1.2.1嵌入层6.1.2.2SRN层6.1.2.3线性层6.1.2.4模型汇总6.1.3模型训练6.1.3.1训练指定长度的数字预测模型6.1.3.2多组训练6.1.3.3损失曲线展示6.1.4模型评价总结参考：循环
plum-blossom·2022-11-29 14:51

NNDL 作业10：第六章课后题（LSTM | GRU）

文章目录习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果习题6-5推导GRU网络中参数的梯度，并分析其避免梯度消失的效果附加题6-1P什么时候应该用GRU?什么时候用LSTM?附加题6-2PLSTMBP推导，并用Numpy实现参考习题6-3当使用公式(6.50)作为循环神
plum-blossom·2022-11-29 14:45

NNDL 实验四 线性分类

pytorch实现第3章线性分类3.1基于Logistic回归的二分类任务3.1.1数据集构建构建一个简单的分类任务，并构建训练集、验证集和测试集。本任务的数据来自带噪音的两个弯月形状函数，每个弯月对一个类别。我们采集1000条样本，每个样本包含2个特征。随机采集1000个样本，并进行可视化。将1000条样本数据拆分成训练集、验证集和测试集，其中训练集640条、验证集160条、测试集200条。3.
HBU_David·2022-11-28 21:12

NNDL 作业10 第六章课后题（LSTM|GRU）

目录习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.习题6-4推导LSTM网络中参数的梯度,并分析其避免梯度消失的效果.习题6-5推导GRU网络中参数的梯度,并分析其避免梯度消失的效果.(选做)附加题6-1P:什么时候应该用GRU?什么时候用LSTM?(选做)附加题6-2PLSTMBP推导，并用Numpy实现习题6-3当使用公式(6.5
LzeKun·2022-11-28 15:59

NNDL 作业10：第六章课后题（LSTM | GRU）

习题6-3：当使用公式(6.50)作为循环神经网络的状态更新公式时,分析其可能存在梯度爆炸的原因并给出解决方法.答：令为在第k时刻函数g(⋅)的输入，在计算公式6.34中的误差项时，梯度可能过大，从而导致梯度过大问题。解决办法：增加门控控制。例如：长短期记忆神经网络（LSTM）习题6-4：推导LSTM网络中参数的梯度,并分析其避免梯度消失的效果.答：习题6-5：推导GRU网络中参数的梯度,并分析其
Perfect(*^ω^*)·2022-11-28 15:53

NNDL 作业9：分别使用numpy和pytorch实现BPTT

文章目录6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.总结参考文章6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.#coding=gbkimportosos.environ['KMP_DUPLICATE_LIB_OK'
辰 希·2022-11-28 08:57

NNDL 作业10：第六章课后题（LSTM | GRU）

习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.公式(6.50)为：原因：在计算公式6.34中的误差项时，梯度可能过大，从而导致梯度过大问题。解决办法：使用长短期记忆神经网络。习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果其中E为损失函数，由于LSTM中通过门控机制解决梯度问题，遗忘门，输入门和输出门是非0就是1的，
weixin_51715088·2022-11-28 08:57

NNDL 作业4：第四章课后题

目录习题4-2试设计一个前馈神经网络来解决XOR问题，要求该前馈神经网络具有两个隐藏神经元和一个输出神经元，并使用ReLU作为激活函数习题4-5试举例说明死亡ReLU问题，并给出解决方法。习题4-7为什么在神经网络模型的结构化风险函数中不对偏置b进行正则化？习题4-8为什么在用反向传播算法进行参数学习时要采用随机参数初始化的方式而不是直接令W=0，b=0？习题4-9梯度消失问题是否可以通过增加学习
HBU_fangerfang·2022-11-28 08:19

NNDL 作业7：第五章课后题（1×1 卷积核 | CNN BP）

目录习题5-2证明宽卷积具有交换性，即公式:习题5-3分析卷积神经网络中用1×1的卷积核的作用习题5-4对于一个输入为100×100×256的特征映射组，使用3×3的卷积核，输出为100×100×256的特征映射组的卷积层，求其时间和空间复杂度。如果引入一个1×1的卷积核，先得到100×100×64的特征映射，再进行3×3的卷积，得到100×100×256的特征映射组，求其时间和空间复杂度。习题5
牛奶园雪梨·2022-11-28 08:48

HBU-NNDL 作业3：分别使用numpy和pytorch实现FNN例题

目录一、过程推导-了解BP原理1、前馈计算的过程第二层隐藏层的计算：输出层的计算2、反向传播的计算BP神经网络权值、阈值更新公式推导二、数值计算-手动计算，掌握细节三、代码实现-numpy手推+pytorch自动1、对比【numpy】和【pytorch】程序，总结并陈述。numpy版pytorch版2、激活函数Sigmoid用PyTorch自带函数torch.sigmoid()，观察、总结并陈述。
不是蒋承翰·2022-11-28 08:48

HBU-NNDL 作业5：卷积

目录作业1编程实现1.图1使用卷积核编辑，输出特征图2.图1使用卷积核编辑，输出特征图3.图2使用卷积核编辑，输出特征图4.图2使用卷积核编辑，输出特征图5.图3使用卷积核编辑，编辑，编辑，输出特征图作业2一、概念二、探究不同卷积核的作用三、编程实现总结参考作业1编程实现importtorch.nnasnnimporttorchimportmatplotlib.pyplotaspltimportn
不是蒋承翰·2022-11-28 08:17

NNDL 作业10：第六章课后题（LSTM | GRU）

目录习题6-3习题6-4习题6-5参考文献习题6-3  当使用公式(6.50)作为循环神经网络的状态更新公式时,分析其可能存在梯度爆炸的原因并给出解决方法。习题6-4  推导LSTM网络中参数的梯度,并分析其避免梯度消失的效果。（注，下面图片中的W和书上的W有些不同，代替了书上的W和U）  LSTM在计算梯度时，不会从头到尾进行梯度传播，只是部分进行负责梯度传播，而好多过于久远的信息占比就很少了，
红肚兜·2022-11-28 07:42

NNDL 作业9：分别使用numpy和pytorch实现BPTT

6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试importtorchimportnumpyasnpclassRNNCell:def__init__(self,weight_ih,weight_hh,bias_ih,bias_hh):self.weight_ih=weight_ihself.weight_hh=
刘先生TT·2022-11-28 07:11

HBU-NNDL 作业10：第六章课后题（LSTM | GRU）

目录习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果习题6-5推导GRU网络中参数的梯度，并分析其避免梯度消失的效果附加题6-1P什么时候应该用GRU?什么时候用LSTM?心得体会习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原
不是蒋承翰·2022-11-28 07:41

NNDL 实验七 循环神经网络（2）梯度爆炸实验

文章目录6.2梯度爆炸实验6.2.1梯度打印函数【思考题】6.2.2复现梯度爆炸现象6.2.3使用梯度截断解决梯度爆炸问题【思考题】总结心得体会参考链接6.2梯度爆炸实验造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。一般来讲，循环网络的梯度爆炸问题比较容易解决，一般通过权重衰减或梯度截断可以较好地来避免；对于梯度消失问题，更加有效的方式是改变模型，比如通过长短期记忆网络LS
凉堇·2022-11-28 07:10

NNDL 实验六 卷积神经网络（5）使用预训练resnet18实现CIFAR-10分类

目录5.5实践：基于ResNet18网络完成图像分类任务5.5.1数据处理5.5.1.1数据集介绍5.5.1.2数据集导入5.5.1.3数据集划分5.5.2模型构建5.5.2.1使用Resnet18进行图像分类实验5.5.2.2什么是“预训练模型”？什么是“迁移学习”？（必做）5.5.2.3比较“使用预训练模型”和“不使用预训练模型”的效果。（必做）5.5.3模型训练5.5.4模型评价5.5.5模
AI-2 刘子豪·2022-11-28 02:09
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他