nndl

NNDL 实验二 pytorch入门

NNDL实验二pytorch入门一.概念：张量、算子张量：在深度学习的实践中，我们通常使用向量或矩阵运算来提高计算效率。
Perfect(*^ω^*)·2022-11-25 10:05

NNDL 实验七 循环神经网络（1）RNN记忆能力实验

目录6.1循环神经网络的记忆能力实验6.1.1数据集构建6.1.1.1数据集的构建函数6.1.1.2加载数据并进行数据划分6.1.1.3构造Dataset类6.1.2模型构建6.1.2.1嵌入层6.1.2.2SRN层6.1.2.3线性层6.1.2.4模型汇总6.1.3模型训练6.1.3.1训练指定长度的数字预测模型6.1.3.2多组训练6.1.3.3损失曲线展示6.1.4模型评价总结循环神经网络（
.星.·2022-11-25 10:33

NNDL 作业3：分别使用numpy和pytorch实现FNN例题

目录1.过程推导-了解BP原理2.数值计算-手动计算，掌握细节3.代码实现-numpy手推+pytorch自动3.1对比【numpy】和【pytorch】程序，总结并陈述。3.2激活函数Sigmoid用PyTorch自带函数torch.sigmoid()，观察、总结并陈述。3.3激活函数Sigmoid改变为Relu，观察、总结并陈述。3.4损失函数MSE用PyTorch自带函数t.nn.MSELo
.星.·2022-11-25 10:32

NNDL 实验六 卷积神经网络（5）使用预训练resnet18实现CIFAR-10分类

目录5.5实践：基于ResNet18网络完成图像分类任务5.5.1数据处理5.5.1.1数据集介绍5.5.1.3构造Dataset类5.5.2模型构建5.5.3模型训练5.5.4模型评价5.5.5模型预测思考题总结5.5实践：基于ResNet18网络完成图像分类任务图像分类（ImageClassification）是计算机视觉中的一个基础任务，将图像的语义将不同图像划分到不同类别。很多任务可以转换
.星.·2022-11-25 10:32

NNDL 实验七 循环神经网络(2)梯度爆炸实验

目录梯度爆炸试验梯度打印函数思考复现梯度爆炸现象使用梯度截断解决梯度爆炸问题思考总结参考梯度爆炸试验造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。梯度爆炸问题：比较容易解决，一般通过权重衰减或梯度截断可以较好地来避免；梯度消失问题：更加有效的方式是改变模型，比如通过长短期记忆网络LSTM来进行缓解。本节将首先进行复现简单循环网络中的梯度爆炸问题，然后尝试使用梯度截断的方式进
白小码i·2022-11-25 10:32

NNDL 实验六 卷积神经网络（4）ResNet18实现MNIST

目录5.4基于残差网络的手写体数字识别实验5.4.1模型构建5.4.1.1残差单元5.4.1.2残差网络的整体结构5.4.2没有残差连接的ResNet185.4.2.1模型训练5.4.2.2模型评价5.4.3带残差连接的ResNet185.4.3.1模型训练5.4.3.2模型评价5.4.4与高层API实现版本的对比实验总结5.4基于残差网络的手写体数字识别实验残差网络（ResidualNetwor
HBU_fangerfang·2022-11-25 10:31

HBU-NNDL 实验六 卷积神经网络（1）卷积

目录第5章卷积神经网络5.1卷积5.1.1二维卷积运算5.1.2二维卷积算子5.1.3二维卷积的参数量和计算量5.1.4感受野5.1.5卷积的变种5.1.5.1步长（Stride）5.1.5.2零填充（ZeroPadding）5.1.6带步长和零填充的二维卷积算子5.1.7使用卷积运算完成图像边缘检测任务选做题1、实现一些传统边缘检测算子，如：Roberts、Prewitt、Sobel、Schar
不是蒋承翰·2022-11-25 10:00

HBU-NNDL 实验七 循环神经网络（1）RNN记忆能力实验

目录第6章循环神经网络6.1循环神经网络的记忆能力实验6.1.1数据集构建6.1.1.1数据集的构建函数6.1.1.2加载数据并进行数据划分6.1.1.3构造Dataset类6.1.2模型构建6.1.2.1嵌入层6.1.2.2SRN层6.1.2.3线性层6.1.2.4模型汇总6.1.3模型训练6.1.3.1训练指定长度的数字预测模型6.1.3.2多组训练6.1.3.3损失曲线展示6.1.4模型评价
不是蒋承翰·2022-11-25 10:00

HBU-NNDL 作业4：第四章课后题

目录1、试设计一个前馈神经网络来解决XOR问题,要求该前馈神经网络具有两个隐藏神经元和一个输出神经元,并使用ReLU作为激活函数。1.1XOR问题描述1.2XOR运算的网络结构设计1.3模型训练1.4训练结果2、试举例说明“死亡ReLU问题”，并提出解决方法。3、为什么在神经网络模型的结构化风险函数中不对偏置进行正则化？4、为什么在用反向传播算法进行参数学习时要采用随机参数初始化的方式而不是直接令
不是蒋承翰·2022-11-25 10:30

HBU-NNDL 作业8：RNN - 简单循环网络

目录1.使用Numpy实现SRN2.在1的基础上，增加激活函数tanh3.分别使用nn.RNNCell、nn.RNN实现SRN4.分析“二进制加法”源代码5.实现“Character-LevelLanguageModels”源代码6.分析“序列到序列”源代码7.“编码器-解码器”的简单实现心得体会1.使用Numpy实现SRNimportnumpyasnpinputs=np.array([[1.,1
不是蒋承翰·2022-11-25 10:30

NNDL 作业9：分别使用numpy和pytorch实现BPTT

6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.importtorchimportnumpyasnpclassRNNCell:def__init__(self,weight_ih,weight_hh,bias_ih,bias_hh):self.weight_ih=weight_ihself.weight_hh
Perfect(*^ω^*)·2022-11-25 10:29

NNDL 实验七 循环神经网络（2）梯度爆炸实验

目录6.2梯度爆炸实验6.2.1梯度打印函数6.2.2复现梯度爆炸现象6.2.3使用梯度截断解决梯度爆炸问题总结6.2梯度爆炸实验造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。梯度爆炸问题：比较容易解决，一般通过权重衰减或梯度截断可以较好地来避免；梯度消失问题：更加有效的方式是改变模型，比如通过长短期记忆网络LSTM来进行缓解。本节将首先进行复现简单循环网络中的梯度爆炸问题
.星.·2022-11-25 10:58

NNDL 作业10：第六章课后题（LSTM | GRU）

习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.公式(6.50)为：原因：在计算公式6.34中的误差项时，梯度可能过大，从而导致梯度过大问题。解决办法：使用长短期记忆神经网络。习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果习题6-5推导GRU网络中参数的梯度，并分析其避免梯度消失的效果GRU它引⼊了重置⻔（reset
乳酸蔓越莓吐司·2022-11-25 10:28

HBU-NNDL 实验七 循环神经网络（2）梯度爆炸实验

目录6.2梯度爆炸实验6.2.1梯度打印函数【思考】什么是范数，什么是L2范数，这里为什么要打印梯度范数？6.2.2复现梯度爆炸现象6.2.3使用梯度截断解决梯度爆炸问题【思考题】梯度截断解决梯度爆炸问题的原理是什么？心得体会6.2梯度爆炸实验造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。一般来讲，循环网络的梯度爆炸问题比较容易解决，一般通过权重衰减或梯度截断可以较好地来避
不是蒋承翰·2022-11-25 10:28

NNDL 实验七 循环神经网络（1）RNN记忆能力实验

第6章循环神经网络6.1循环神经网络的记忆能力实验6.1.1数据集构建6.1.1.1数据集的构建函数6.1.1.2加载数据并进行数据划分6.1.1.3构造Dataset类6.1.2模型构建6.1.2.1嵌入层One-Hot编码One-Hot编码的作用6.1.2.2SRN层torch.nn.rnn的使用6.1.2.3线性层6.1.2.4模型汇总6.1.3模型训练6.1.3.1训练指定长度的数字预测模
刘先生TT·2022-11-25 07:05

NNDL 实验七 循环神经网络（2）梯度爆炸实验

6.2梯度爆炸实验6.2.1梯度打印函数【思考】什么是范数，什么是L2范数，这里为什么要打印梯度范数？6.2.2复现梯度爆炸现象6.2.3使用梯度截断解决梯度爆炸问题在飞桨中，可以使用paddle.nn.ClipGradByNorm进行按模截断.---pytorch中用什么？【思考题】梯度截断解决梯度爆炸问题的原理是什么？总结参考6.2梯度爆炸实验造成简单循环网络较难建模长程依赖问题的原因有两个：
刘先生TT·2022-11-25 07:58

NNDL 作业9：分别使用numpy和pytorch实现BPTT

NNDL作业9：分别使用numpy和pytorch实现BPTT6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.总结
叶雨柳光·2022-11-24 20:48

NNDL 实验七 循环神经网络（1）RNN记忆能力实验

NNDL实验七循环神经网络（1）RNN记忆能力实验第6章循环神经网络6.1循环神经网络的记忆能力实验6.1.1数据集构建6.1.1.1数据集的构建函数6.1.1.2加载数据并进行数据划分6.1.1.3构造
叶雨柳光·2022-11-24 20:18

NNDL 实验七 循环神经网络（2）梯度爆炸实验

NNDL实验七循环神经网络（2）梯度爆炸实验6.2梯度爆炸实验6.2.1梯度打印函数【思考】什么是范数，什么是L2范数，这里为什么要打印梯度范数？
叶雨柳光·2022-11-24 20:43

NNDL 实验七 循环神经网络（1）RNN记忆能力实验

文章目录6.1循环神经网络的记忆能力实验6.1.1数据集构建6.1.1.1数据集的构建函数6.1.1.2加载数据并进行数据划分6.1.1.3构造Dataset类6.1.2模型构建6.1.2.1嵌入层6.1.2.2SRN层6.1.2.3线性层6.1.2.4模型汇总6.1.3模型训练6.1.3.1训练指定长度的数字预测模型6.1.3.2多组训练6.1.3.3损失曲线展示6.1.4模型评价【动手练习】6
辰 希·2022-11-24 17:12

NNDL 作业5：卷积与几种常见的卷积核

作业1编程实现图1使用卷积核(1−1)\begin{pmatrix}1&-1\end{pmatrix}(1−1)，输出特征图图1使用卷积核(1−1)\begin{pmatrix}1\\-1\\\end{pmatrix}(1−1)，输出特征图图2使用卷积核(1−1)\begin{pmatrix}1&-1\end{pmatrix}(1−1)，输出特征图图2使用卷积核(1−1)\begin{pmatri
真不想再学了·2022-11-24 17:37

NNDL 作业8：RNN - 简单循环网络

简单循环网络（SimpleRecurrentNetwork，SRN）只有一个隐藏层的神经网络1.使用Numpy实现SRNimportnumpyasnpinputs=np.array([[1.,1.],[1.,1.],[2.,2.]])#初始化输入序列print('inputsis',inputs)state_t=np.zeros(2,)#初始化存储器print('state_tis',state_
真不想再学了·2022-11-24 17:37

NNDL 实验四 线性分类 基于Logistic回归的二分类任务、基于Softmax回归的多分类任务和基于Softmax回归完成鸢尾花分类任务

pytorch实现第3章线性分类3.1基于Logistic回归的二分类任务使用到的第三方库importmatplotlib.pyplotaspltfromsklearn.datasetsimportmake_moonsimporttorch.nnasnnimporttorch.optimasoptimimporttorchimportnumpyasnpimportrandom3.1.1数据集构建构
真不想再学了·2022-11-24 17:07

NNDL 实验六 卷积神经网络（4）ResNet18实现MNIST

5.4基于残差网络的手写体数字识别实验残差网络（ResidualNetwork，ResNet）是在神经网络模型中给非线性层增加直连边的方式来缓解梯度消失问题，从而使训练深度神经网络变得更加容易。在残差网络中，最基本的单位为残差单元。5.4.1模型构建构建ResNet18的残差单元，然后在组建完整的网络。5.4.1.1残差单元图源：https://blog.csdn.net/weixin_44025
真不想再学了·2022-11-24 17:07

NNDL 实验一 numpy 的array操作

numpy的array操作1.导入numpy库importnumpyasnp2.建立一个一维数组a初始化为[4,5,6],(1)输出a的类型（type）(2)输出a的各维度的大小（shape）(3)输出a的第一个元素（值为4）a=np.array([4,5,6])print(type(a))print(a.shape)print(a[0])运行结果：(3,)43.建立一个二维数组b,初始化为[[4
真不想再学了·2022-11-24 17:37

NNDL 实验七 循环神经网络（1）RNN记忆能力实验

循环神经网络（RecurrentNeuralNetwork，RNN）是一类具有短期记忆能力的神经网络．在循环神经网络中，神经元不但可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构．和前馈神经网络相比，循环神经网络更加符合生物神经网络的结构．目前，循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上．简单循环网络在参数学习时存在长程依赖问题，很难建模长时间间隔
HBU_David·2022-11-24 17:04

HBU-NNDL 作业9：分别使用numpy和pytorch实现BPTT

目录6-1P：推导RNN反向传播算法BPTT.RNN前向传播沿时反向传播BPTT(BackpropagationThroughTime)设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.心得体会6-1P：推导RNN反向传播算法BPTT.参考：学习笔记-循环神经网络(RNN)及沿时反向传播BPTT-知乎RNN前向传播假设有一个时间序列，在每一时刻我们有：这就是RN
不是蒋承翰·2022-11-24 17:04

NNDL 实验七 循环神经网络（2）梯度爆炸实验

NNDL实验七循环神经网络（2）梯度爆炸实验6.2梯度爆炸实验6.2.1梯度打印函数【思考】什么是范数，什么是L2范数，这里为什么要打印梯度范数？
笼子里的薛定谔·2022-11-24 17:03

NNDL 实验七 循环神经网络（一） RNN记忆能力实验

RNN记忆能力实验图片截取自：https://www.bilibili.com/video/BV1z5411f7Bm/理解RNN，视频是b站的，非常短，可以k一看。思路：1.将输入序列的每个数字转化为特征向量，2.将标签转化为特征向量3.自定义基于RNNcell的循环网络模型4.根据输入序列的长度实例化网络模型5.训练网络并在测试集上测试6.可视化。除此之外还需要设计随机生成训练集和测试集。本着实
真不想再学了·2022-11-24 17:59

NNDL 作业10：第六章课后题（LSTM | GRU）

目录习题6-3当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果编辑习题6-5推导GRU网络中参数的梯度，并分析其避免梯度消失的效果编辑附加题6-1P什么时候应该用GRU?什么时候用LSTM?附加题6-2PLSTMBP推导，并用Numpy实现总结参考链接习题6-3当使用公式(6.50
笼子里的薛定谔·2022-11-24 17:28

NNDL 实验三 线性回归

2.2线性回归2.2.1数据集构建构造一个小的回归数据集：生成150个带噪音的样本，其中100个训练样本，50个测试样本，并打印出训练数据的可视化分布。importtorchdeflinear_func(x,w=1.2,b=0.5):y=w*x+breturnydefcreate_toy_data(func,interval,sample_num,noise=0.0,add_outlier=Fal
HBU_fangerfang·2022-11-24 00:19

NNDL 实验六 卷积神经网络（4）ResNet18实现MNIST

目录5.4基于残差网络的手写体数字识别实验5.4.1模型构建5.4.1.1残差单元5.4.1.2残差网络的整体结构5.4.2没有残差连接的ResNet185.4.2.1模型训练5.4.2.2模型评价5.4.3带残差连接的ResNet185.4.3.1模型训练5.4.3.2模型评价5.4.4与高层API实现版本的对比实验需要的自定义函数plot.pymetric.pyRunnerV3.py5.4基于
岳轩子·2022-11-23 19:48

NNDL 作业9：分别使用numpy和pytorch实现BPTT

目录6-1P：推导RNN反向传播算法BPTT.编辑6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.心得体会：参考博客：6-1P：推导RNN反向传播算法BPTT.6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.代码如下：importtorchimportnumpyasnpclassRNNCell:def_
AI-2 刘子豪·2022-11-23 16:19

NNDL 实验七 循环神经网络（1）RNN记忆能力实验

目录6.1循环神经网络的记忆能力实验循环神经网络的一种简单实现是简单循环网络（SimpleRecurrentNetwork，SRN）6.1.1数据集构建6.1.1.1数据集的构建函数运行结果：编辑6.1.1.2加载数据并进行数据划分6.1.1.3构造Dataset类6.1.2模型构建6.1.2.1嵌入层6.1.2.2SRN层6.1.2.3线性层6.1.2.4模型汇总6.1.3模型训练6.1.3.1
AI-2 刘子豪·2022-11-23 16:49

NNDL 实验六 卷积神经网络（3）LeNet实现MNIST

目录5.3基于LeNet实现手写体数字识别实验5.3.1MNIST数据集5.3.1.1数据集简介5.3.1.2数据集导入5.3.2模型构建5.3.2.1测试LeNet-5模型，构造一个形状为[1,1,32,32]的输入数据送入网络，观察每一层特征图的形状变化。编辑5.3.2.2(1)使用自定义算子，构建LeNet-5模型5.3.2.2(2)使用pytorch中的相应算子，构建LeNet-5模型5.
AI-2 刘子豪·2022-11-23 16:48

NNDL 作业8：RNN - 简单循环网络

目录1.使用Numpy实现SRN2.在1的基础上，增加激活函数tanh3.分别使用nn.RNNCell、nn.RNN实现SRN4.分析“二进制加法”源代码（选做）5.实现“Character-LevelLanguageModels”源代码（必做）6.分析“序列到序列”源代码（选做）7.“编码器-解码器”的简单实现（必做）心得体会：参考博客：简单循环网络（SimpleRecurrentNetwork
AI-2 刘子豪·2022-11-23 16:48

NNDL 实验六 卷积神经网络（2）基础算子

目录5.2卷积神经网络的基础算子5.2.1卷积算子5.2.1.1多通道卷积5.2.1.2多通道卷积层算子5.2.1.3卷积算子的参数量和计算量5.2.2汇聚层算子选做题：使用pytorch实现ConvolutionDemo1.翻译以下内容2.代码实现下图心得体会：参考博客：5.2卷积神经网络的基础算子我们先实现卷积网络的两个基础算子：卷积层算子和汇聚层算子5.2.1卷积算子卷积层是指用卷积操作来实
AI-2 刘子豪·2022-11-23 16:48

NNDL 作业4：第四章课后题

目录习题4-2试设计一个前馈神经网络来解决XOR问题，要求该前馈神经网络具有两个隐藏神经元和一个输出神经元，并使用ReLU作为激活函数．习题4-3试举例说明“死亡ReLU问题”，并提出解决方法.习题4-7为什么在神经网络模型的结构化风险函数中不对偏置b进行正则化?习题4-8为什么用反向传播算法进行参数学习时要采用随机参数初始化的方法而不是直接令W=0,b=0?习题4-9梯度消失问题是否可以通过增加
AI-2 刘子豪·2022-11-23 16:18

NNDL 实验六 卷积神经网络（1）卷积

目录前言5.1卷积5.1.1二维卷积运算5.1.2二维卷积算子5.1.3二维卷积的参数量和计算量5.1.4感受野5.1.5卷积的变种5.1.6带步长和零填充的二维卷积算子5.1.7使用卷积运算完成图像边缘检测任务选做题实现一些传统边缘检测算子，如：Roberts、Prewitt、Sobel、Scharr、Kirsch、Robinson、Laplacian。实现的简易的Canny边缘检测算法总结：参
AI-2 刘子豪·2022-11-23 16:18

NNDL 作业7：第五章课后题（1×1 卷积核 | CNN BP）

习题5-2证明宽卷积具有交换性。图像X和卷积核W的宽卷积定义为：全填充图像：图像X和卷积核W有固定长度时，它们的宽卷积具有交换性：证明：首先给定一个二维图像：和一个二维卷积核因为要对图像X进行卷积，但是上面定义中提到了是宽卷积，所以先对他进行填充，两端各补U-1和V-1个零，得到全填充图像为了方便我们先设一下和因为我们要证明交换性，所以要对W也填充，就是W两端各补M-1和N-1个零，得到全填充图像
HBU_fangerfang·2022-11-23 16:14

NNDL 实验七 循环神经网络（1）RNN记忆能力实验

目录6.1循环神经网络的记忆能力实验6.1.1数据集构建6.1.1.1数据集的构建函数6.1.1.2加载数据并进行数据划分6.1.1.3构造Dataset类6.1.2模型构建6.1.2.1嵌入层6.1.2.2SRN层6.1.2.3线性层6.1.2.4模型汇总6.1.3模型训练6.1.3.1训练指定长度的数字预测模型6.1.3.2多组训练6.1.3.3损失曲线展示6.1.4模型评价【动手练习】6.1
HBU_fangerfang·2022-11-23 16:14

NNDL 实验六 卷积神经网络（1）卷积

目录5.1卷积5.1.1二维卷积运算5.1.2二维卷积算子5.1.3二维卷积的参数量和计算量5.1.4感受野5.1.5卷积的变种5.1.5.1步长（Stride）5.1.5.2零填充（ZeroPadding）5.1.6带步长和零填充的二维卷积算子5.1.7使用卷积运算完成图像边缘检测任务选做题1、实现一些传统边缘检测算子，如：Roberts、Prewitt、Sobel、Scharr、Kirsch、
HBU_fangerfang·2022-11-23 16:14

NNDL 作业8：RNN - 简单循环网络

目录1.使用Numpy实现SRN编辑2.在1的基础上，增加激活函数tanh3.分别使用nn.RNNCell、nn.RNN实现SRN编辑4.分析“二进制加法”源代码（选做）编辑5.实现“Character-LevelLanguageModels”源代码（必做）6.分析“序列到序列”源代码（选做）编辑7.“编码器-解码器”的简单实现（必做）总结1.使用Numpy实现SRNimportnumpyasnp
HBU_fangerfang·2022-11-23 16:44

NNDL 实验六 卷积神经网络（3）LeNet实现MNIST

目录5.3基于LeNet实现手写体数字识别实验5.3.1数据5.3.1.1数据预处理5.3.2模型构建5.3.3模型训练5.3.4模型评价5.3.5模型预测使用前馈神经网络实现MNIST识别，与LeNet效果对比。（选做）可视化LeNet中的部分特征图和卷积核，谈谈自己的看法。（选做）总结：5.3基于LeNet实现手写体数字识别实验在本节中，我们实现经典卷积网络LeNet-5，并进行手写体数字识别
HBU_fangerfang·2022-11-23 16:43

NNDL 实验五 前馈神经网络（2）自动梯度计算 & 优化问题

目录4.3自动梯度计算4.3.1利用预定义算子重新实现前馈神经网络1、使用pytorch的预定义算子来重新实现二分类任务。（必做）4.3.2完善Runner类4.3.3模型训练4.3.4性能评价4.3.1利用预定义算子重新实现前馈神经网络2.增加一个3个神经元的隐藏层，再次实现二分类，并与1做对比。（必做）3.自定义隐藏层层数和每个隐藏层中的神经元个数，尝试找到最优超参数完成二分类。可以适当修改数
HBU_fangerfang·2022-11-23 16:13

NNDL 实验一 numpy

numpy的array操作1.导入numpy库importnumpyasnp#导入numpy把他缩写成np2.建立一个一维数组a初始化为[4,5,6],(1)输出a的类型（type）(2)输出a的各维度的大小（shape）(3)输出a的第一个元素（值为4）a=np.array([4,5,6])print(type(a))print(a.shape)print(a[0])这个结果是下面这些(3,)4
HBU_fangerfang·2022-11-23 16:13

NNDL 实验七 循环神经网络（2）梯度爆炸实验

目录6.2梯度爆炸实验6.2.1梯度打印函数【思考】什么是范数，什么是L2范数，这里为什么要打印梯度范数？6.2.2复现梯度爆炸现象6.2.3使用梯度截断解决梯度爆炸问题【思考题】梯度截断解决梯度爆炸问题的原理是什么？编辑心得体会：参考博客：6.2梯度爆炸实验造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。一般来讲，循环网络的梯度爆炸问题比较容易解决，一般通过权重衰减或梯度截
AI-2 刘子豪·2022-11-23 16:05

NNDL 作业9：分别使用numpy和pytorch实现BPTT

目录6-1P：推导RNN反向传播算法BPTT6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试总结6-1P：推导RNN反向传播算法BPTT为了方便我们用以下朴素网络结构然后做出如下符号约定：取ϕ作为隐藏层的激活函数取φ作为输出层的变换函数取作为模型的损失函数，其中标签是一个one-hot向量；由于RNN处理的通常是序列数据、所以在接受完序列中所有样本后再
HBU_fangerfang·2022-11-23 16:04

NNDL 实验六 卷积神经网络（5）使用预训练resnet18实现CIFAR-10分类

目录5.5实践：基于ResNet18网络完成图像分类任务5.5.1数据处理5.5.1.1数据集介绍5.5.1.2数据读取5.5.1.3构造Dataset类5.5.2模型构建5.5.3模型训练5.5.4模型评价5.5.5模型预测什么是“预训练模型”？什么是“迁移学习”？比较“使用预训练模型”和“不使用预训练模型”的效果。思考题1.阅读《DeepResidualLearningforImageReco
HBU_fangerfang·2022-11-23 09:07

NNDL 实验六 卷积神经网络（3）LeNet实现MNIST

目录5.3基于LeNet实现手写体数字识别实验5.3.1数据5.3.2模型构建5.3.3模型训练5.3.4模型评价5.3.5模型预测使用前馈神经网络实现MNIST识别，与LeNet效果对比。（选做）可视化LeNet中的部分特征图和卷积核，谈谈自己的看法。（选做）5.3基于LeNet实现手写体数字识别实验5.3.1数据手写体数字识别是计算机视觉中最常用的图像分类任务，让计算机识别出给定图片中的手写体
captainMo_11·2022-11-23 07:10
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他