nndl

[23-24 秋学期] NNDL-作业2 HBU

前言：本文解决《神经网络与深度学习》-邱锡鹏第二章课后题。对于习题2-1，平方损失函数在机器学习课程中学习过，但是惭愧的讲，在完成这篇博客前我对均方误差和平方损失函数的概念还有些混淆。交叉熵损失函数我未曾了解过，只在决策树一节中学习过关于熵entropy的基本概念。借此机会弄清原理，并且尝试着学会应用它。对于习题2-12，考察对混淆矩阵的理解程度和计算。其中宏平均和微平均是我未曾学习过的概念，借此
洛杉矶县牛肉板面·2024-01-12 00:53

NNDL学期知识点总结 [HBU]

目录零碎考点第4章全连接神经网络/前馈神经网络4.1神经元4.1.1Sigmoid型函数4.1.2ReLu函数4.3前馈神经网络4.4反向传播算法卷积神经网络5.3参数学习5.4几种典型的卷积神经网络5.4.1LeNet-55.4.2AlexNet5.4.4ResNet5.5其他卷积方式循环神经网络BPTT随时间反向传播长程依赖问题LSTM3、期末考试复习总结-链接视频链接：HBU期末复习周，总结
洛杉矶县牛肉板面·2024-01-04 07:24

NNDL 作业12-优化算法2D可视化 [HBU]

老师作业原博客地址：【23-24秋学期】NNDL作业12优化算法2D可视化-CSDN博客目录简要介绍图中的优化算法，编程实现并2D可视化1.被优化函数编辑深度学习中的优化算法总结-ZingpLiu-博客园
洛杉矶县牛肉板面·2024-01-04 07:23

NNDL 作业13 优化算法3D可视化 [HBU]

老师作业原博客:【23-24秋学期】NNDL作业13优化算法3D可视化-CSDN博客NNDL作业13优化算法3D可视化-CSDN博客编程实现优化算法，并3D可视化1.函数3D可视化分别画出和的3D图NNDL
洛杉矶县牛肉板面·2024-01-04 07:08

NNDL 实验五 前馈神经网络（2）自动梯度计算 & 优化问题

目录4.3自动梯度计算4.3.1利用预定义算子重新实现前馈神经网络4.3.2完善Runner类4.3.3模型训练4.3.4性能评价增加一个3个神经元的隐藏层，再次实现二分类，并与1做对比。4.4优化问题4.4.1参数初始化4.4.2梯度消失问题4.4.2.1模型构建4.4.2.2使用Sigmoid型函数进行训练4.4.2.3使用ReLU函数进行模型训练4.4.3死亡ReLU问题4.4.3.1使用R
喝无糖雪碧·2024-01-01 07:19

[23-24 秋学期] NNDL 作业4 前馈神经网络 HBU

目录：作业内容与要求：1.过程推导-了解BP原理2.数值计算-手动计算，掌握细节3.代码实现-numpy手推+pytorch自动1.)对比【numpy】和【pytorch】程序，总结并陈述。2.)激活函数Sigmoid用PyTorch自带函数torch.sigmoid()，观察、总结并陈述。3.)激活函数Sigmoid改变为Relu，观察、总结并陈述。4.)损失函数MSE用PyTorch自带函数t
洛杉矶县牛肉板面·2023-12-31 06:23

【23-24 秋学期】NNDL 作业7 基于CNN的XO识别

一、用自己的语言解释以下概念局部感知、权值共享局部感知是只连接相邻层的部分神经元。若每一层神经元之间使用全连接（Fully-Connected）的结构，在数据量较大时，训练速度会非常的慢，需要较大的计算内存。图像局部范围内的像素有较高的关联性，随着距离的加长，像素的信息相关性会降低，因此在经元时，不需要同时输入全局信息给单个神经元，只需要感知图像的局部信息，随着层数的增加深层的神经元会拥有广阔的感
Morning.&·2023-12-31 06:53

nndl 作业12 优化算法2D可视化

简要介绍图中的优化算法，编程实现并2D可视化优化算法：优化的目标是网络模型中的参数（集合），损失函数L变量就是θ，其中L中的参数是整个训练集，换句话说，目标函数（损失函数）是通过整个训练集来确定的，训练集全集不同，则损失函数的图像也不同。1.被优化函数SGD算法SGD又称为随机梯度下降算法，用于求解损失函数最小值，对于SGD而言，每次使用的损失函数只是通过这一个小批量的数据确定的，其函数图像与真实
szf03·2023-12-31 06:51

【23-24 秋学期】NNDL 作业12 优化算法2D可视化

目录简要介绍图中的优化算法，编程实现并2D可视化1.被优化函数2.被优化函数3.解释不同轨迹的形成原因分析各个算法的优缺点总结及心得体会简要介绍图中的优化算法，编程实现并2D可视化1.被优化函数（1）SGDSGD优化算法，即随机梯度下降法，是一种经典的优化算法，广泛应用于机器学习和深度学习领域。该算法通过随机选取小批量样本的梯度均值来更新模型参数，每次迭代使用的是随机梯度，即从全局最优解开始，以一
.Hypocritical.·2023-12-31 06:51

NNDL 作业13 优化算法3D可视化

首先声明，我好几个图没整出来，不知道啥原因，求大佬们指点(╥╯﹏╰╥)ง编程实现优化算法，并3D可视化1.函数3D可视化分别画出和的3D图importtorchimportnumpyasnpfrommatplotlibimportpyplotaspltclassOp(object):def__init__(self):passdef__call__(self,inputs):returnself.
এ琳·2023-12-31 06:51

【23-24 秋学期】NNDL 作业13 优化算法3D可视化

编程实现优化算法，并3D可视化1.函数3D可视化分别画出和的3D图代码如下：frommpl_toolkits.mplot3dimportAxes3Dimportnumpyasnpfrommatplotlibimportpyplotaspltimporttorchfromnndl.opimportOp#画出x**2classOptimizedFunction3D(Op):def__init__(se
今天也是元气满满的一天呢·2023-12-31 06:49

NNDL 实验六 卷积神经网络（2）基础算子

目录5.2卷积神经网络的基础算子5.2.1卷积算子5.2.1.1多通道卷积5.2.1.2多通道卷积层算子5.2.1.3卷积算子的参数量和计算量5.2.2汇聚层算子选做题：使用pytorch实现ConvolutionDemo总结5.2卷积神经网络的基础算子我们先实现卷积网络的两个基础算子：卷积层算子和汇聚层算子。5.2.1卷积算子卷积层是指用卷积操作来实现神经网络中一层。为了提取不同种类的特征，通常
乳酸蔓越莓吐司·2023-12-25 06:05

【23-24 秋学期】NNDL 作业11 LSTM

编程实现下图LSTM运行过程（一）numpy实现（二）使用nn.LSTMCell实现（三）使用nn.LSTM实现总结（一）推荐（二）关于LSTM的有关推导（三）有关LSTM的代码参考【【23-24秋学期】NNDL
今天也是元气满满的一天呢·2023-12-24 18:38

【23-24 秋学期】NNDL 作业10 BPTT

习题6-1P推导RNN反向传播算法BPTT.已知，z1---f激活函数--h1,h1--g激活函数--,y1是真实值。（1）T=1时【图截自老师ppt】：由上图可知：（2）T=2时：可得：（3）T=3时：可得：因为：可知：与老师的相符：习题6-2推导公式(6.40)和公式(6.41)中的梯度．即推导以下公式：（1）W：（2）b：习题6-3当使用公式(6.50)作为循环神经网络的状态更新公式时，分析
今天也是元气满满的一天呢·2023-12-24 18:08

NNDL 作业12 优化算法2D可视化

目录1.简要介绍图中的优化算法，编程实现并2D可视化1.被优化函数编辑2.被优化函数编辑3.编程实现图6-1，并观察特征4.观察梯度方向5.编写代码实现算法，并可视化轨迹6.分析上图，说明原理（选做）7.总结SGD、Momentum、AdaGrad、Adam的优缺点（选做）8.Adam这么好，SGD是不是就用不到了？（选做）9.增加RMSprop、Nesterov算法。（选做）2.解释不同轨迹的形
几度雨停393·2023-12-24 18:05

【23-24 秋学期】NNDL 作业7 基于CNN的XO识别

一、用自己的语言解释以下概念1.局部感知、权值共享：局部感知是指网络中的每个神经元只关注输入数据的一个局部区域，而不是整个数据。这种局部感知的方式使得网络可以更加专注于输入数据的局部特征，从而更好地理解和分类数据。权值共享是指在整个网络中，同一个卷积核的权值是相同的，即卷积操作使用的滤波器是共享的。这种权值共享的方式可以减少网络的参数数量，提高网络的泛化能力。2.池化：池化（子采样、降采样、汇聚）
.Hypocritical.·2023-12-24 18:34

【23-24 秋学期】NNDL 作业12 优化算法2D可视化

1.简要介绍图中的优化算法，编程实现并2D可视化SGD：随机梯度下降，每次迭代采集1个样本（随机）。AdaGrad算法：一种梯度下降法，是对批量梯度下降法的改进，但并不是对动量法的改进。它的目的是在解决优化问题时自动调整学习率，以便能够更快地收敛。RMSprop算法：与AdaGrad算法的区别在于的计算由累积方式变成了指数衰减移动平均。Momentum算法：用之前积累动量替代真正的梯度，在第次迭代
今天也是元气满满的一天呢·2023-12-24 18:31

NNDL 循环神经网络-梯度爆炸实验 [HBU]

目录6.2.1梯度打印函数6.2.2复现梯度爆炸现象6.2.3使用梯度截断解决梯度爆炸问题【思考题】梯度截断解决梯度爆炸问题的原理是什么？总结前言：造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。循环网络的梯度爆炸问题比较容易解决，一般通过权重衰减或梯度截断可以较好地来避免；梯度消失问题，更加有效的方式是改变模型，比如通过长短期记忆网络LSTM来进行缓解。本节将首先进行复现简
洛杉矶县牛肉板面·2023-12-20 00:02

NNDL 作业10 BPTT [HBU]

目录习题6-1P推导RNN反向传播算法BPTT.习题6-2推导公式(6.40)和公式(6.41)中的梯度．习题6-3当使用公式(6.50)作为循环神经网络的状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决方法．没理解的部分：习题6-2P设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.顺便复习一下tanh激活函数的性质老师布置作业原博客链接：【23-24秋
洛杉矶县牛肉板面·2023-12-20 00:01

[23-24 秋学期]NNDL 作业6 卷积 [HBU]

目录一、概念二、探究不同卷积核的作用后接：关于使用pycharm输出卷积图像后图片仍然不清晰的可能原因以及解决方法总结：前言：卷积常用于特征提取实验过程中注意认真体会“特征提取”，弄清楚为什么卷积能够提取特征。一、概念用自己的语言描述“卷积、卷积核、特征图、特征选择、步长、填充、感受野”。大致看了一遍邱锡鹏《神经网络与深度学习》的卷积一节。谈谈我对这些名词概念的理解(理解不足描述不准请见谅)。个人
洛杉矶县牛肉板面·2023-12-20 00:01

NNDL 作业11 LSTM [HBU ]

习题6-3P编程实现下图LSTM运行过程1.使用Numpy实现LSTM算子2.使用nn.LSTMCell实现3.使用nn.LSTM实现总结引用的博客以及文章连接：老师博客:【23-24秋学期】NNDL作业
洛杉矶县牛肉板面·2023-12-20 00:29

【23-24 秋学期】NNDL 作业8 卷积 导数 反向传播

习题5-2证明宽卷积具有交换性，即公式(5.13)．图像X和卷积核W的宽卷积定义如下：要证明：当图像X和卷积核W有固定长度时,他们的宽卷积具有满足交换性，如下：设二维图像为：，也就是：对应卷积核为：，也就是：可知，rot(X)为：rot(W)为：对X进行零填充，填充后的全填充图像为对W进行零填充，填充后的全填充图像为由于这俩图太难画，所以比照着3*3的X矩阵和2*2的W矩阵画在纸上：如下图所示【W
今天也是元气满满的一天呢·2023-12-06 21:48

【23-24 秋学期】NNDL 作业9 RNN - SRN

1.实现SRNRNN【循环神经网络】通过使用带自反馈的神经元，能够处理任意长度的时序数据，如下图所示：图来自【RNN及其简单Python代码示例_rnnpython代码-CSDN博客】而SRN，也就是简单循环神经网络，只有一个隐藏层，如下图所示：（1）使用Numpyimportnumpyasnpinputs=np.array([[1.,1.],[1.,1.],[2.,2.]])w1,w2,w3,w
今天也是元气满满的一天呢·2023-12-06 21:17

【23-24 秋学期】NNDL 作业12 优化算法2D可视化

简要介绍图中的优化算法，编程实现并2D可视化1.被优化函数2.被优化函数3.分析各个算法的优缺点REF：图灵社区-图书(ituring.com.cn)深度学习入门：基于Python的理论与实现NNDL作业
HBU_David·2023-12-04 15:07

【23-24 秋学期】NNDL 作业13 优化算法3D可视化

编程实现优化算法，并3D可视化1.函数3D可视化分别画出和的3D图NNDL实验优化算法3D轨迹鱼书例题3D版_优化算法3d展示-CSDN博客2.加入优化算法，画出轨迹分别画出和的3D轨迹图NNDL实验优化算法
HBU_David·2023-12-04 15:07

【23-24 秋学期】NNDL 作业10 BPTT

习题6-1P推导RNN反向传播算法BPTT.习题6-2推导公式(6.40)和公式(6.41)中的梯度．习题6-3当使用公式(6.50)作为循环神经网络的状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决方法．习题6-2P设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.代码实现REF：L5W1作业1手把手实现循环神经网络_追寻远方的人的博客-CSDN博客
HBU_David·2023-12-04 15:37

【23-24 秋学期】NNDL 作业11 LSTM

习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果习题6-3P编程实现下图LSTM运行过程李宏毅机器学习笔记：RNN循环神经网络_李宏毅rnn笔记_ZEERO~的博客-CSDN博客https://blog.csdn.net/weixin_43249038/article/details/132650998L5W1作业1手把手实现循环神经网络-CSDN博客https://blog.c
HBU_David·2023-12-04 15:03

基于LeNet实现手写体数字识别实验

首先建立一个nndl.py文件存储我们需要的自定义模块fromtorch.nn.in
熬夜患者·2023-11-26 20:24

【23-24 秋学期】NNDL 作业7 基于CNN的XO识别

一、用自己的语言解释以下概念（一）、局部感知、权值共享（1）局部感知定义：在进行卷积计算的时候，将图片划分为一个个的区域进行计算/考虑；由于越是接近的像素点之间的关联性越强,反之则越弱.所以我们选择先进行局部感知,然后在更高层(FC层)将这些局部信息综合起来得到全局信息的方式.【来自深度学习之卷积神经网络(ConvolutionalNeuralNetworks,CNN)-知乎(zhihu.com)
今天也是元气满满的一天呢·2023-11-15 09:56

【23-24 秋学期】NNDL 作业7 基于CNN的XO识别

一、用自己的语言解释以下概念局部感知、权值共享池化（子采样、降采样、汇聚）。会带来那些好处和坏处？全卷积网络（课上讲的这个概念不准确，同学们查资料纠正一下）低级特征、中级特征、高级特征多通道。N输入，M输出是如何实现的？1×1的卷积核有什么作用二、使用CNN进行XO识别1.复现参考资料中的代码2.重新设计网络结构至少增加一个卷积层，卷积层达到三层以上去掉池化层，对比“有无池化”的效果修改“通道数”
HBU_David·2023-11-10 07:06

NNDL 作业6 卷积

一、概念（一）卷积（1）什么叫卷积卷积、旋积或褶积(英语：Convolution)是通过两个函数f和g生成第三个函数的一种数学运算，其本质是一种特殊的积分变换，描述一个函数和另一个函数在某个维度上的加权“叠加”作用，学术语言也就是：表征函数f与g经过翻转和平移的重叠部分函数值乘积对重叠长度的积分。文来自卷积核_百度百科(baidu.com)（2）卷积的类别1）一维卷积：在一维数据上进行滑动窗口操作
今天也是元气满满的一天呢·2023-11-06 07:55

NNDL 实验五 前馈神经网络（2）自动梯度计算和优化问题

4.3自动梯度计算虽然我们能够通过模块化的方式比较好地对神经网络进行组装，但是每个模块的梯度计算过程仍然十分繁琐且容易出错。在深度学习框架中，已经封装了自动梯度计算的功能，我们只需要聚焦模型架构，不再需要耗费精力进行计算梯度。飞桨提供了paddle.nn.Layer类，来方便快速的实现自己的层和模型。模型和层都可以基于paddle.nn.Layer扩充实现，模型只是一种特殊的层。继承了paddle
真不想再学了·2023-11-06 01:01

NNDL 实验五 前馈神经网络（2） 自动梯度计算&优化问题

目录4.3自动梯度计算4.3.1利用预定义算子重新实现前馈神经网络2.增加一个3个神经元的隐藏层，再次实现二分类，并与1做对比。（必做）4.3.2完善Runner类4.3.3模型训练4.3.4性能评价4.4优化问题4.4.1参数初始化4.4.2梯度消失问题4.4.3死亡ReLU问题了解并使用Git、GitHub、Gitee（选学）实验总结参考文献4.3自动梯度计算虽然我们能够通过模块化的方式比较好
LzeKun·2023-11-06 01:00

第1章 实践基础——张量

声明：本内容基于百度提供的paddlepaddle框架，参考复旦大学邱锡鹏老师著作《神经网络与深度学习》（蒲公英书）与《神经网络与深度学习：案例与实践》（nndl）理解完成。
espacial·2023-10-29 13:19

第1章 实践基础——算子

声明：本内容基于百度提供的paddlepaddle框架，参考复旦大学邱锡鹏老师著作《神经网络与深度学习》（蒲公英书）与《神经网络与深度学习：案例与实践》（nndl）理解完成。
espacial·2023-10-29 13:19

实践：基于Softmax回归完成鸢尾花分类任务

文件内引用的nndl包内的文件代码可翻看以往博客有详细介绍，这么就不详细赘述啦基于Softmax回归的多分类任务_熬夜患者的博客-CSDN博客https://blog.csdn.net/m0_70026215
熬夜患者·2023-10-29 10:53

NNDL：作业五

习题4-1对于一个神经元,并使用梯度下降优化参数w时,如果输入x恒大于0,其收敛速度会比零均值化的输入更慢.证明：激活函数以sigmoid为例。神经元：有两层，线性层和激活层：y=w*x+b,然后y‘=sigmoid(y)，也就是。梯度下降：在激活函数的导数方向进行更新【因为梯度方向下降速度最快】。零均值化：对于一个样本特征，可以使用如下公式实现零均值化处理：x_new=(x-x_mean)/N，
今天也是元气满满的一天呢·2023-10-28 22:48

【学习笔记】Sigmoid, Relu, Swish, Gelus, Maxout等常用激活函数的分析学习

Sigmoid,Relu,Swish,Gelus,Maxout等常用激活函数的分析学习本文主要针对邱锡鹏老师《NNDL》中3.1节中提及的集中激活函数做了一下对比记录，并不较少激活函数本身，只是从发展和优缺点的角度去评价他们
JinyuZ1996·2023-10-24 23:25

NNDL:作业3

在Softmax回归的风险函数(公式(3.39))中如果加上正则化项会有什么影响?(1)在Softmax回归的风险函数中加入正则化项会对模型的训练产生影响。正则化项的作用是对模型的复杂度进行惩罚，防止过拟合的发生。(2)原书公式为：在加入正则化后损失函数为：求梯度得：W更新:加入正则化后，在更新参数时每次需要减去，使得参数不会太大，防止数值溢出。
今天也是元气满满的一天呢·2023-10-15 16:45

NNDL:作业3：分别使用numpy和pytorch实现FNN例题

对比【numpy】和【pytorch】程序，总结并陈述。激活函数Sigmoid用PyTorch自带函数torch.sigmoid()，观察、总结并陈述。激活函数Sigmoid改变为Relu，观察、总结并陈述。损失函数MSE用PyTorch自带函数t.nn.MSELoss()替代，观察、总结并陈述。损失函数MSE改变为交叉熵，观察、总结并陈述。改变步长，训练次数，观察、总结并陈述。权值w1-w8初始
今天也是元气满满的一天呢·2023-10-15 16:07

【23-24 秋学期】 NNDL 作业2

习题2-1分析为什么平方损失函数不适用于分类问题，交叉熵损失函数不适用于回归问题平方损失函数平方损失函数（QuadraticLossFunction）经常用在预测标签为实数值的任务中表达式为：交叉熵损失函数交叉熵损失函数（Cross-EntropyLossFunction）一般用于分类问题假设样本的标签∈{1,⋯,}为离散的类别，模型(;)∈[0,1]的输出为类别标签的条件概率分布，即并满足平方损
KLZUQ·2023-10-01 22:05

学习笔记-随机梯度下降法

《神经网络和深度学习》：https://nndl.github.io/梯度下降法中，目标函数是整个训练集上的风险函数，这种方式称为批量梯度下降法（BatchGradientDescent，BGD）。
kjasd233·2023-09-28 13:38

【23-24 秋学期】NNDL 作业2

第二章课后题习题2-1分析为什么平方损失函数不适用于分类问题，交叉损失函数不适用于回归问题损失函数的作用是衡量预测值和真实值之间的差异。（1）平方损失函数不适用分类问题的原因：如下图所示，平方损失函数会对预测值与真实值之间的差值进行平方。但是分类问题的标签通常是离散的，如0或1。可以发现，分类问题的预测值和真实值之间的差异只跟类别有关，那么使用平方损失函数对分类问题没有意义。举个例子，比如3分类问
今天也是元气满满的一天呢·2023-09-23 09:09

【23-24 秋学期】NNDL 作业1

一、人工智能1.定义人工智能（AI）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，用来生产出一种新的能以人类智能相似的方式做出反应的智能机器。该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。（百度百科）2.分类对于人工智能的智能程度，可以将人工智能分为弱人工智能（ANI）、强人工智能（AGI）和超强人工智能(ASI），如下图所示（来自
今天也是元气满满的一天呢·2023-09-23 09:39

Deep learning resources

神经网络与深度学习(邱锡鹏)https://nndl.github.io/AlexSmolayoutubechannel:https://www.youtube.com/channel/UCYoS2VT03weLA7uzvL2VybwPlaylist
OmicsAcademy·2023-07-21 22:43

2019-03-17神经网络——BN

https://nndl.github.io/chap-%E7%BD%91%E7%BB%9C%E4%BC%98%E5%8C%96%E4%B8%8E%E6%AD%A3%E5%88%99%E5%8C%96.
hhhhlyy·2023-04-07 01:53

NNDL 作业3：分别使用numpy和pytorch实现FNN例题

原理数值计算-手动计算，掌握细节代码实现-numpy手推+pytorch自动过程推导、数值计算，以下三种形式可任选其一：直接在博客用编辑器写在电子设备手写，截图在纸上写，拍照发图参见实验结尾部分，这里不再重复：NNDL
真不想再学了·2023-02-20 07:24

HBU_神经网络与深度学习 作业12 网络优化与正则化

目录写在前面的一些内容习题7-1习题7-2习题7-9EX写在前面的一些内容本次习题来源于神经网络与深度学习pdf电子书的第204页（对应纸质版第189页）的习题7-1、7-2和7-9，具体内容详见NNDL
ZodiAc7·2023-02-03 07:32

HBU_神经网络与深度学习 作业9 随时间反向传播算法的实现

目录写在前面的一些内容习题1习题2写在前面的一些内容本次习题来源于NNDL作业9：分别使用numpy和pytorch实现BPTT。水平有限，难免有误，如有错漏之处敬请指正。
ZodiAc7·2023-02-03 07:32

HBU_神经网络与深度学习 作业4 前馈神经网络

习题4-8习题4-9写在前面的一些内容本次习题来源于神经网络与深度学习pdf电子书的第117页和第118页（对应纸质版第102页和第103页）的习题4-2、4-3、4-7、4-8和4-9，具体内容详见NNDL
ZodiAc7·2023-02-03 07:31
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他