E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
nndl
HBU_神经网络与深度学习 作业7 卷积神经网络
目录写在前面的一些内容习题5-2习题5-3习题5-4习题5-7EX总结写在前面的一些内容本次习题来源于神经网络与深度学习pdf电子书的第142页(对应纸质版第127页)的习题5-2、5-3、5-4和5-7,具体内容详见
NNDL
ZodiAc7
·
2023-02-03 07:31
python
深度学习
cnn
numpy 练习题 ——
nndl
numpy的array操作1.导入numpy库importnumpyasnp2.建立一个一维数组a初始化为[4,5,6],(1)输出a的类型(type)(2)输出a的各维度的大小(shape)(3)输出a的第一个元素(值为4)a=[4,5,6]a=np.array(a)print(type(a))print(a.shape)print(a[0])(3,)43.建立一个二维数组b,初始化为[[4,5
孱弱Lynch
·
2023-02-02 16:07
python
NNDL
作业7:第五章课后题(1×1 卷积核 | CNN BP)
目录第五章课后题(1×1卷积核|CNNBP)习题5-2证明宽卷积具有交换性,即公式(5.13)习题5-3分析卷积神经网络中使用1×1卷积核作用习题5-4对于一个输入为100×100×256的特征映射组,使用3×3的卷积核,输出为100×100×256的特征映射组的卷积层,求其时间和空间复杂度.如果引入一个1×1卷积核,先得到100×100×64的特征映射,再进行3×3的卷积,得到100×100×2
笼子里的薛定谔
·
2023-02-02 16:05
DL实验
python
算法
人工智能
NNDL
实验三 线性回归
2.2线性回归2.2.1数据集构建构造一个小的回归数据集:生成150个带噪音的样本,其中100个训练样本,50个测试样本,并打印出训练数据的可视化分布。代码如下:#真实函数的参数缺省值为w=1.2,b=0.5deflinear_func(x,w=1.2,b=0.5):y=w*x+breturnyimportosimporttorchos.environ["KMP_DUPLICATE_LIB_OK"
uvuvuvw
·
2023-02-02 09:34
线性回归
算法
回归
NNDL
实验五 前馈神经网络(1)二分类任务
目录4.1神经元4.1.1净活性值4.1.2激活函数4.2基于前馈神经网络的二分类任务4.2.1数据集构建4.2.2模型构建4.2.3损失函数4.2.4模型优化4.2.5完善Runner类:RunnerV2_14.2.6模型训练4.2.7性能评价总结4.1神经元4.1.1净活性值使用pytorch计算一组输入的净活性值z净活性值z经过一个非线性函数f(·)后,得到神经元的活性值a(借用老师一个图)
五元钱
·
2023-01-26 16:13
深度学习
神经网络
分类
人工智能
【CNN】卷积神经网络的计算量
首先你要知道卷积神经网络的计算过程,这里不再赘述,下面的图分别来自邱锡鹏老师的书(https://
nndl
.github.io/)和李沐大神的直播课,最重要的是这句:每个输入通道有独立的二维卷积核,所有输入通道结果相加得到一个输出通道结果
不难真的一点都不南
·
2023-01-19 20:15
DL基础
cnn
深度学习
机器学习
NNDL
作业9:分别使用numpy和pytorch实现BPTT
6-1P:推导RNN反向传播算法BPTT.6-2P:设计简单RNN模型,分别用Numpy、Pytorch实现反向传播算子,并代入数值测试.importtorchimportnumpyasnpclassRNNCell:def__init__(self,weight_ih,weight_hh,bias_ih,bias_hh):self.weight_ih=weight_ihself.weight_hh
zc.9495
·
2023-01-16 15:20
pytorch
numpy
python
NNDL
作业3:分别使用numpy和pytorch实现FNN例题
目录过程推导-了解BP原理数值计算-手动计算,掌握细节代码实现-numpy手推+pytorch自动对比【numpy】和【pytorch】程序,总结并陈述。激活函数Sigmoid用PyTorch自带函数torch.sigmoid(),观察、总结并陈述。激活函数Sigmoid改变为Relu,观察、总结并陈述。损失函数MSE用PyTorch自带函数t.nn.MSELoss()替代,观察、总结并陈述。损失
五元钱
·
2023-01-12 19:13
深度学习作业
numpy
pytorch
python
NNDL
第2章习题
习题2-1分析为什么平方损失函数不适用于分类问题,交叉熵损失函数不适用于回归问题。分类问题的结果是离散值,平方损失函数如果用于分类问题,分类正确的误差都是一样的,分类错误的误差都是一样,不具有距离的意义,在分类错误的情况下无法判断优化的好坏。并且平方损失误差还和预测结果错误的样本有联系,在分类问题中只关注分类正确的结果。所以平方损失函数不适用于分类问题。交叉熵损失函数针对只分类正确的预测结果,和分
凉堇
·
2023-01-10 19:01
ui
深度学习
NNDL
实验五 前馈神经网络(2)自动梯度计算 & 优化问题
文章目录4.3自动梯度计算4.3.1利用预定义算子重新实现前馈神经网络4.3.1.1使用pytorch的预定义算子来重新实现二分类任务。(必做)4.3.1.2.增加一个3个神经元的隐藏层,再次实现二分类,并与1做对比。(必做)4.3.1.3.自定义隐藏层层数和每个隐藏层中的神经元个数,尝试找到最优超参数完成二分类。可以适当修改数据集,便于探索超参数。(选做)更改学习率为0.1,0.5,2,5,6修
plum-blossom
·
2023-01-08 08:46
NNDL实验
神经网络
深度学习
pytorch
Attention概述及代码实现
https://blog.csdn.net/qq_37394634/article/details/102679096(含实现代码)https://
nndl
.gith
Super_Whw
·
2023-01-05 21:34
时序预测
NNDL
实验五 前馈神经网络(2)自动梯度计算 & 优化问题
目录4.3自动梯度计算pytorch中的相应内容是什么?请简要介绍。4.3.1利用预定义算子重新实现前馈神经网络1.使用pytorch的预定义算子来重新实现二分类任务。(必做)2.增加一个3个神经元的隐藏层,再次实现二分类,并与1做对比。(必做)4.3.2完善Runner类4.3.3模型训练4.3.4性能评价附加代码:【思考题】自定义梯度计算和自动梯度计算:从计算性能、计算结果等多方面比较,谈谈自
AI-2 刘子豪
·
2023-01-05 03:50
神经网络
深度学习
人工智能
NNDL
实验八 网络优化与正则化(3)不同优化算法比较
文章目录前言一、7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比二、【选做题】三、深拷贝与浅拷贝(研究了好半天)总结前言这次我还是写的很细,强烈建议先
别被打脸
·
2023-01-03 12:16
pytorch
神经网络
人工智能
深度学习
算法
2020-08-18
第一次使用CSDN这里将会记录我在读研期间对于所学习到的知识和一些感想目前所研究的方向是AnormalyDecetion未来会结合TS进行深入研究暑假期间读完
nndl
&dlcv这两本书现在在读AD方面的
小陈不沉97
·
2023-01-03 11:34
NNDL
实验六 卷积神经网络(4)ResNet18实现MNIST
目录5.4基于残差网络的手写体数字识别实验5.4.1模型构建5.4.1.1残差单元5.4.1.2残差网络的整体结构5.4.2没有残差连接的ResNet185.4.2.1模型训练5.4.2.2模型评价5.4.3带残差连接的ResNet185.4.3.1模型训练5.4.3.2模型评价5.4.4与高层API实现版本的对比实验5.4基于残差网络的手写体数字识别实验残差网络(ResidualNetwork,
HBU_Hbdwhb
·
2022-12-29 19:15
cnn
人工智能
神经网络
NNDL
实验七 循环神经网络(2)梯度爆炸实验
6.2梯度爆炸实验造成简单循环网络较难建模长程依赖问题的原因有两个:梯度爆炸和梯度消失。一般来讲,循环网络的梯度爆炸问题比较容易解决,一般通过权重衰减或梯度截断可以较好地来避免;对于梯度消失问题,更加有效的方式是改变模型,比如通过长短期记忆网络LSTM来进行缓解。本节将首先进行复现简单循环网络中的梯度爆炸问题,然后尝试使用梯度截断的方式进行解决。这里采用长度为20的数据集进行实验,训练过程中将进行
zc.9495
·
2022-12-29 02:12
rnn
深度学习
python
NNDL
实验三 线性回归
目录2.2线性回归2.2.1数据集构建2.2.2模型构建编辑2.2.3损失函数2.2.4模型优化2.2.5模型训练2.2.6模型评估2.2.7样本数量&正则化系数2.3多项式回归2.3.1数据集构建2.3.2模型构建2.3.3模型训练2.3.4模型评估2.4Runner类介绍2.5基于线性回归的波士顿房价预测2.5.1数据处理2.5.1.1数据集介绍2.5.1.2数据清洗2.5.1.3数据集划分2
Sun.02
·
2022-12-26 17:25
机器学习
深度学习
python
【更新中】智能车的逻辑与决策——介绍、理论与应用
3.1.2全连接层3.1.3卷积层3.1.4SOFTMAX3.1.5回归层REGRESSIONLAYER3.2长短时记忆网络LSTM0.置顶资料神经网络与深度学习,作者:邱锡鹏微博:@邱锡鹏https://
nndl
.github
你看不见我写的blog
·
2022-12-23 01:04
资料
车辆决策
NNDL
实验六 卷积神经网络(1)卷积 边缘检测之传统边缘检测算子和基于pytorch的Canny边缘检测
文章目录卷积神经网络(ConvolutionalNeuralNetwork,CNN)5.1卷积5.1.1二维卷积运算5.1.2二维卷积算子5.1.3二维卷积的参数量和计算量5.1.4感受野5.1.5卷积的变种5.1.5.1步长(Stride)5.1.5.2零填充(ZeroPadding)5.1.6带步长和零填充的二维卷积算子5.1.7使用卷积运算完成图像边缘检测任务选做题边缘检测系列1:传统边缘检
真不想再学了
·
2022-12-22 13:49
pytorch
cnn
网络
HBU_神经网络与深度学习 实验1 numpy
目录一、numpy的array操作二、array的数学运算三、matplotlib在numpy中的简单应用四、实验总结注:本文为HBU_神经网络与深度学习实验(2022年秋)实验1的实验报告,此文对模板
NNDL
ZodiAc7
·
2022-12-21 06:07
numpy
深度学习
神经网络
python
NNDL
2022秋
第一届AI专业,很多课程都是第一次开课,老师和学生都在“摸着石头过河”。好处是所学内容比较新,跟得上“潮流”,学习意愿比较强。难处是教学资料相对欠缺,需要学的内容较多,难度较大。大家经过一学期的共同努力,学到了不少知识。整体效果还可以,存在的问题也不少,需要分析总结。目录教材及配套实验教材教材配套实验教材教参推荐知识体系课程关联继续学习学科前沿参加竞赛课程反馈1.知识体系2.课程建议●收获了哪些新
HBU_David
·
2022-12-21 06:04
DeepLearning
深度学习
人工智能
NNDL
实验五 前馈神经网络(1)二分类任务
4.1神经元神经网络的基本组成单元为带有非线性激活函数的神经元,其结构如如图4.2所示。神经元是对生物神经元的结构和特性的一种简化建模,接收一组输入信号并产生输出。4.1.1净活性值假设一个神经元接收的输入为x∈RD,其权重向量为w∈RD,神经元所获得的输入信号,即净活性值z的计算方法为其中b为偏置。为了提高预测样本的效率,我们通常会将N个样本归为一组进行成批地预测。其中X∈RN×D为N个样本的特
叶雨柳光
·
2022-12-21 02:47
深度学习
机器学习
算法
NNDL
实验七 循环神经网络(1)RNN记忆能力实验
文章目录6.1循环神经网络的记忆能力实验6.1.1数据集构建6.1.1.1数据集的构建函数6.1.1.2加载数据并进行数据划分6.1.1.3构造Dataset类6.1.2模型构建6.1.2.1嵌入层6.1.2.2SRN层6.1.2.3线性层6.1.2.4模型汇总6.1.3模型训练6.1.3.1训练指定长度的数字预测模型6.1.3.2多组训练6.1.3.3损失曲线展示6.1.4模型评价总结心得体会参
凉堇
·
2022-12-20 02:27
rnn
深度学习
人工智能
NNDL
实验八 网络优化与正则化(3)不同优化算法比较
文章目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.1.3与TorchAPI对比,验证正确性7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比【选做题】总结心得体会参考链接7.3不同优化算
凉堇
·
2022-12-20 02:26
深度学习
python
NNDL
作业12:第七章课后题
文章目录习题7-1习题7-2习题7-9总结习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.在小批量梯度下降中有:其中,则因此我们要使得参数最优,则为最优的时候的常数,故学习率要和批量大小成正比。习题7-2在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28)).在Adam算法中:因此当的时候:因此可以发现此时梯度消失,因此需要进行偏差偏正习题
凉堇
·
2022-12-20 02:26
人工智能
算法
NNDL
作业9:分别使用numpy和pytorch实现BPTT
文章目录6-1P:推导RNN反向传播算法BPTT.6-2P:设计简单RNN模型,分别用Numpy、Pytorch实现反向传播算子,并代入数值测试.总结心得体会参考链接6-1P:推导RNN反向传播算法BPTT.6-2P:设计简单RNN模型,分别用Numpy、Pytorch实现反向传播算子,并代入数值测试.代码如下:importosos.environ['KMP_DUPLICATE_LIB_OK']=
凉堇
·
2022-12-20 02:52
numpy
pytorch
python
NNDL
实验七 循环神经网络(1)RNN记忆能力实验
目录6.1循环神经网络的记忆能力实验循环神经网络的一种简单实现是简单循环网络(SimpleRecurrentNetwork,SRN)6.1.1数据集构建6.1.1.1数据集的构建函数6.1.1.2加载数据并进行数据划分编辑6.1.1.3构造Dataset类6.1.2模型构建6.1.2.1嵌入层6.1.2.2SRN层6.1.2.3线性层6.1.2.4模型汇总6.1.3模型训练6.1.3.1训练指定长
Stacey.933
·
2022-12-18 14:43
rnn
语音识别
人工智能
NNDL
作业12:第七章课后题
目录习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比习题7-2在Adam算法中,说明指数加权平均的偏差修正的合理性习题7-9证明在标准的随机梯度下降中,权重衰减正则化和编辑正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立总结习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比在小批量梯度下降中:令,则:因此要使得参数最优,则为参数最优的时候的常数
Stacey.933
·
2022-12-18 14:43
python
人工智能
NNDL
作业9:分别使用numpy和pytorch实现BPTT
目录6-1P:推导RNN反向传播算法BPTT.6-2P:设计简单RNN模型,分别用Numpy、Pytorch实现反向传播算子,并代入数值测试.参考:6-1P:推导RNN反向传播算法BPTT.取ϕ作为隐藏层的激活函数取φ作为输出层的变换函数取作为模型的损失函数,其中标签是一个one-hot向量;由于RNN处理的通常是序列数据、所以在接受完序列中所有样本后再统一计算损失是合理的,此时模型的总损失可以表
Stacey.933
·
2022-12-18 14:37
pytorch
深度学习
NNDL
实验八 网络优化与正则化(3)不同优化算法比较
NNDL
实验八网络优化与正则化(3)不同优化算法比较7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.1.3与TorchAPI对比,验证正确性
叶雨柳光
·
2022-12-16 02:38
算法
深度学习
人工智能
NNDL
作业11:优化算法比较
NNDL
作业11:优化算法比较1.编程实现下式,并观察特征2.观察梯度方向3.编写代码实现算法,并可视化轨迹4.分析上图,说明原理1.为什么SGD会走“之字形”?其它算法为什么会比较平滑?
叶雨柳光
·
2022-12-16 02:08
算法
python
NNDL
作业12:第七章课后题
NNDL
作业12:第七章课后题习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比习题7-2在Adam算法中,说明指数加权平均的偏差修正的合理性习题7-9证明在标准的随机梯度下降中,权重衰减正则化和
叶雨柳光
·
2022-12-16 02:07
人工智能
算法
NNDL
作业12:第七章课后题
目录习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比习题7-2在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28).习题7-9证明在标准的随机梯度下降中,权重衰减正则化和正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立第七章总结习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比小批量梯度:令;所以要使参数最
_Gypsophila___
·
2022-12-15 09:22
人工智能
NNDL
实验八 网络优化与正则化(3)不同优化算法比较
目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比7.3.4.1构建一个三维空间中的被优化函数【选做题】7.3不同优化算法的比较分析除了批大小对模型
_Gypsophila___
·
2022-12-15 09:22
算法
人工智能
NNDL
作业11:优化算法比较
目录编辑1.编程实现图6-1,并观察特征2.观察梯度方向3.编写代码实现算法,并可视化轨迹4.分析上图,说明原理(选做)5.总结SGD、Momentum、AdaGrad、Adam的优缺点(选做)6.Adam这么好,SGD是不是就用不到了?(选做)1.编程实现图6-1,并观察特征importnumpyasnpfrommatplotlibimportpyplotaspltfrommpl_toolkit
_Gypsophila___
·
2022-12-15 09:51
算法
python
NNDL
作业9:分别使用numpy和pytorch实现BPTT
目录6-1:推导RNN反向传播算法BPTT.6-2P:设计简单RNN模型,分别用Numpy、Pytorch实现反向传播算子,并代入数值测试.6-1:推导RNN反向传播算法BPTT.在RNN中,输入序列为\left\{x^{(1)},x^{(2)},...,x^{(T)}\right\},输出序列为,标签序列为\left\{y^{(1)},y^{(2)},...,y^{(T)}\right\},其中
_Gypsophila___
·
2022-12-15 09:06
pytorch
深度学习
人工智能
NNDL
作业12:第七章课后题
目录习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比习题7-2在Adam算法中,说明指数加权平均的偏差修正的合理性习题7-9证明在标准的随机梯度下降中,权重衰减正则化和编辑正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立全面总结网络优化习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比在迷你批量梯度下降法中,批量大小对网络优化的影响也非常大。一
uvuvuvw
·
2022-12-15 09:33
深度学习
神经网络
NNDL
作业11:优化算法比较
目录1.编程实现图6-1,并观察特征2.观察梯度方向3.编写代码实现算法,并可视化轨迹4.分析上图,说明原理1.为什么SGD会走“之字形”?其它算法为什么会比较平滑?2.Momentum、AdaGrad对SGD的改进体现在哪里?速度?方向?在图上有哪些体现?3.仅从轨迹来看,Adam似乎不如AdaGrad效果好,是这样么?5.总结SGD、Momentum、AdaGrad、Adam的优缺点6.Ada
uvuvuvw
·
2022-12-15 09:30
算法
python
开发语言
NNDL
实验八 网络优化与正则化(3)
目录7.3不同优化算法的比较7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比7.3.4.1构建一个三维空间中的被优化函数【选做题】总结7.3不同优化算法的比较除了批大小对模型收敛
uvuvuvw
·
2022-12-15 09:30
算法
深度学习
NNDL
实验八 网络优化与正则化(3)不同优化算法比较
7.3不同优化算法的比较分析除了批大小对模型收敛速度的影响外,学习率和梯度估计也是影响神经网络优化的重要因素。神经网络优化中常用的优化方法也主要是如下两方面的改进,包括:学习率调整:通过自适应地调整学习率使得优化更稳定。AdaGrad、RMSprop、AdaDelta算法等。梯度估计修正:通过修正每次迭代时估计的梯度方向来加快收敛速度。动量法、Nesterov加速梯度方法等。本节还会介绍综合学习率
weixin_51715088
·
2022-12-14 23:51
算法
深度学习
pytorch
卷积神经网络
NNDL
作业12:第七章课后题
目录习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比习题7-2在Adam算法中,说明指数加权平均的偏差修正的合理性习题7-9证明在标准的随机梯度下降中,权重衰减正则化和编辑正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立全面总结网络优化习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比在小批量梯度下降中:令,则:因此为参数最优的时候的常数,学习
喝无糖雪碧
·
2022-12-14 23:50
深度学习
算法
NNDL
实验八 网络优化与正则化(3)不同优化算法比较
目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比参考:7.3不同优化算法的比较分析除了批大小对模型收敛速度的影响外,学习率和梯度估计也是影响神经网
喝无糖雪碧
·
2022-12-14 23:49
算法
人工智能
NNDL
作业12:第七章课后题
7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.主要是为了降低批量过小带来的不稳定性风险,防止它更新时前往偏离方向太远,因为当批量越大时,梯度方向更具有代表性,随机梯度下降偏离正常方向的概率要更低,因此可以调整更大的学习率,批量越小时正相反,选取的梯度方向更容易偏离目标方向,因此选用较小的学习率来限制其更新步骤。7-2在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7
真不想再学了
·
2022-12-14 15:17
深度学习
机器学习基础学习笔记(七)机器学习算法的类型(监督,无监督,强化学习)
以下内容均为https//
nndl
.github.io/
nndl
-book.pdf的学习笔记。
Giao哥不瘦到100不改名
·
2022-12-13 15:02
深度学习学习笔记
算法
机器学习
人工智能
深度学习
NNDL
作业12:第七章课后题
目录习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比习题7-2在Adam算法中,说明指数加权平均的偏差修正的合理性习题7-9证明在标准的随机梯度下降中,权重衰减正则化和编辑正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立第七章总结习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比在小批量梯度下降中:令,则:因此为参数最优的时候的常数,学习率和批
五元钱
·
2022-12-13 15:31
深度学习作业
深度学习
人工智能
NNDL
实验八 网络优化与正则化(3)不同优化算法比较
目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比参考7.3不同优化算法的比较分析除了批大小对模型收敛速度的影响外,学习率和梯度估计也是影响神经网络
五元钱
·
2022-12-13 15:01
深度学习
人工智能
HBU-
NNDL
作业12:第七章课后题
习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.在小批量梯度下降中:令,则:因此我们要使得参数最优,则为最优的时候的常数,故学习率要和批量大小成正比。习题7-2在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28)).公式7.27:公式7.28:在Adam算法中:因此当,的时候:因此可以发现此时梯度消失,因此需要进行偏差修正。习题7-9证明在
不是蒋承翰
·
2022-12-12 18:59
python
人工智能
算法
NNDL
实验八 网络优化与正则化(3)不同优化算法比较
目录7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.2学习率调整7.3.2.1AdaGrad算法7.3.2.2RMSprop算法7.3.3梯度估计修正7.3.3.1动量法7.3.3.2Adam算法7.3.4不同优化器的3D可视化对比7.3不同优化算法的比较分析除了批大小对模型收敛速度的影响外,学习率和梯度估计也是影响神经网络优化
HBU_Hbdwhb
·
2022-12-12 18:24
算法
人工智能
NNDL
作业12:第七章课后题
目录习题7-1习题7-2习题7-9总结ref习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.要使得参数最优,所有可以明显看出学习率,要和批量大小成正比。习题7-2在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28)).因此可以发现此时梯度消失,因此指数加权平均需要进行偏差修正。习题7-9证明在标准的随机梯度下降中,权重衰减正则化和l,正则化
沐一mu
·
2022-12-12 18:54
人工智能
算法
NNDL
实验八 网络优化与正则化(3)不同优化算法比较
NNDL
实验八网络优化与正则化(3)不同优化算法比较7.3不同优化算法的比较分析7.3.1优化算法的实验设定7.3.1.12D可视化实验7.3.1.2简单拟合实验7.3.1.3与TorchAPI对比,验证正确性
Perfect(*^ω^*)
·
2022-12-12 12:37
算法
python
深度学习
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他