limu深度学习笔记

深度学习笔记之优化算法(五)AdaGrad算法的简单认识

机器学习笔记之优化算法——AdaGrad算法的简单认识引言回顾：动量法与Nesterov动量法优化学习率的合理性AdaGrad算法的简单认识AdaGrad的算法过程描述引言上一节对Nesterov\text{Nesterov}Nesterov动量法进行了简单认识，本节将介绍AdaGrad\text{AdaGrad}AdaGrad方法。回顾：动量法与Nesterov动量法关于动量法(Momentum
静静的喝酒·2023-10-09 21:05

中欧Mini-MBA深度学习笔记+总结 Day-2

一、学习笔记怎样缓和部门间冲突.png二、总结/心得《团队协作的五大障碍》的作者兰西奥尼曾在书中写到，阻碍高效团队形成的主要原因是行为问题和人际问题，今天我们学习的“怎样缓和部门间冲突”这一课，就收获了两大方向与七种工具：方向一：改变员工的行为工具1：自然分离法工具2：定下规则法方向二：改变员工的态度工具3：整合法工具4：谈判法工具5：第三方介入工具6：远景的设立工具7：群体培训七种工具分别适用于
Maggie雷玮·2023-10-09 12:04

【深度学习笔记】过拟合与欠拟合

过拟合简答来说即模型在训练集上错误率较低，但在未知数据（包括测试集）上错误率很高。欠拟合简单来说是模型不能很好的拟合训练集，在训练集上就已经错误率较高。模型复杂度是影响拟合的一个因素。模型复杂度较低就会出现欠拟合的现象。模型复杂度较高，导致与训练集拟合非常好，模型参数训练出来是十分适合训练集的，可能出现过拟合的现象。影响欠拟合和过拟合的另⼀个重要因素是训练数据集的大小。⼀般来说，如果训练数据集中样
RealWeakCoder·2023-10-08 10:32

吴恩达深度学习笔记 优化算法

一、Mini-batchgradientdescent(小批量梯度下降法)Mini-batch：把整个训练数据集分成若干个小的训练集，即为Mini-batch。为什么要分？梯度下降法必须处理整个训练数据集，才能进行下一次迭代。当训练数据集很大时，对整个训练集进行一次处理，处理速度较慢。但是如果每次迭代只使用一部分训练数据进行梯度下降法，处理速度就会变慢。而处理的这些一小部分训练子集即称为Mini-
uponwyz·2023-10-07 20:27

2.2吴恩达深度学习笔记之优化算法

1.Mini_batchgradientdescent小批量梯度下降法思想：batchgd是一次性处理所有数据，在数据集较大时比如500万个样本，一次迭代的时间会很长，而mini_batchgd是把数据集分为多个子数据集，每个eopch中对子集进行一次处理实现：实现mini_batch分为两步，第一步shuffle，将原集打乱，乱序步骤确保将样本被随机分成不同的小批次。第二步partition分割
Traviscxy·2023-10-07 20:25

深度学习笔记：优化算法

1、minibatch梯度下降传统的batch梯度下降是把所有样本向量化成一个矩阵，每一次iteration遍历所有样本，进行一次参数更新，这样做每一次迭代的计算量大，要计算所有样本，速度慢，但是收敛可以比较直接地收敛到costfunction的最小值。随机梯度下降（stochasticgradientdescent）是每次迭代以一个样本为输入，这种方法每次迭代更新参数时，参数不一定是朝着cost
a251844314·2023-10-07 20:23

深度学习笔记之优化算法(三)动量法的简单认识

机器学习笔记之优化算法——动量法的简单认识引言回顾：条件数与随机梯度下降的相应缺陷动量法简单认识动量法的算法过程描述附：动量法示例代码引言上一节介绍了随机梯度下降(StochasticGradientDescent,SGD)(\text{StochasticGradientDescent,SGD})(StochasticGradientDescent,SGD)，本节将介绍动量法。回顾：条件数与随机
静静的喝酒·2023-10-07 20:20

深度学习笔记（二十一）—— CNN可视化

IntroductionOneofthemostdebatedtopicsindeeplearningishowtointerpretandunderstandatrainedmodel–particularlyinthecontextofhighriskindustrieslikehealthcare.Theterm“blackbox”hasoftenbeenassociatedwithdeep
Nino_Lau·2023-10-07 19:53

深度学习笔记-工具使用Anaconda, jupyter

关于在Anaconda3中配置环境，打开AnacondaPrompt通过输入命令：1.activategluon2.jupyternotebook如若打开指定的文件目录如学习的课件：1.activategluon进入环境gluon，然后选择文件目录-进入D:cdd:\d2l-zh2.jupyternotebookjupyternotebook几个常用的快捷键H查看本次使用jupyternotebo
古镇风雨·2023-10-06 07:24

深度学习笔记7：模型选择+过拟合和欠拟合

模型选择例子：预测谁会偿还贷款银行雇你来调查谁会偿还贷款你得到了100个申请人的信息其中五个人在3年内违约了发现：5个人在面试的时候都穿模型也发现了这个强信号这会有什么问题？训练误差和泛化误差训练误差：模型在训练数据上的误差泛化误差：模型在新数据上的误差（主要关注）例子：根据模考成绩来预测未来考试分数在过去的考试中表现很好（训练误差）不代表未来考试一定会好（泛化误差）学生A通过背书在模考中拿到好成
燏羡·2023-10-05 18:17

深度学习笔记_4、CNN卷积神经网络+全连接神经网络解决MNIST数据

1、首先，导入所需的库和模块，包括NumPy、PyTorch、MNIST数据集、数据处理工具、模型层、优化器、损失函数、混淆矩阵、绘图工具以及数据处理工具。importnumpyasnpimporttorchfromtorchvision.datasetsimportmnistimporttorchvision.transformsastransformsfromtorch.utils.datai
Element_南笙·2023-10-05 00:18

深度学习笔记之微积分及绘图

深度学习笔记之微积分及绘图学习资料来源：微积分%matplotlibinlinefrommatplotlib_inlineimportbackend_inlinefrommxnetimportnp,npxfromd2limportmxnetasd2lnpx.set_np
白芷加茯苓·2023-10-03 20:02

WED笔记

神经网络与深度学习笔记要点在numpy中矩阵乘法与点乘:1.1矩阵乘法np.dot(a,b)=a@b其中矩阵a的列和b的行数相等看一下下面的这两个随机数组“a”和“b”：a=np.random.randn
挥手致何意·2023-10-03 04:58

深度学习笔记之线性代数

深度学习笔记之线性代数一、向量在数学表示法中，向量通常记为粗体小写的符号（例如，x，y，z）当向量表示数据集中的样本时，它们的值具有一定的现实意义。
白芷加茯苓·2023-10-02 20:02

深度学习笔记_3、全连接神经网络解决MNIST数据

1、导入包importnumpyasnpimporttorch#导入pytorch内置的mnist数据fromtorchvision.datasetsimportmnist#importtorchvision#导入预处理模块importtorchvision.transformsastransformsfromtorch.utils.dataimportDataLoader#导入nn及优化器imp
Element_南笙·2023-10-02 20:53

深度学习笔记 ：一些理解上的问题

1、特征映射什么意思指在卷积神经网络（ConvolutionalNeuralNetwork，CNN）中的卷积层中，通过对输入数据进行卷积操作得到的输出数据。特征映射可以看作是输入数据在卷积神经网络中的“抽象”，它可以提取输入数据中的不同特征，例如边缘、纹理、形状等信息。随着网络深度的增加，特征映射也变得越来越抽象，可以提取更高级别的特征，例如物体的部分、整体、类别等信息。这些特征映射最终会通过池化
愿你酷得像风·2023-10-01 05:21

深度学习笔记（四）—— 前馈神经网络的 PyTorch 实现

1AUTOGRADAUTOMATICDIFFERENTIATIONCentraltoallneuralnetworksinPyTorchistheautogradpackage.Let’sfirstbrieflyvisitthis,andwewillthengototrainingourfirstneuralnetwork.Theautogradpackageprovidesautomaticdi
Nino_Lau·2023-10-01 01:52

深度学习笔记_1、定义神经网络

1、使用了PyTorch的nn.Module类来定义神经网络模型;使用nn.Linear来创建全连接层。(CPU)importtorch.nnasnnimporttorch.nn.functionalasFfromtorchsummaryimportsummary#定义神经网络模型classNet(nn.Module):def__init__(self):super(Net,self).__ini
Element_南笙·2023-09-30 22:17

深度学习笔记_2、多种方法定义神经网络

1、nn.Moduleimporttorchfromtorchimportnnimporttorch.nn.functionalasFclassModel_Seq(nn.Module):""def__init__(self,in_dim,n_hidden_1,n_hidden_2,n_hidden_3,out_dim):super(Model_Seq,self).__init__()self.fl
Element_南笙·2023-09-30 22:45

【李沐深度学习笔记】Softmax回归

课程地址和说明Softmax回归p1本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。Softmax回归虽然它名字叫作回归，但是它其实是分类问题本节课的基础想要学会本节课得需要一点基础，我真没看懂这节课讲的是什么，查了一些资料补了补基础此处参考视频信息量｜熵｜交叉熵｜KL散度（相对熵）｜交叉熵损失函数信息量（AmountofInformation）定义事件
魔理沙偷走了BUG·2023-09-30 13:39

深度学习笔记之优化算法(二)随机梯度下降

深度学习笔记之优化算法——随机梯度下降引言回顾：梯度下降法梯度下降法在机器学习中的问题随机梯度下降随机梯度下降方法的思想随机梯度下降方法的步骤描述关于学习率引言本节将介绍随机梯度下降(StochasticGradientDescent
静静的喝酒·2023-09-28 13:05

【李沐深度学习笔记】线性回归的简洁实现

课程地址和说明线性回归的简洁实现p4本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。线性回归的简洁实现通过使用深度学习框架来简洁地实现线性回归模型生成数据集importnumpyasnpimporttorchfromtorch.utilsimportdatafromd2limporttorchasd2l#真实w和btrue_w=torch.tensor(
魔理沙偷走了BUG·2023-09-27 20:58

动手深度学习笔记（三十三）6.3. 填充和步幅

动手深度学习笔记（三十三）6.3.填充和步幅题6.卷积神经网络6.3.填充和步幅6.3.1.填充6.3.2.步幅6.3.3.小结6.3.4.练习6.卷积神经网络6.3.填充和步幅在前面的例子图6.2.1
落花逐流水·2023-09-27 06:07

李沐深度学习笔记（利用pytorch的深度学习框架实现线性回归）

1.主要代码：#线性回归的简单实现importtorchfromtorch.utilsimportdatafromd2limporttorchasd2l#获取数据集true_w=torch.tensor([2,-3.4])true_b=4.2features,labels=d2l.synthetic_data(true_w,true_b,1000)#调用d2l库中的synthetic_data构造
小蔡是小菜·2023-09-25 17:25

【李沐深度学习笔记】自动求导实现

课程地址和说明自动求导实现p2本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。自动求导#创建变量importtorchx=torch.arange(4,dtype=torch.float32)#只有浮点数才能求导#计算y关于x的梯度之前，需要一个地方存储梯度x.requires_grad_(True)print("x为：",x)#计算yy=2*torch
魔理沙偷走了BUG·2023-09-24 16:47

吴恩达深度学习笔记-搭建多层神经网络

吴恩达作业-搭建多层神经网络。神经网络的结构可以有很多层，结构是输入层>隐藏层>隐藏层>>>输出层，在每一层中，首先计算的是矩阵相乘[linear_forward]，然后再计算激活函数[linear_activation_forward],合并起来就是这一层的计算方式，所以每一层的计算都有两个步骤。可参照如下图：计算步骤表示图文末附全部代码链接计算伪代码如下：1.初始化网络参数2.前向传播（1）计
一技破万法·2023-09-23 13:40

【李沐深度学习笔记】矩阵计算（2）

课程地址和说明线性代数实现p4本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。本节是第二篇矩阵计算矩阵的导数运算此处参考了视频：矩阵的导数运算为了方便看出区别，我将所有的向量都不按印刷体加粗，而是按手写体在向量对应字母上加箭头的方式展现。标量方程对向量的导数在一元函数中，求一个函数的极值点，一般令导数为0（该点切线斜率为0），求得驻点，最后通过极值点定义
魔理沙偷走了BUG·2023-09-22 22:34

深度学习笔记-使用神经网络进行手写数字分类（1）

注：关于类和标签的说明。在机器学习中，分类问题中的某个类别叫做类（class）。数据点叫做样本（Sample）。某个样本对应的类叫做标签（lable）。MNIST数据集预加载在Keras库中fromkeras.datasetsimportmnist(train_images,train_labels),(test_images,test_labels)=mnist.load_data()注：tra
⁡⁢⁡布莱克先生·2023-09-22 09:28

【李沐深度学习笔记】线性代数实现

课程地址和说明线性代数实现p2本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。这节就算之前内容的复习，后面以截图形式呈现标量由只有一个元素的张量表示importtorchx=torch.tensor([3.0])y=torch.tensor([2.0])#加减法print(x+y)#乘法print(x*y)#除法print(x/y)#幂运算print(x
魔理沙偷走了BUG·2023-09-21 16:54

吴恩达深度学习笔记(91)-带你了解计算机视觉现状

计算机视觉现状（Thestateofcomputervision）深度学习已经成功地应用于计算机视觉、自然语言处理、语音识别、在线广告、物流还有其他许多问题。在计算机视觉的现状下，深度学习应用于计算机视觉应用有一些独特之处。在这个笔记中，我将和你们分享一些我对深度学习在计算机视觉方面应用的认识，希望能帮助你们更好地理解计算机视觉作品（此处指计算机视觉或者数据竞赛中的模型）以及其中的想法，以及如何自
极客Array·2023-09-20 12:45

【Pytorch深度学习笔记 10】基本的卷积操作conv1d

声明本文根据个人理解写的，如有纰漏望指正，谢谢！Conv1d的理解conv1d有两个，一个是torch.nn模块中，另一个是torch.nn.functional模块中。第一种：torch.nn.Conv1d调用格式torch.nn.Conv1d(in_channels,out_channels,kernel_size,stride=1,padding=0,dilation=1,groups=1,
坚果仙人·2023-09-20 08:21

05线性代数（李沐深度学习笔记）

文章目录线性代数线性代数实现QA线性代数直观理解矩阵乘法相当于扭曲空间，向量通过一个矩阵相乘变成另外一个向量，相当于矩阵把一个空间进行了扭曲矩阵也有长度，即范数c和b是向量。F范数相当于把矩阵拉成一个向量求范数，由于F范数比较简单，所以一般会用F范数在数学上，特别是在矩阵理论中，置换矩阵是一个方形二进制矩阵，它在每行和每列中只有一个1，而在其他地方则为0。设P是一个m×n的(0,1)矩阵，如果m≤
裂缘冰释·2023-09-19 17:41

李沐深度学习笔记-06矩阵计算

06矩阵计算标量导数亚倒数如果不存在导数的话，将导数拓展到不可微的函数梯度将导数拓展到向量当y是标量，x是标量，求导为标量当y是标量，x是向量，求导为向量当y是向量，x是标量，求导为向量当y是向量，x是向量，求导为矩阵
爱的小胡·2023-09-19 17:41

07自动求导（李沐深度学习笔记）

这里求导可以参看上一节这张图，∂∂w=xT∂w∂w+wT∂x∂w=xT∂w∂w=xT\frac{\partial}{\partialw}=x^T\frac{\partialw}{\partialw}+w^T\frac{\partialx}{\partialw}=x^T\frac{\partialw}{\partialw}=x^T∂w∂=xT∂w∂w+wT∂w∂x=xT∂w∂w=xT，因为∂w∂w=
裂缘冰释·2023-09-19 17:11

李沐基于Pytorch的深度学习笔记（2）

2线性代数2.1线性代数基础这一节其实就相当于啥呢，一个简单的了解：2.1.1标量、向量、矩阵那么之后李沐老师会讲一个用Python怎么实现，这里就不多赘述了。因为网上关于矩阵的Numpy&Pytorch实现都是现成的，不用纠结太多，遇见了就会了。
Reedsway_Yuhan.C·2023-09-19 17:40

【李沐深度学习笔记】线性代数

课程地址和说明数据预处理实现p3本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。线性代数标量标量（scalar），亦称“无向量”。有些物理量，只具有数值大小，而没有方向，部分有正负之分。物理学中，标量（或作纯量）指在坐标变换下保持不变的物理量。用通俗的说法，标量是只有大小，没有方向的量。（在深度学习领域也是如此）标量的运算规律加减法：c=a+bc=a+b
魔理沙偷走了BUG·2023-09-19 17:39

深度学习笔记（二十二）—— 健壮性

Deeplearninghasbeenwidelyappliedtovariouscomputervisiontaskswithexcellentperformance.PriortotherealizationoftheadversarialexamplephenomenonbyBiggioetal.,Szegedyet.al,modelperformanceoncleanexampleswas
Nino_Lau·2023-09-19 05:23

吴恩达深度学习笔记(61)-训练调参中的准确率和召回率

单一数字评估指标（Singlenumberevaluationmetric）无论你是调整超参数，或者是尝试不同的学习算法，或者在搭建机器学习系统时尝试不同手段，你会发现，如果你有一个单实数评估指标，你的进展会快得多，它可以快速告诉你，新尝试的手段比之前的手段好还是差。所以当团队开始进行机器学习项目时，我经常推荐他们为问题设置一个单实数评估指标。我们来看一个例子，你之前听过我说过，应用机器学习是一个
极客Array·2023-09-19 03:06

李沐深度学习笔记-05线性代数

1.线性代数标量由只有一个元素的张量表示importtorchx=torch.tensor([3.0])y=torch.tensor([2.0])x+y,x*y,x/y,x**y#输出(tensor([5.]),tensor([6.]),tensor([1.5000]),tensor([9.]))可以将向量视为标量值组成的列表x=torch.arange(4)x#输出tensor([0,1,2,3
爱的小胡·2023-09-17 17:21

04数据操作+数据预处理（李沐深度学习笔记）

数据操作首先，我们导入torch。请注意，虽然它被称为Pytorch,但我们应该导入torch而不是Pytorch。张量表示一个数值组成的数组，这个数组可能有多个维度。我们可以通过张量的shape属性来访间问张量的形状和张量中元素的总数通过shape可以查看张量的形状（维度），numel()（即numberofelements的缩写）可以查看张量有多少元素要改变一个张量的形状而不改变元素数量和元素
裂缘冰释·2023-09-17 17:51

李沐深度学习笔记3.3简洁实现线性回归

3.3简洁实现线性回归#生成数据集importnumpyasnpimporttorchfromtorch.utilsimportdatafromd2limporttorchasd2ltrue_w=torch.tensor([2,-3.4])true_b=4.2features,labels=d2l.synthetic_data(true_w,true_b,1000)#读取数据集defload_ar
菜鸟思如·2023-09-17 17:51

【李沐深度学习笔记】数据操作实现

课程地址数据操作实现p2数据操作首先导入PyTorch包（importtorch)，虽然叫PyTorch，但实际上要导入torch。importtorch张量张量表示的是一个数值组成的数组，这个数组可以有很多个维度。#生成0-11的顺序序列构成的一维数组张量（12那里是开区间，取不到）x=torch.arange(12)print(x)输出结果：tensor([0,1,2,3,4,5,6,7,8,
魔理沙偷走了BUG·2023-09-17 17:19

【李沐深度学习笔记】数据预处理实现

课程地址和说明数据预处理实现p3本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。数据预处理Python文件操作OS标准库Python的OS标准库是一个操作系统接口模块,提供一些方便使用操作系统相关功能的函数。这里只提及李沐老师示例代码中的各种函数的用法，至于该库的其他内容请参考网络。os.makedir方法os.makedir是python中常用的一个函
魔理沙偷走了BUG·2023-09-17 03:51

吴恩达深度学习笔记(86)-1×1 卷积讲解

网络中的网络以及1×1卷积（NetworkinNetworkand1×1convolutions）在架构内容设计方面，其中一个比较有帮助的想法是使用1×1卷积。也许你会好奇，1×1的卷积能做什么呢？不就是乘以数字么？听上去挺好笑的，结果并非如此，我们来具体看看。过滤器为1×1，这里是数字2，输入一张6×6×1的图片，然后对它做卷积，起过滤器大小为1×1×1，结果相当于把这个图片乘以数字2，所以前三
极客Array·2023-09-11 07:30

【动手学深度学习笔记】--门控循环单元GRU

文章目录门控循环单元GRU1.门控隐状态1.1重置门和更新门1.2候选隐状态1.3隐状态2.从零开始实现2.1读取数据2.2初始化模型参数2.3定义模型2.4训练与预测3.简洁实现门控循环单元GRU学习视频：门控循环单元（GRU）【动手学深度学习v2】官方笔记：门控循环单元（GRU）思考一下这种梯度异常在实践中的意义：我们可能会遇到这样的情况：早期观测值对预测所有未来观测值具有非常重要的意义。考虑
小d<>·2023-09-10 06:07

limu-class05-线性代数

要学明白的知识点：os.makedirs(os.path.join(‘…’,‘data’))创建的文件，放在哪了？A:'…'表示相对路径，所以是存放在当前项目的路径下的名字叫做data的文件夹里面啊混蛋！学的些什么os.path.join(‘…’,‘data’,‘house_tiny.csv’)A:就是把这三个字符串连起来，然后返回一个str类型变量’…\data\house_tiny.csv’c
Hej对简单题使用蓄意轰拳·2023-09-10 01:09

【连载】深度学习笔记14：CNN经典论文研读之Le-Net5及其Tensorflow实现

从本次笔记开始，笔者在深度学习笔记中会不定期的对CNN发展过程中的经典论文进行研读并推送研读笔记。
linux那些事·2023-09-09 04:30

深度学习笔记

深度学习笔记1.简单的二输入单层感知机模型的实现结构如图所属：由图可知：输入信号（input）：X[x1,x2]也就是样本集合权重：[w1,w2]，用来体现对应输入的重要性在这里我们设定，这个神经元（感知机
jjjhut·2023-09-07 09:44

深度学习笔记

1.代价函数(costfunction)与误差函数(lossfunction)之间的关系：，其中J为代价函数，L为误差函数，Y为标签矢量，A为根据样本计算矢量。2.代价函数J对w和b的导数：推导过程，误差函数以交叉熵为例：根据链式传播：。由：，，有：，设：，，，推广到所有特征权重
dibowei2069·2023-09-06 08:13

深度学习笔记9_Softmax回归_图像分类（李沐，pytorch)

%matplotlibinlineimporttorchimporttorchvisionfromtorch.utilsimportdatafromtorchvisionimporttransformsfromd2limporttorchasd2ld2l.use_svg_display()SVG是一种无损格式–意味着它在压缩时不会丢失任何数据，可以呈现无限数量的颜色。d2l.use_svg_dis
贤良淑德列克星敦_CV2·2023-08-31 13:16
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他