动手学深度学习学习整理

[课程笔记]（李沐-动手学深度学习）

文章目录矩阵计算标量导数亚导数梯度自动求导向量链式求导法则自动求导复杂度自动求导实现softmax回归+损失函数softmax回归损失函数QA权重衰退丢弃法Dropout从零开始实现dropout数值稳定性+模型初始化和激活函数数值稳定性——梯度消失和梯度爆炸梯度爆炸梯度消失如何让训练更加稳定？梯度消失和梯度爆炸的产生原因和解决办法？模型初始化和激活函数深度神经网络权值初始化的几种方式及为什么不能
初之代·2022-10-24 18:22

跟李沐学AI-动手学深度学习-现代卷积神经网络

深度卷积神经网络(AlexNet)深度学习之前最火的是机器学习：特征提取。选择核函数来计算相关性。凸优化问题。漂亮的定理。计算机视觉方面之前关注的不是机器学习而是几何学：抽取特征。描述几何（例如多相机），（非）凸优化。漂亮定理。假设满足了，效果很好。在十几年前，计算机视觉中最重要的是特征工程：特征工程是关键。特征描述子：SIFT，SURF。视觉词袋（聚类）。最后用SVM。数据集ImageNet(2
洋-葱·2022-10-24 18:50

动手学深度学习【李沐老师】 - - 学习路径

视频1：B站【直接进入】视频2：课程进入【点击视频回放即可】代码：对应代码窗口课件：课件ppt链接
Bessie_Lee·2022-10-24 18:50

跟李沐学AI-动手学深度学习-权重衰退+Dropout

目录权重衰退使用均方范数作为硬性限制使用均方范数作为柔性限制总结Dropout(丢弃法)动机无偏差的加入噪音使用丢弃法推理中的丢弃法总结权重衰退是最广泛使用的正则化的技术之一。使用均方范数作为硬性限制通过限制参数值的选择范围来控制模型容量。通常不限制偏移b（因为限制与不限制的差别不大）。小的θ意味着更强的正则项。使用均方范数作为柔性限制对于每个θ，都可以找到λ使得之前的目标函数等价于下面可以通过拉
洋-葱·2022-10-24 18:19

跟李沐学AI-动手学深度学习-数值稳定性+模型初始化和激活函数

目录数值稳定性神经网络的梯度数值稳定性的常见两个问题例子：MLP梯度爆炸梯度爆炸的问题梯度消失梯度消失的问题总结让训练更加稳定让每层的方差是一个常数权重初始化例子：MLP正向方差反向均值和方差Xavier初始假设线性的激活函数反向检查常用激活函数总结数值稳定性神经网络的梯度考虑如下有d层的神经网络计算损失l关于参数Wt的梯度数值稳定性的常见两个问题梯度消失和梯度爆炸例子：MLP加入如下MLP（为了
洋-葱·2022-10-24 18:19

跟李沐学AI-动手学深度学习-感知机+多层感知机

目录感知机训练感知机收敛定理XOR问题总结多层感知机学习XOR单隐藏层单隐藏层-单分类激活函数sigmoid激活函数Tanh激活函数ReLU激活函数多类分类多隐藏层总结感知机给定输入x，权重w，和偏移b，感知机输出：二分类：-1或1。回归输出实数、softmax回归输出概率。训练感知机等价于使用批量大小为1的梯度下降，并使用如下的损失函数：收敛定理数据在半径r内。余量p分类为两类，对于，感知机保证
洋-葱·2022-10-24 18:49

跟李沐学AI-动手学深度学习-模型选择+过拟合和欠拟合

目录模型选择训练误差和泛化误差K-折交叉验证总结过拟合和欠拟合模型容量模型容量的影响估计模型容量VC维数据复杂度总结模型选择训练误差和泛化误差训练误差：模型在训练数据上的误差。泛化误差：模型在新数据上的误差。验证数据集：一个用来评估模型好坏的数据集。测试数据集：只用一次的数据集。K-折交叉验证在没有足够多数据时使用(这是常态)算法：将训练数据分割成K块，fori=1,....K.使用第i块作为验证
洋-葱·2022-10-24 18:49

跟李沐学AI-动手学深度学习-深度学习计算

深度学习计算文章目录深度学习计算层和块自定义块顺序块在正向传播函数中执行代码混搭各种组合块参数管理参数访问参数初始化自定义层读写文件GPU层和块单个神经元：接收一组输入。生成相应的标量输出。具有一组相关参数（这些参数可以更新以优化感兴趣的目标函数）。层：接受一组输入。生成相应的输出。有一组可调整参数描述。为了实现这些复杂的⽹络，我们引⼊了神经⽹络块的概念。块可以描述单个层、由多个层组成的组件或整个
洋-葱·2022-10-24 18:49

跟李沐学AI-动手学深度学习-softmax回归+损失函数+图片分类数据集

目录softmax回归回归VS分类从回归到多类分类从回归到多类分类-均方误差从回归到多类分类-无校验比例从回归到多类分类-校验比例softmax和交叉熵损失总结损失函数L2LossL1LossHuber'sRobustLosssoftmax回归虽然softmax的名字是回归，但是其实它是一个分类问题。回归VS分类回归估计一个连续值分类预测一个离散类别eg:MNIST：手写数字识别（10类）Imag
洋-葱·2022-10-24 18:48

跟李沐学AI-动手学深度学习-线性回归+基础优化算法

回归（regression）是指⼀类为⼀个或多个⾃变量与因变量之间关系建模的⽅法。在⾃然科学和社会科学领域，回归经常⽤来表⽰输⼊和输出之间的关系。在机器学习领域中的⼤多数任务通常都与预测（prediction）有关。当我们想预测⼀个数值时，就会涉及到回归问题。常⻅的例⼦包括：预测价格（房屋、股票等）、预测住院时间（针对住院病⼈）、预测需求（零售销量）等。但不是所有的预测都是回归问题。目录线性回归e
洋-葱·2022-10-24 18:48

【跟李沐学AI—动手学深度学习 pytorch版】学习笔记

第12节权重衰减（待完善）下式为带正则项的优化函数，正则项会牵引着参数w尽量往零点移动。对上式计算梯度可得梯度更新为而ηλ\eta\lambdaηλ一般小于1，在深度学习中通常叫做权重衰减。
沐子乐事·2022-10-24 18:46

跟李沐学AI-动手学深度学习1

整体内容神经网络可以理解为是一种语言数学和代码的结合，道术结合，关键在动手是什么，怎么做，为什么这样发展知识和应用广告点击预测三个步骤预测和训练模型控制广告展现数据格式0维，1维，2维图片，批量图片，视频多了时间维度形状，类型，值区域跳着访问形状至少是一维的，x.numel是元素个数创建全0或者全1通过python本身的数据格式创建加减乘除以及拼接所有元素求和，是标量两个不同维度的数据怎么相加，广
愚昧之山绝望之谷开悟之坡·2022-10-24 18:15

《动手学深度学习》环境搭建全程详细教程 window用户

一、下载并安装Miniconda第一步是根据操作系统下载并安装Miniconda,在安装过程中需要勾选“AddAnacondatothesystemPATHenvironmentvariable"选项（如当conda版本为4.6.14时）第二步安装完成后，打开anacondaprompt这个终端（安装miniconda的时候会自动安装到你电脑上），然后分别执行如下命令，将conda和pip的软件源
溶~月·2022-10-23 07:38

Word2Vec(Skip-Gram和CBOW) - PyTorch

动手学深度学习笔记一、词嵌入(Word2vec)1.Skip-Gram2.CBOW模型二、负采样和分层softmax1.负采样2.分层Softmax三、用于预训练词嵌入的数据集1.下采样2.中心词和上下文词的提取
葫芦娃啊啊啊啊·2022-10-21 20:06

LeNet | AlexNet | VGG | NiN | GoogLeNet | ResNet | DenseNet (CNN模型) - PyTorch

动手学深度学习-卷积神经网络笔记一、LeNet二、深度卷积神经网络(AlexNet)三、使用块的网络(VGG)四、网络中的网络(NiN)五、含并行连结的网络(GoogLeNet)六、残差网络(ResNet
葫芦娃啊啊啊啊·2022-10-21 15:22

【动手学深度学习】3 Softmax 回归 + 损失函数

上一篇移步【动手学深度学习PyTorch版】2线性回归_水w的博客-CSDN博客目录一、线性回归的简洁实现1.1.生成数据集1.2.读取数据集1.3.定义模型1.4.初始化模型参数1.5.定义损失函数1.6
水w·2022-10-20 22:50

Yarn-容量调度器、公平调度器和Tool接口案例 （From 尚硅谷）

个人学习整理，所有资料来自尚硅谷B站学习连接：添加链接描述Yarn-容量调度器、公平调度器和Tool接口案例1.Yarn生产环境核心参数配置案例（1）需求：从1G数据中，统计每个单词出现的次数。
lavineeeen·2022-10-18 15:42

Swin-Transformer学习整理

Swin-Transformer学习整理Swin-Transformer相比于之前的ViT等模型，最大的特点有两点：运用patch-partition和patch-merging，进行多尺度特征提取。
Alice01010101·2022-10-18 14:07

【公开课】李沐大佬：深度学习论文精读

李沐大神新作：用梯度下降来优化人生亚马逊首席科学家李沐博士：工作五年反思也推荐过他的著作：全球175所大学教材：《动手学深度学习》(中文版下载)可能还有同学不知道李沐，这里简单介绍一下他的履历。
机器学习算法与Python实战·2022-10-18 14:06

李沐动手学深度学习V2-transformer和代码实现

一.tansfomer1.介绍自注意力同时具有并行计算和最短的最大路径长度这两个优势。因此使用自注意力来设计深度架构是很有吸引力的。对比依赖循环神经网络实现输入表示的自注意力模型，transformer模型完全基于注意力机制，没有任何卷积层或循环神经网络层。尽管transformer最初是应用于在文本数据上的序列到序列学习，但现在已经推广到各种现代的深度学习中，例如语言、视觉、语音和强化学习领域。
cv_lhp·2022-10-18 14:35

08 线性回归 动手学深度学习 PyTorch版 李沐视频课笔记

动手学深度学习PyTorch版李沐视频课笔记李沐视频课笔记其他文章目录链接(不定时更新)文章目录动手学深度学习PyTorch版李沐视频课笔记一、线性回归从零开始实现1.根据带有噪声的线性模型构造一个人造数据集
认真学习的小张·2022-10-16 10:51

【动手学深度学习PyTorch版】1 前期知识

目录前言：安装torch一、前期知识◼数据操作◼数据预处理◼线性代数知识#标量#向量#矩阵前言：安装torch参考博客pythonAnaconda以及pytorch下载安装，在jupternotebook中执行代码_水w的博客-CSDN博客AI地图：一、前期知识◼数据操作（1）访问张量形状①可以通过张量的shape属性来访问张量的形状和张量中元素的总数。（2）改变张量形状①要改变一个张量的形状而不
水w·2022-10-16 10:50

动手学深度学习——线性回归之利用PyTorch框架简洁实现

线性回归的简洁实现在过去的几年里，出于对深度学习强烈的兴趣，许多公司、学者和业余爱好者开发了各种成熟的开源框架。这些框架可以自动化基于梯度的学习算法中重复性的工作。在上面我们只运用了：（1）通过张量来进行数据存储和线性代数；（2）通过自动微分来计算梯度。实际上，由于数据迭代器、损失函数、优化器和神经网络层很常用，现代深度学习库也为我们实现了这些组件。在本节中，我们将介绍如何通过使用深度学习框架来简
时生丶·2022-10-16 10:50

【深度学习】动手学深度学习 pytorch版

目录线性回归softmax回归线性回归我们构造⼀个简单的⼈⼯训练数据集，它可以使我们能够直观⽐较学到的参数和真实的模型参数的区别。设训练数据集样本数为1000，输⼊个数（特征数）为2。我们使用随机生成的样本数据X、线性回归模型的真实权重w=[2,−3.4]Tw={[2,-3.4]}^Tw=[2,−3.4]T,偏执项b=4.2b=4.2b=4.2，随机噪声σ\sigmaσ来生成标签。具体公式：y=X
可乐大牛·2022-10-16 10:20

动手学深度学习pytorch版练习解答-3.3线性回归的简洁实现

如果将小批量的总损失替换为小批量损失的平均值，你需要如何更改学习率？解：默认的其实就是平均值(meansquared)，问题问得不对，要反过来做。学习率除batch_size即可查看深度学习框架⽂档，它们提供了哪些损失函数和初始化⽅法？⽤Huber损失代替原损失，即提供的loss如下图所示，如果需要具体了解可以使用help(torch.nn.xxxLoss)或者百度查询#huber损失对应Pyto
Innocent^_^·2022-10-16 10:50

动手学深度学习pytorch版练习解答—3.1线性回归

第一问和第三问最后一小题都是开放性题目，有很多角度去思考和回答。希望我的这份参考能为您的学习带来帮助，您的指正对我而言也是大有裨益。假设我们有⼀些数据x1,...,xn∈R。我们的⽬标是找到⼀个常数b，使得最小化∑i(xi−b)2\sum_{i}(x_i-b)^2∑i(xi−b)2（1）找到最优值b的解析解。（2）这个问题及其解与正态分布有什么关系?2.推导出使⽤平⽅误差的线性回归优化问题的解析解
Innocent^_^·2022-10-16 10:49

动手学深度学习pytorch版练习解答——3-2线性回归的从零开始实现

练习如果我们将权重初始化为零，会发⽣什么。算法仍然有效吗？\qquad解：全0初始化也是常用的一个选择，跟正态分布初始化相比可能会走向不同的局部最优点，算法还是有效的。假设你是乔治·西蒙·欧姆，试图为电压和电流的关系建⽴⼀个模型。你能使⽤⾃动微分来学习模型的参数吗?\qquad解：题例中电流当做features，电压当做labels，描点绘图后发现二者呈线性关系，再用书上的代码走一遍即可。您能基于
Innocent^_^·2022-10-16 10:49

【动手学深度学习PyTorch版】2 线性回归

参考视频按特定轴求和_哔哩哔哩_bilibili目录一、自动求导◼相关知识#计算图#反向累积◼自动求导代码实现二、线性回归◼举例：房价预测#线性回归模型#训练数据#参数学习#显示解（最优解）#线性回归总结三、单元线性回归实现：糖尿病例子◼生成数据集#np.newaxis#比较两个数组是否等同#随机采样#将数组打乱随机排列◼训练集与测试集的划分◼训练数据四、线性回归从0开始实现（使用自定义）4.1生
水w·2022-10-16 10:19

动手学深度学习Pytorch（二）——线性回归

文章目录1.基础知识1.1线性模型1.2模型评估1.3模型训练1.4优化方法——梯度下降小批量随机梯度下降2.代码2.1构造人为数据集2.2构造Pytorch数据迭代器2.3初始化模型2.4模型训练代码总结参考资料1.基础知识1.1线性模型线性模型可以看做是单层神经网络。给定n维输入x=[x1,x2,⋯ ,xn]Tx=[x_1,x_2,\cdots,x_n]^Tx=[x1,x2,⋯,xn]T，线性
冠long馨·2022-10-16 10:19

《动手学深度学习+PyTorch》3.2线性回归的从零开始实现 学习笔记

文章目录一、d2lzh_pytorch包二、生成数据集二、画出数据集的散点图三、读取数据四、模型初始化及训练五、训练结果总结一、d2lzh_pytorch包《动手学深度学习+PyTorch》配套的GitHub
稚晖君的小弟·2022-10-16 10:19

【深度学习】浅析二维卷积层

文章目录二维互相关运算二维卷积层互相关运算和卷积运算特征图和感受野简单的边缘检测试验本文为《动手学深度学习》一书学习笔记，原文地址：http://zh.d2l.ai/chapter_convolutional-neural-networks
Beb1997·2022-10-16 07:11

矩阵求导的本质与分子布局、分母布局的本质（一）

在开始学习之前，我们引入《动手学深度学习》里面的一个实例：对于前两个求导式，第一印象是不是感觉写反了？
旅途中的宽~·2022-10-13 14:54

Pytorch 语言模型和数据集

Pytorch语言模型和数据集0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab查看函数详解
哇咔咔负负得正·2022-10-12 07:55

李沐《动手学深度学习》课程笔记：00预告、01课程安排、02深度学习介绍

目录00预告01课程安排02深度学习介绍00预告学习深度学习关键是动手深度学习是人工智能最热的领域核心是神经网络应该像学习Python/C++一样学习深度学习01课程安排目标介绍深度学习经典和最新模型：LeNet,ResNet,LSTM,BERT,...机器学习基础：损失函数、目标函数、过拟合、优化实践：使用Pytorch实现介绍的知识点；在真实数据上体验算法效果内容深度学习基础-线性神经网络，多
feiwen110·2022-10-11 14:43

李沐动手学深度学习V2-AlexNet模型和代码实现

1.AlexNet1.1AlexNet概要如果你和机器学习研究人员交谈，你会发现他们相信机器学习既重要又美丽：优雅的理论去证明各种模型的性质。机器学习是一个正在蓬勃发展、严谨且非常有用的领域。然而，如果你和计算机视觉研究人员交谈，你会听到一个完全不同的故事。他们会告诉你图像识别的诡异事实————推动领域进步的是数据特征，而不是学习算法。计算机视觉研究人员相信**，从对最终模型精度的影响来说，更大或
cv_lhp·2022-10-11 14:42

iOS底层知识学习整理-MJ老师逆向班

iOS底层知识学习整理：1.OC语法1.1isa指针：实例的本质，是一个结构体，里面包含了一个Class类型的变量isatypedefstructobjc_class*Class;structobjc_object
许久__·2022-10-10 17:02

使用YOLOv5实现人脸口罩佩戴检测（详细）

前言最近把李沐大神《动手学深度学习v2》的目标检测部分学完了，就想找一个项目练练手，学以致用嘛，觉着人脸口罩佩戴检测比较符合当下时代背景，所以就选择了这个项目，也是前几天刚刚完成的，写下这篇博客记录一下具体过程
Stick_2·2022-10-09 14:56

卷积运算(CNN卷积神经网络)

以下介绍与计算均出自李沐老师的《动手学深度学习》，如有疑问请看原文或在下方留言。
Gaolw1102·2022-10-06 16:58

李沐动手学深度学习V2-RNN循环神经网络原理

一.李沐循环神经网络RNN原理1.介绍前面博文介绍了nnn元语法模型，其中单词xtx_txt在时间步ttt的条件概率仅取决于前面n−1n-1n−1个单词。对于时间步t−(n−1)t-(n-1)t−(n−1)之前的单词，如果想将其可能产生的影响合并到xtx_txt上，需要增加nnn，导致模型参数的数量也会随之呈指数增长，因为词表V\mathcal{V}V需要存储∣V∣n|\mathcal{V}|^n
cv_lhp·2022-10-04 07:19

Pytorch LSTM 长短期记忆网络

PytorchLSTM长短期记忆网络0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab查看函数详解
哇咔咔负负得正·2022-10-03 07:47

现代循环神经网络-2.长短期记忆网络(LSTM)【动手学深度学习v2】

上一篇：现代循环神经网络-1.门控循环单元（GRU）【动手学深度学习v2】文章目录2.长短期记忆网络2.1输入门、忘记门和输出门2.2候选记忆元2.3记忆单元2.4隐状态2.5LSTM的代码实现2.6LSTM
紫色银杏树·2022-10-03 07:16

深度学习PyTorch笔记（6）：Tensor与NumPy、标量的转换

相互转换1.5.1Tensor转NumPy1.5.2Numpy转Tensor1.5.3直接用torch.tensor()将NumPy数组转换成Tensor1.6将大小为1的张量转换为Python标量这是《动手学深度学习
三耳01·2022-10-02 07:48

《动手学深度学习》 pytorch版-Tensor和NumPy相互转换

1、Tensor转NumPy#Tensor和NumPy相互转换#我们很容易用numpy()和from_numpy()将Tensor和NumPy中的数组相互转换。#但是需要注意的一点是：这两个函数所产生的的Tensor和NumPy中的数组共享相同的内存（所以他们之间的转换很快），#改变其中一个时另一个也会改变！！！importtorch'''Tensor转NumPy使用numpy()将Tensor转
小夭。·2022-10-02 07:15

Vanishing Point Detection 消影点/消失点/灭点检测代码学习整理笔记

VanishingPointDetection代码学习整理main.cppVPDetection.hVPDetection.cpprun()getVPHypVia2LinesgetSphereGridsgetBestVpsHyplines2Vps
长夜临光·2022-10-01 07:16

动手学深度学习——softmax回归之OneHot、softmax与交叉熵

目录一、从回归到多类分类1.回归估计一个连续值2.分类预测一个离散类别二、独热编码OneHot三、校验比例——激活函数softmax四、损失函数——交叉熵五、总结回归可以用于预测多少的问题，比如预测房屋被售出价格，或者棒球队可能获得的胜场数，又或者患者住院的天数。事实上，我们也对分类问题感兴趣，不是问“多少”，而是问“哪一个”：某个电子邮件是否属于垃圾邮件文件夹？某个用户可能注册或不注册订阅服务？
时生丶·2022-10-01 07:55

softmax回归与交叉熵损失函数

交叉熵损失函数在《动手学深度学习》softmax回归一节中，交叉熵损失函数比较晦涩，学习csdn上其他博客后有了一定了解，做此记录softmax回归softmax回归同线性回归一样，也是一个单层神经网络
leSerein_·2022-10-01 07:41

动手学深度学习（二十八）——目标物体检测+多尺度目标检测

文章目录一、目标检测任务概述二、目标检测和边界框2.1锚框定义及相关基础知识2.2基于锚框的目标检测算法2.2.1怎么去进行目标检测？2.2.2生成训练锚框+交并比比较锚框相似度2.2.3怎么去赋予锚框标号?2.2.4使用非极大值抑制（NMS）输出（每个类别保留一个框）2.3动手代码实现锚框三、多尺度目标检测3.1多尺度目标检测综述3.2多尺度特征检测锚框生成示例四、参考整理一、目标检测任务概述 
留小星·2022-09-29 07:47

动手学深度学习pytorch版练习解答-3.4softmax回归

这一节习题数学能力要求比较高，我的有限，如果有不同意见或者我哪里写错了欢迎讨论练习1.我们可以更深入地探讨指数族与softmax之间的联系。（1）计算softmax交叉熵损失l(y,y^)l(\mathbf{y},\hat{\mathbf{y}})l(y,y^)的二阶导数（2）计算softmax(o)给出的分布⽅差，并与上面计算的⼆阶导数匹配。解：（1）由公式3.4.9和3.4.10：（2）由方差
Innocent^_^·2022-09-28 21:43

动手学深度学习_卷积神经网络CNN

目录MLP到CNN的转变transitionalinvariance平移不变性locality局部性图像卷积互相关计算：卷积层padding填充stride步长1x1卷积pooling汇聚层（池化层）MLP到CNN的转变传统的MLP对于图片的处理参数量太大，现在随手拍一张照片像素都在几千万吧，当我们把这张图片送入MLP，假设使用隐藏层不断的降维，里面的参数也得有几十亿，根本没办法训练。另外神经元个
CV小Rookie·2022-09-28 12:39

用Attention和微调BERT进行自然语言推断-PyTorch

动手学深度学习笔记一、自然语言推断与数据集1.自然语言推断2.斯坦福自然语言推断数据集二、利用注意力进行自然语言推断1.模型2.训练和评估模型3.预测三、微调BERT进行自然语言推断1.加载预训练的BERT2
葫芦娃啊啊啊啊·2022-09-26 07:26
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他