《动手学深度学习

跟李沐学AI——动手学深度学习 PyTorch版——学习笔记pycharm版本（第二天——04-08）2023.2.27

一、基本数据操作知识数据结构：标量、向量、矩阵访问(记数是从0开始的)：[1,2]：单个元素[1,:]：单行[:,2]：单列[1:3,1:]：1到3行，第1列及后面的所有列[::3,::2]：行跳3提取，列跳2提取[-1]：最后一行1、生成tensor数据importtorch#pytorch在导入的时候就是torchx=torch.arange(0,12)#[0,12)print(x)#tens
yy_helloworld·2023-11-13 18:19

构建词表与抽样——【torch学习笔记】

构建词表与抽样引用翻译：《动手学深度学习》语言符号（又称词）的数量很大，而且分布很不均匀。因此，预测下一个符号的简单多类分类方法并不总是很有效。
俱往矣...·2023-11-09 18:47

机器学习领域经典书籍推荐

机器学习领域经典书籍1.数据挖掘概念与技术2.机器学习3.统计学习方法4.深度学习5.动手学深度学习（PyTorch版）1.数据挖掘概念与技术原名:DataMining：ConceptsandTechniques
隐私无忧·2023-11-08 11:31

深入理解CNN原理——改造后的全连接层

在李沐《动手学深度学习》视频中，对CNN原理做了讲解，从一个比较新的角度解读卷积神经网络，给人启发式的思考。
李烟云·2023-11-07 07:04

《动手学深度学习 Pytorch版》 3.3 线性回归的简洁实现

importnumpyasnpimporttorchfromtorch.utilsimportdatafromd2limporttorchasd2lfromtorchimportnn#nn是神经网络（NeuralNetworks）的缩写3.3.1生成数据集true_w=torch.tensor([2,-3.4])#与上一节类似生成数据集true_b=4.2features,labels=d2l.s
AncilunKiang·2023-11-06 12:50

动手学深度学习（第二版）学习笔记 第二章

http://zh.d2l.ai/视频可以去b站找记录的是个人觉得不太熟的知识第二章预备知识代码地址：d2l-zh/pytorch/chapter_preliminaries2.1数据操作2.1.数据操作—动手学深度学习
皓哥好运来·2023-11-06 08:13

【动手学深度学习v2】--课后笔记（个人记录）

文章目录前言零：知识先导一、二、三：安装和简介四：数据相关五：线性代数六：矩阵计算七：自动求导八：线性回归初始线性回归以及其简洁实现：九：Softmax回归+损失函数+图片分类数据集总结==深度学习就是函数逼近器==将任何事物x-->f(x)-->y中的f(x)都看成wx+b。并通过一层层的反向求导和迭代，找到最接近f(x)的w和b前言大二小白，看完吴恩达的深度学习后很感兴趣，但是理解很浅打算刷完
臭弟弟xz·2023-11-06 08:39

【动手学深度学习】课程笔记 05-07 线性代数、矩阵计算和自动求导

05线性代数1.基础知识补充向量相关矩阵相关简单来说，范数是用来衡量矩阵（张量）大小的值，范数的值有不同的规定。2.代码实现仅记录一些我比较陌生的知识。张量的克隆A=torch.arange(20,dtype=torch.float32).reshape(5,4)B=A.clone()#通过分配新内存，将A的一个副本分配给BA,A+B张量的降维首先定义一个张量x，指定其元素的数据类型为32位的fl
令夏二十三·2023-11-06 08:07

DL Homework 6

三种情况下，运用不同的卷积核的代码分析4.实现灰度图的边缘检测、锐化、模糊5.总结不同卷积核的特征和作用总结参考文献本博客引用了几个比较著名的DL的书这里介绍一下DL-深度学习入门（斋藤康毅）——鱼书DL-动手学深度学习
熬夜患者·2023-11-06 01:30

动手学深度学习：2.线性回归pytorch实现

动手学深度学习：2.线性回归pytorch实现1.手动构造数据集2.小批量读取数据集3.定义模型和损失函数4.初始化模型参数5.小批量随机梯度下降优化算法6.训练完整代码Q&A1.手动构造数据集importtorchfromtorch.utilsimportdatafromd2limporttorchasd2ltrue_w
shlyyy·2023-11-04 16:38

动手学深度学习：1.线性回归从0开始实现

动手学深度学习：1.线性回归从0开始实现1.手动构造数据集2.小批量读取数据集3.初始化模型参数4.定义模型和损失函数5.小批量随机梯度下降更新6.训练完整代码1.手动构造数据集根据带有噪声的线性模型构造一个人造数据集
shlyyy·2023-11-04 16:06

动手学深度学习Pytorch（二）——softmax回归

文章目录1.参考资料2.softmax回归2.1特点2.2回归步骤3.损失函数3.1L2Loss3.2L1Loss3.3Huber'sRobustLoss3.4交叉熵损失1.参考资料[1]动手学深度学习
冠long馨·2023-11-04 14:27

动手学深度学习——多层感知机

1.多层感知机多层感知机在输出层和输入层之间增加一个或多个全连接隐藏层，并通过激活函数转换隐藏层的输出。1.1.隐藏层在网络中加入一个或多个隐藏层来克服线性模型的限制，使其能处理更普遍的函数关系类型。最简单的方法是将许多全连接层堆叠在一起。每一层都输出到上面的层，直到生成最后的输出——多层感知机（multilayerperceptron，MLP）:输入：X∈，表示n个样本的小批量，每个样本具有d个
和星星作伴_·2023-11-04 08:07

《动手学深度学习》 11.模型选择 + 过拟合和欠拟合

训练误差和泛化误差训练误差：训练数据上的误差->模考泛化误差：新数据上的误差->高考其实我们一般所说的的test_data只是通俗的叫法，其实是验证数据集训练数据集&验证数据集&测试数据集：训练数据集：用来训练模型参数验证数据集：用来选超参数用来评估模型好坏的数据集例如拿出50%的训练数据不要跟训练数据混在一起(常犯错误)测试数据集：只用一次的数据集。也就是作为最终的结果例如未来的考试，我出价的房
楠哥最帅·2023-11-03 09:36

d2l包下载出错与module ‘d2l.torch‘ has no attribute_ 问题解决

在学习李沐老师的《动手学深度学习》的时候需要下载d2l软件包但经常会出现下载错误或是版本不对造成代码运行错误因为一开始是查到的解决方法是通过下面的网站下载.whl文件来安装，试过以后发现能用但后来报错越来越多
lianyudabaie·2023-11-03 08:24

小目标检测3_注意力机制_Self-Attention

主要参考：(强推)李宏毅2021/2022春机器学习课程P38、39李沐老师：64注意力机制【动手学深度学习v2】手把手带你Yolov5(v6.1)添加注意力机制(一)（并附上30多种顶会Attention
zxm_·2023-11-02 21:39

3.5 softmax回归的从零开始实现

参考资料：李沐《动手学深度学习-Pytorch版》ch3线性神经网络开源地址：动手学深度学习链接至上一节：3.4softmax回归此篇仅仅学习记录，更详细的内容可参考开源的书和代码以及b站上李沐老师的视频动手学深度学习在线课程
夜未央`樱花落·2023-11-01 19:21

动手学深度学习 - 学习环境配置

学习环境配置1、安装Miniconda1.1下载miniconda31.2环境变量配置1.3安装成功测试1.4配置文件1.5使用conda创建、使用、删除环境1.6conda常用命令2、使用miniconda安装d2l2.1下载d2l安装包2.2安装d2l1、安装Miniconda参考：https://www.jb51.net/article/275192.htmhttps://blog.csdn
S_numb·2023-11-01 11:39

笔记48：51序列模型--课程笔记

本地笔记地址：D:\work_file\DeepLearning_Learning\03_个人笔记\3.循环神经网络\序列模型aaaaaaaaaaaaaaaaaa8.1.序列模型—动手学深度学习2.0.0documentation
恨晨光熹微·2023-10-31 23:48

动手学深度学习——第六次

python类和对象python类和对象参数管理参数访问卷积python类和对象参数管理生成一个二维张量，然后传入有但隐藏层的多层感知机参数访问net[0]nn.Linear(4,8)net[1]nn.ReLU()net[2]nn.Linear(8,1)net[2].state_dict()访问最后一层的参数即权重和偏置内部表示修改默认的初始函数，normal_zeros_()m.weight.d
湘溶溶·2023-10-30 16:27

动手学深度学习——第五次学

权重衰减是最广泛使用的正则化的技术之一今天学的很头疼，好多都是公式12权重衰退（解决过拟合）13丢弃法（解决过拟合）14数值稳定（梯度爆炸和梯度消失问题）15竞赛题讲解层和块多层感知机
湘溶溶·2023-10-30 16:57

动手学深度学习——第四次

梯度下降是在机器学习中用于寻找最佳结果（即曲线最小值）的一种迭代优化算法。最小化loss，只需要将参数沿着梯度相反的方向前进一个步长，就可以实现目标函数（lossfunction）的下降。这个步长η\etaη又称为学习速率。
湘溶溶·2023-10-30 16:27

动手学深度学习——第七次学

LeNet（LeNet-5）由两个部分组成：卷积编码器和全连接层密集块卷积把高宽不断变小，把通道数逐渐增多，（最后高宽会变成，通道会变得很大，然后做全连接进行输出）通道信息可以看成是空间的模式，抽出来压缩的信息放到不同的通道里面，所有模式拿出来，通过多层感知机输出
湘溶溶·2023-10-30 16:50

快速入门深度学习2（用时1h）——数据操作

速通《动手学深度学习》2写在最前面二、预备知识2.1数据操作2.2.1入门2.1.2运算符2.1.3.广播机制2.1.4.索引和切片(和python一样，可跳过)2.1.5.节省内存（可跳）2.1.6.
是Yu欸·2023-10-29 22:55

快速入门深度学习4.1（用时1h）——多层感知器

速通《动手学深度学习》4.1写在最前面3.线性神经网络3.74.多层感知器4.1.1隐藏层4.1.1.2在网络中加入隐藏层4.1.1.3从线性到非线性（激活函数）4.1.2.激活函数4.1.2.1.ReLU
是Yu欸·2023-10-29 22:55

快速入门深度学习1（用时1h）——MXNet版本

速通《动手学深度学习》1写在最前面0.内容与结构1.深度学习简介1.1问题引入1.2思路：逆向思考1.3跳过1.4特点1.5小结2.预备知识（MXNet版本，学错了。。。。）
是Yu欸·2023-10-29 22:54

《动手学深度学习》Pytorch_GPU版Anaconda虚拟环境安装教程

说明：由于之前已在电脑中安装好Anaconda3和CUDA以及CUDNN，这里不再记录这一部分，如有需要可以参考其他博主的博客：Win10安装anaconda和cuda+cudnn详细教程。平台：Windows10，GTX1060显卡。首先找到AnacondaPrompt，右键以管理员方式运行一、创建并激活虚拟环境创建conda虚拟环境：（为了提高速度，这里使用了清华源。当然也可以用别的换源方法，
_Mr. Liu_·2023-10-29 10:13

深度学习_1 介绍；安装环境

课程链接：课程安排-动手学深度学习课程(d2l.ai)介绍AI地图：我们以前写的非AI类程序基本都是人自己去想会遇到什么样的问题,让程序做怎样的逻辑处理来解决.那么，如果我们期望机器自己总结以往的经验来对我们没有考虑到过的未知情况做操作
灰海宽松·2023-10-29 10:08

《动手学深度学习 Pytorch版》 10.7 Transformer

自注意力同时具有并行计算和最短的最大路径长度这两个优势。Transformer模型完全基于注意力机制，没有任何卷积层或循环神经网络层。尽管Transformer最初是应用于在文本数据上的序列到序列学习，但现在已经推广到各种现代的深度学习中，例如语言、视觉、语音和强化学习领域。10.7.1模型Transformer作为编码器－解码器架构的一个实例，其编码器和解码器是基于自注意力的模块叠加而成的，源（
AncilunKiang·2023-10-27 23:45

《动手学深度学习 Pytorch版》 10.5 多头注意力

多头注意力（multiheadattention）:用独立学习得到的h组不同的线性投影（linearprojections）来变换查询、键和值，然后并行地送到注意力汇聚中。最后，将这h个注意力汇聚的输出拼接在一起，并且通过另一个可以学习的线性投影进行变换，以产生最终输出。对于h个注意力汇聚输出，每一个注意力汇聚都被称作一个头（head）。10.5.1模型用数学语言描述多头注意力：hi=f(Wi(q
AncilunKiang·2023-10-27 23:44

《动手学深度学习 Pytorch版》 10.6 自注意力和位置编码

在注意力机制中，每个查询都会关注所有的键－值对并生成一个注意力输出。由于查询、键和值来自同一组输入，因此被称为自注意力（self-attention），也被称为内部注意力（intra-attention）。本节将使用自注意力进行序列编码，以及使用序列的顺序作为补充信息。importmathimporttorchfromtorchimportnnfromd2limporttorchasd2l10.6
AncilunKiang·2023-10-27 14:58

动手学深度学习—批量规范化（代码详解）

批量规范化1.训练深层网络2.批量规范化层2.1全连接层2.2卷积层3.从零实现批量规范化层4.使用批量规范化层的LeNet批量规范化（batchnormalization），可持续加速深层网络的收敛速度。1.训练深层网络数据预处理的方式通常会对最终结果产生巨大影响。对于典型的多层感知机或卷积神经网络。训练时，中间层中的变量（例如，多层感知机中的仿射变换输出）可能具有更广的变化范围。更深层的网络很
緈福的街口·2023-10-26 22:28

动手学深度学习相关资源网站

课程主页：https://courses.d2l.ai/zh-v2教材：https://zh-v2.d2l.ai/课程论坛讨论：https://discuss.d2l.ai/c/16Pytorch论坛：https://discuss.pytorch.org/
一只蹦跶的小蹦跶·2023-10-26 21:14

《动手学深度学习 Pytorch版》 10.4 Bahdanau注意力

10.4.1模型Bahdanau等人提出了一个没有严格单向对齐限制的可微注意力模型。在预测词元时，如果不是所有输入词元都相关，模型将仅对齐（或参与）输入序列中与当前预测相关的部分。这是通过将上下文变量视为注意力集中的输出来实现的。新的基于注意力的模型与9.7节中的模型相同，只不过9.7节中的上下文变量c\boldsymbol{c}c在任何解码时间步t′\boldsymbol{t'}t′都会被ct′
AncilunKiang·2023-10-26 08:41

《动手学深度学习 Pytorch版》 10.3 注意力评分函数

上一节使用的高斯核的指数部分可以视为注意力评分函数（attentionscoringfunction），简称评分函数（scoringfunction）。后续把评分函数的输出结果输入到softmax函数中进行运算。最后，注意力汇聚的输出就是基于这些注意力权重的值的加权和。该过程可描述为下图：用数学语言描述为：f(q,(k1,v1),…,(km,vm))=∑i=1mα(q,ki)vi∈Rvf(\bol
AncilunKiang·2023-10-26 08:00

动手学深度学习—含并行连结的网络GoogLeNet（代码详解）

目录1.Inception块3.GoogLeNet模型3.训练模型GoogLeNet吸收了NiN中串联网络的思想，并在此基础上做了改进，并且在2014年的ImageNet图像识别挑战赛中获得了不错的效果。1.Inception块GoogLeNet论文解决了多大的卷积核最合适的问题。Inception块可以说是“集百家之长”，它由四条并行路径组成，不同的路径提取不同的信息在通道合并层进行合并。Inc
緈福的街口·2023-10-25 00:08

动手学深度学习—网络中的网络NiN（代码详解）

LeNet、AlexNet和VGG都有一个共同的设计模式：通过一系列的卷积层与汇聚层来提取空间结构特征；然后通过全连接层对特征的表征进行处理。如果在过程的早期使用全连接层，可能会完全放弃表征的空间结构。而NiN（网络中的网络）提供了一个非常简单的解决方案：在每个像素的通道上分别使用多层感知机。1.NiN块卷积层的输入和输出由四维张量组成（样本，通道，高度，宽度）全连接层的输入和输出通常是二维张量（
緈福的街口·2023-10-24 20:55

《动手学深度学习 Pytorch版》 10.1 注意力提示

10.1.1生物学中的注意力提示“美国心理学之父”威廉·詹姆斯提出的双组件（two-component）框架：非自主性提示：基于环境中物体的突出性和易见性自主性提示：受到了认知和意识的控制10.1.2查询、键和值注意力机制与全连接层或汇聚层区别开来的元素：是否包含自主性提示在注意力机制的背景下：自主性提示被称为查询（query）。给定任何查询，注意力机制通过注意力汇聚（attentionpooli
AncilunKiang·2023-10-24 17:30

《动手学深度学习 Pytorch版》 10.2 注意力汇聚：Nadaraya-Watson 核回归

importtorchfromtorchimportnnfromd2limporttorchasd2l1964年提出的Nadaraya-Watson核回归模型是一个简单但完整的例子，可以用于演示具有注意力机制的机器学习。10.2.1生成数据集根据下面的非线性函数生成一个人工数据集，其中噪声项ϵ\epsilonϵ服从均值为0，标准差为0.5的正态分布：yi=2sin⁡xi+xi0.8+ϵ\bolds
AncilunKiang·2023-10-24 17:26

动手学深度学习之如何理解param.grad / batch_size（详细讲解）

defsgd(params,lr,batch_size):#@save"""小批量随机梯度下降"""withtorch.no_grad():#被该语句wra起来的部分将不会跟踪梯度forparaminparams:param-=lr*param.grad/batch_sizeparam.grad.zero_()这个问题我看到论坛也有人在问，但是大神回答说自己跑一遍代码就会了，我想这个东西只可意会，
我有明珠一颗·2023-10-24 07:12

动手学深度学习-准备工作-利用WSL2安装Ubuntu系统并搭建深度学习环境

目录1.WSL2安装Ubuntu系统1.1打开启用或关闭Windows功能1.2下载ubuntu1.3更新内核2.深度学习环境搭建2.1安装miniconda2.1.1创建虚拟环境2.1.2激活环境2.2安装英伟达驱动2.3安装pytorch测试是否安装成功2.4安装cuda配置环境变量2.5安装cudnn3.安装d2l软件包1.WSL2安装Ubuntu系统1.1打开启用或关闭Windows功能将
库行僧·2023-10-22 19:14

《动手学深度学习 Pytorch版》 9.8 束搜索

本节将介绍几大：贪心搜索（greedysearch）策略穷举搜索（exhaustivesearch）束搜索（beamsearch）9.8.1贪心搜索贪心搜索已用于上一节的序列预测。对于输出序列的每一时间步t′t't′，都从Y\boldsymbol{Y}Y中找到具有最高条件概率的词元，即：yt′=arg⁡max⁡y∈YP(y∣y1,…,yt−1,c)y_{t'}=\mathop{\arg\max}\
AncilunKiang·2023-10-22 17:37

《动手学深度学习 Pytorch版》 9.7 序列到序列学习（seq2seq）

循环神经网络编码器使用长度可变的序列作为输入，将其编码到循环神经网络编码器固定形状的隐状态中。为了连续生成输出序列的词元，独立的循环神经网络解码器是基于输入序列的编码信息和输出序列已经看见的或者生成的词元来预测下一个词元。要点：“”表示序列结束词元，一旦输出序列生成此词元，模型就会停止预测。“”表示序列开始词元，它是解码器的输入序列的第一个词元。使用循环神经网络编码器最终的隐状态来初始化解码器的隐
AncilunKiang·2023-10-22 17:36

动手学深度学习—使用块的网络VGG（代码详解）

目录1.VGG块2.VGG网络3.训练模型1.VGG块经典卷积神经网络的基本组成部分是下面的这个序列：1.带填充以保持分辨率的卷积层；2.非线性激活函数，如ReLU；3.汇聚层，如最大汇聚层。定义网络块，便于我们重复构建某些网络架构，不仅利于代码编写与阅读也利于后面参数的优化"""定义了一个名为vgg_block的函数来实现一个VGG块：1、卷积层的数量num_convs2、输入通道的数量in_c
緈福的街口·2023-10-21 19:56

动手学深度学习(一)——逻辑回归(gluon)

文章作者：Tyan博客：noahsnail.com|CSDN|注：本文为李沐大神的《动手学深度学习》的课程笔记！
SnailTyan·2023-10-21 06:15

《动手学深度学习 Pytorch版》 9.6 编码器-解码器架构

为了处理这种长度可变的输入和输出，可以设计一个包含两个主要组件的编码器-解码器（encoder-decoder）架构：编码器（encoder）：它接受一个长度可变的序列作为输入，并将其转换为具有固定形状的编码状态。解码器（decoder）：它将固定形状的编码状态映射到长度可变的序列。9.6.1编码器编码器接口仅指定长度可变的序列作为编码器的输入X。代码实现需要由继承这个Encoder基类的模型完成
AncilunKiang·2023-10-20 16:08

《动手学深度学习 Pytorch版》 9.5 机器翻译与数据集

机器翻译（machinetranslation）指的是将序列从一种语言自动翻译成另一种语言，基于神经网络的方法通常被称为神经机器翻译（neuralmachinetranslation）。importosimporttorchfromd2limporttorchasd2l9.5.1下载和预处理数据集“Tab-delimitedBilingualSentencePairs”数据集是由双语句子对组成的“
AncilunKiang·2023-10-20 10:18

《动手学深度学习 Pytorch版》 9.4 双向循环神经网络

之前的序列学习中假设的目标是在给定观测的情况下对下一个输出进行建模，然而也存在需要后文预测前文的情况。9.4.1隐马尔可夫模型中的动态规划数学推导太复杂了，略。9.4.2双向模型双向循环神经网络（bidirectionalRNNs）添加了反向传递信息的隐藏层，以便更灵活地处理此类信息。9.4.2.1定义前向和反向隐状态的更新如下：H→t=ϕl(XtWxh(f)+H→t−1Whh(f)+bh(f))
AncilunKiang·2023-10-20 10:17

《动手学深度学习 Pytorch版》 9.3 深度循环神经网络

将多层循环神经网络堆叠在一起，通过对几个简单层的组合，产生一个灵活的机制。其中的数据可能与不同层的堆叠有关。9.3.1函数依赖关系将深度架构中的函数依赖关系形式化，第lll个隐藏层的隐状态表达式为：Ht(l)=ϕl(Ht(l−1)Wxh(l)+Ht−1(l)Whh(l)+bh(l))\boldsymbol{H}^{(l)}_t=\phi_l(\boldsymbol{H}^{(l-1)}_t\bol
AncilunKiang·2023-10-20 10:42

【动手学深度学习】模型选择(训练数据，验证数据，测试数据，过拟合，欠拟合)

模型选择(训练数据，验证数据，测试数据，过拟合，欠拟合)在使用深度学习解决问题时会用到三种不同的数据:训练数据、验证数据和测试数据训练数据:用来训练模型,让我们的模型能够拟合住我们的训练数据，这个样本通常会大一些验证数据:用来验证模型的准确率测试数据:一般只用一次，当验证数据的结果还不错时,就可以使用测试数据来看一下这个模型的好坏了为什么要有验证数据？例如:训练多层感知机模型时，我们可能希望比较具
xyy ss·2023-10-20 01:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他