动手学深度学习

十六 动手学深度学习v2计算机视觉 ——样式迁移

文章目录基于CNN的样式迁移基于CNN的样式迁移我们通过前向传播（实线箭头方向）计算风格迁移的损失函数，并通过反向传播（虚线箭头方向）迭代模型参数，即不断更新合成图像。风格迁移常用的损失函数由3部分组成：内容损失使合成图像与内容图像在内容特征上接近；风格损失使合成图像与风格图像在风格特征上接近；全变分损失则有助于减少合成图像中的噪点。内容损失：均方误差样式损失：样式相似就是指特征的统计分布一样，g
王二小、·2023-12-15 23:43

十三 动手学深度学习v2计算机视觉 ——语义分割

文章目录分割图像分割语义分割实例分割分割图像分割指的是使用边界、色彩梯度等特征对图像进行划分，但只能是进行划分，算法并不对划分出的部分有语义上的理解；而随着计算能力提高以及卷积神经网络的发展，能够理解分割后图像语义的算法逐渐出现，能够理解语义的图像分割，称为语义分割。实例分割（InstanceSegmentation）和语义分割（SemanticSegmentation）是计算机视觉中两个不同但相
王二小、·2023-12-15 23:13

十五 动手学深度学习v2计算机视觉 ——全连接神经网络FCN

文章目录FCNFCN全卷积网络先使用卷积神经网络抽取图像特征，然后通过卷积层将通道数变换为类别个数，最后通过转置卷积层将特征图的高和宽变换为输入图像的尺寸。因此，模型输出与输入图像的高和宽相同，且最终输出通道包含了该空间位置像素的类别预测。上图的CNN去掉了池化层和全连接层！1x1卷积层降低维度，减少计算量。最后输出kx224x224,通道数就是类别数。
王二小、·2023-12-15 23:13

十四 动手学深度学习v2计算机视觉 ——转置矩阵

文章目录基本操作填充、步幅和多通道再谈转置卷积不填充，步幅为1填充为p，步幅为1填充为p，步幅为s基本操作填充、步幅和多通道填充：与常规卷积不同，在转置卷积中，填充被应用于的输出（常规卷积将填充应用于输入）。例如，当将高和宽两侧的填充数指定为1时，转置卷积的输出中将删除第一和最后的行与列。步幅：在转置卷积中，步幅被指定为中间结果（输出），而不是输入。使用上图相同输入和卷积核张量，将步幅从1更改为2
王二小、·2023-12-15 22:01

动手学深度学习——Anaconda、pytorch、paddle安装(cpu版本)

之前出了个Windows下的深度学习安装，但在继续学习的过程中发现，沐神的一些代码跑不起来，这里又提供pytorch和paddle的安装，各位用pytorch或者百度飞桨paddlepaddle来学习深度学习也是可以的。安装Anaconda1.打开Anaconda链接，下载，时间较久2.下载完成，开始安装3.安装路径可以随意，不过推荐使用默认安装路径，next虽说下面要勾选添加环境变量的选项，我这
Audery867·2023-12-15 05:44

动手学深度学习(一) 线性回归

线性回归主要内容包括：线性回归的基本要素线性回归模型从零开始的实现线性回归模型使用pytorch的简洁实现线性回归的基本要素模型为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系:数据集我们通常收集一系列的真实数据，例如多栋房屋的真实售出价格和它们对应的面积和房龄。我们希望在
致Great·2023-12-05 13:00

【动手学深度学习】(十)PyTorch 神经网络基础

文章目录一、层和块1.自定义块2.顺序块3.在前向传播函数中执行代码二、参数管理1.参数访问2.参数初始化3.参数绑定三、自定义层1.不带参数的层2.带参数的层四、读写文件1.加载和保存张量2.加载和保存模型参数[相关总结]state_dict()一、层和块为了实现复杂神经网络块，引入了神经网络块的概念。使用块进行抽象的一个好处是可以将一些块组合成更大的组件。从编程的角度来看，块由类表示。impo
释怀°Believe·2023-12-05 09:35

【动手学深度学习】(七)丢弃法

文章目录一、理论知识二、代码实现2.1从零开始实现Dropout2.2简洁实现【相关总结】np.random.uniform(low，high，size)astypetorch.rand()一、理论知识1.动机一个好的模型需要对输入数据的扰动鲁棒使用有噪音的数据等价于Tikhonov正则丢弃法：在层之间加入噪音2.无偏差的加入噪音对x加入噪音得到x’，我们希望丢弃法对每个元素进行如下扰动3.使用场
释怀°Believe·2023-12-03 04:22

【动手学深度学习】(九)Kaggle房价预测

文章目录一、代码1.下载和缓存数据集【相关总结】1.os.makedirs()2.os.path.join()3.os.path.exits()4.os.path.dirname()一、代码题目链接1.下载和缓存数据集建立字典DATA_HUB，将数据集名称的字符串映射到数据集相关的二元组上，这个二元组包含数据集的url和验证文件完整性的sha-1密钥importhashlibimportosimp
释怀°Believe·2023-12-03 04:22

【动手学深度学习】(六)权重衰退

文章目录一、理论知识二、代码实现2.1从零开始实现2.2简洁实现【相关总结】主要解决过拟合一、理论知识1、使用均方范数作为硬性限制（不常用）通过限制参数值的选择范围来控制模型容量通常不限制偏移b小的意味着更强的正则项使用均方范数作为柔性限制对于每个都可以找到使得之前的目标函数等价于下面的：可以通过拉格朗日乘子来证明超参数控制了正则项的重要程度参数更新法则总结：权重衰退通过L2正则项使得模型参数不会
释怀°Believe·2023-12-03 04:21

【动手学深度学习】(八)数值稳定和模型初始化

文章目录一、理论知识一、理论知识1.神经网络的梯度考虑如下有d层的神经网络计算损失l关于参数Wt的梯度（链式法则）2.数值稳定性常见的两个问题3.梯度爆炸4.梯度爆炸的问题值超出阈值对于16位浮点数尤为严重对学习率敏感如果学习率太大->大参数值->更大的梯度如果学习率太小->训练无进展我们可能需要在训练过程中不断调整学习率5.梯度消失使用sigmoid作为激活函数6.梯度消失的问题梯度值变为0对1
释怀°Believe·2023-12-03 04:50

笔记61：注意力提示

本地笔记地址：D:\work_file\（4）DeepLearning_Learning\03_个人笔记\3.循环神经网络\第10章：动手学深度学习~注意力机制aaaaaaaa
恨晨光熹微·2023-11-30 19:52

笔记62：注意力汇聚 --- Nadaraya_Watson 核回归

本地笔记地址：D:\work_file\（4）DeepLearning_Learning\03_个人笔记\3.循环神经网络\第10章：动手学深度学习~注意力机制aaaaaaaaaaaaaaaaaa
恨晨光熹微·2023-11-30 19:52

笔记63：注意力评分函数

本地笔记地址：D:\work_file\（4）DeepLearning_Learning\03_个人笔记\3.循环神经网络\第10章：动手学深度学习~注意力机制aaaaaaaaaaaaaaaaaaa
恨晨光熹微·2023-11-30 19:52

笔记64：Bahdanau 注意力

本地笔记地址：D:\work_file\（4）DeepLearning_Learning\03_个人笔记\3.循环神经网络\第10章：动手学深度学习~注意力机制aaaaaaaaaaa
恨晨光熹微·2023-11-30 19:46

动手学深度学习笔记day9

卷积神经网络（convolutionalneuralnetworks，CNN）图像不是二维张量，而是一个由高度、宽度和颜色组成的三维张量，比如包含个像素。前两个轴与像素的空间位置有关，而第三个轴可以看作是每个像素的多维表示。互相关运算互相关运算（cross-correlation）：在卷积层中，输入张量和核张量通过互相关运算产生输出张量。在图中，输入是高度为3、宽度为3的二维张量（即形状为3×3）
努力学习的廖同学·2023-11-29 17:24

动手学深度学习（5.3）——卷积神经网络进阶

深度卷积神经网络（AlexNet）LeNet:在大的真实数据集上的表现并不尽如⼈意。1.神经网络计算复杂。2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。机器学习的特征提取:手工定义的特征提取函数神经网络的特征提取：通过学习得到数据的多级表征，并逐级表⽰越来越抽象的概念或模式。神经网络发展的限制:数据、硬件AlexNet首次证明了学习到的特征可以超越⼿⼯设计的特征，从而⼀举打破计算机视觉
贾如钊·2023-11-28 19:43

动手学深度学习(三)---Softmax回归

文章目录一、理论知识1.图像分类数据集2.softmax回归的从零开始实现3.Softmax简洁实现softmax回归一、理论知识回归估计一个连续值分类预测一个离散类别回归单连续数值输出自然区间R跟真实值的区别作为损失分类通常多个输出输出i是预测为第i类的置信度一般我们使用交叉熵用来衡量两个概率的区别将它作为损失其梯度是真实概率和预测概率的区别：其梯度是真实概率和预测概率的区别损失函数(1)L2L
释怀°Believe·2023-11-26 20:14

动手学深度学习(二)---线性回归

文章目录1.理论知识2.线性回归从0实现3.线性回归简洁实现【相关方法】torch.normal()1.理论知识线性假设是指目标可以表示为特征的加权和：ex1;在机器学习领域，一般用线性代数处理会更方便向量x对应单个数据样本的特征。对于特征集合X，我们可以采用矩阵-向量乘法2.线性回归从0实现从0开始实现整个方法，包括数据流水线、模型、损失函数和小批量随机梯度下降优化器（1）导入需要的包%matp
释怀°Believe·2023-11-26 20:13

动手学深度学习(四)---多层感知机

文章目录一、理论知识1.感知机2.XOR问题3.多层感知机4.多层感知机的从零开始实现【相关总结】1.torch.randn()2.torch.zeros_like()一、理论知识1.感知机给定输入x,权重w，和偏移b,感知机输出：2.XOR问题感知机不能拟合XOR问题，他只能产生线性分割面3.多层感知机多层感知机和softmax没有本质区别,只是多加了一层隐藏层没有隐藏层就是softmax回归,
释怀°Believe·2023-11-26 20:40

[深度学习]动手学深度学习笔记-10

Task5——卷积神经网络基础；leNet；卷积神经网络进阶10.1卷积神经网络（CNN）基础卷积神经网络是一种用来处理局部和整体相关性的计算网络结构，被应用在图像识别、自然语言处理甚至是语音识别领域，因为图像数据具有显著的局部与整体关系，其在图像识别领域的应用获得了巨大的成功。10.1.1卷积神经网络的组成层图10.1卷积神经网络示意图以图像分类任务为例，在表10.1所示卷积神经网络中，一般包含
田纳尔多·2023-11-26 12:16

《动手学深度学习》笔记2.3 线性代数

2.3线性代数前言范数小结前言原文档：https://zh-v2.d2l.ai/chapter_preliminaries/linear-algebra.html本文章为学习笔记这一章的内容都很重要，特别是范数，建议看原文档重点是L1范数和L2范数，及Lp范数范数小结·标量、向量、矩阵和张量是线性代数中的基本数学对象。·向量泛化自标量，矩阵泛化自向量。·标量、向量、矩阵和张量分别具有零、一、二和任
开哥kg·2023-11-26 09:59

【动手学深度学习v2】注意力机制—4 Transformer

Transformer模型多头注意力Multi-HeadAttention有掩码的多头注意力Maskedmulti-headattention基于位置的前馈网络PositionwiseFFN残差+层归一化Add&Norm信息传递预测总结参考系列文章模型基于编码器-解码器架构处理序列对；跟使用注意力的seq2seq不同，Transformer纯用基于注意力，不用RNN多头注意力Multi-HeadA
Hannah2425·2023-11-26 09:20

沐神深度学习报错 can only concatenate str (not “int“) to str

学习背景：动手学深度学习第二章数据预处理中报错：canonlyconcatenatestr(not“int”)tostr报错原因：panda新版本对fillna函数做了调整，原先是忽略str。
In 2029·2023-11-24 21:25

动手学深度学习之kaggle竞赛

实战Kaggle比赛：图像分类(CIFAR-10)importcollectionsimportmathimportosimportshutilimportpandasaspdimporttorchimporttorchvisionfromtorchimportnnfromd2limporttorchasd2l我们提供包含前1000个训练图像和5个随机测试图像的数据集的小规模样本d2l.DATA_
哈哈哈捧场王·2023-11-24 21:04

《动手学深度学习》第二章 预备知识

2.1获取和运行本书的代码大家可以在自己的环境试验2.2数据操作NDArray提供GPU计算和自动求梯度等更多功能，这些使NDArray更加适合深度学习。2.2.1创建NDArraynd.arrangend.shapend.reshapend.sizend.zerosnd.onesnd.arraynd.random.normal2.2.2运算+、-、*、/、exp、dot、concatenate、
irving不会机器学习·2023-11-23 01:35

动手学深度学习笔记---4.3 解决过拟合_权重衰减与Dropout

一、权重衰退（Weight_decay）正则限制针对模型训练时出现的过拟合问题，限制模型容量是一种很好的解决方法，目前常用的方法有以下两种：缩小模型参数量，例如降低模型层数，使得模型更加轻量化，L1L1L1正则化通过限制参数值的选择范围来控制模型容量，L2L2L2正则化：使用均方范数作为硬性限制，即对于参数w,bw,bw,b，假设其损失函数为l(w,b)l(w,b)l(w,b)，则其优化目标为mi
Aaaaaki·2023-11-22 15:06

【Dive into Deep Learning |动手学深度学习（李沐）】4.5权重衰退--学习笔记

目录使用均方范数作为硬性限制使用均方范数作为硬性限制证明过程梯度更新法则小结代码实现从零开始生成数据集初始化模型参数定义L2范数惩罚定义训练代码实现简洁实现小结权重衰减（weightdecay）是最广泛使用的正则化的技术之一，它通常也被称为L2正则化。这项技术通过函数与零的距离来衡量函数的复杂度，因为在所有函数f中，函数f=0（所有输入都得到值0）在某种意义上是最简单的。使用均方范数作为硬性限制通
爱吃白菜的金小妞·2023-11-21 04:11

《动手学深度学习》4.5. 权重衰减（李沐）

4.5.1.高维线性回归代码学习笔记（含详细注释）通过一个简单的例子来演示权重衰减4.5.1.高维线性回归%matplotlibinlineimporttorchfromtorchimportnnfromd2limporttorchasd2l若在pycharm上面用到matplotlib库，可以将上述代码中的：%matplotlibinline替换为：importmatplotlib.pyplot
认真学习！！！·2023-11-21 04:10

李沐动手学深度学习第四章-4.5权重衰减（正则化）

1.高维线性回归一个简单的例子来演示权重衰减。%matplotlibinlineimporttorchfromtorchimportnnfromd2limporttorchasd2l选择标签是关于输入的线性函数。标签同时被均值为0，标准差为0.01高斯噪声破坏。为了使过拟合的效果更加明显，我们可以将问题的维数增加到d=200，并使用一个只包含20个样本的小训练集。n_train,n_test,nu
nousefully·2023-11-21 04:09

《动手学深度学习——李沐》课后练习

引言你当前正在编写的代码的哪些部分可以“学习”，即通过学习和自动确定代码中所做的设计选择来改进？你的代码是否包含启发式设计选择？常见的机器学习，自动优化算法可以通过学习来进行改进。首先说明启发式设计选择，在平时的代码中还没有包含这种设计启发式设计选择：启发式设计选择是指在缺乏明确指导或完整信息的情况下，基于经验、直觉和规则-of-thumb（经验法则）来进行设计决策的过程。它是一种以启发式方式解决
mili-coding·2023-11-21 04:09

李沐动手学深度学习课后习题

这里是我学习李沐老师的动手学深度学习时，教材课后题的一些解答，如果有不正确的解答还请指出来。
无 眠·2023-11-21 04:08

GRU、LSTM、双向循环神经网络

动手学深度学习笔记一、门控循环单元(GRU)1.重置门和更新门2.候选隐状态3.隐状态4.PyTorch代码二、长短期记忆网络(LSTM)1.输入门、遗忘门和输出门2.记忆元3.隐状态4.PyTorch
葫芦娃啊啊啊啊·2023-11-21 02:42

笔记56：深度循环神经网络

本地笔记地址：D:\work_file\DeepLearning_Learning\03_个人笔记\3.循环神经网络\第9章：动手学深度学习~现代循环神经网络aaaaaaaa
恨晨光熹微·2023-11-21 02:11

笔记55：长短期记忆网络 LSTM

本地笔记地址：D:\work_file\DeepLearning_Learning\03_个人笔记\3.循环神经网络\第9章：动手学深度学习~现代循环神经网络aaaaaaaaa
恨晨光熹微·2023-11-21 02:41

笔记57：双向循环神经网络

本地笔记地址：D:\work_file\DeepLearning_Learning\03_个人笔记\3.循环神经网络\第9章：动手学深度学习~现代循环神经网络aaaaaaaaaaaa
恨晨光熹微·2023-11-21 02:58

深度学习环境配置Anaconda+cuda+cudnn+PyTorch——李沐大神《动手学深度学习》环境配置（巨详细，持续迭代）

李沐大神《动手学深度学习》安装篇——通用AI、深度学习、机器学习环境Anaconda+cuda+cudnn+Pytorch(手把手教你安装深度学习环境）——这里是GPU+PyTorch版本文章目录李沐大神
Beyond_April·2023-11-19 14:54

李沐动手学深度学习环境配置（Win）

环境配置（Win）一、安装MinicondaMiniconda—condadocumentation更改镜像源condanotepad.condarcpypipipconfigsetglobal.index-urlhttps://mirror.sjtu.edu.cn/pypi/web/simple二、安装Githttps://ghproxy.com/https://github.com/git-f
MhjGreat·2023-11-19 14:53

结合李沐动手学深度学习配置环境

Anacondaubuntu可以看这个博文：Ubuntu安装Anaconda详细步骤windows:从官网上下载对应版本的anaconda,https://www.anaconda.com/。也可以通过镜像源下载：清华源：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/(大家安装完了千万不用pipinstalljupyter在一个虚拟环境
鱼小丸·2023-11-19 14:14

动手学深度学习——矩阵求导之矩阵的迹和微分

目录一、矩阵的迹1.迹的定义2.迹的性质二、微分与全微分1.（全）微分的表达式2.（全）微分的法则三、矩阵的微分1.矩阵微分的实质2.矩阵微分的意义3.矩阵微分的法则4.矩阵微分的常用公式四、矩阵求导实例1.迹在微分中的应用2.利用微分求导本篇博客总结自知乎文章：矩阵求导公式的数学推导（矩阵求导——进阶篇），需要详细推导过程可以查看原文学习。文章主要介绍了矩阵迹的性质，并将矩阵微分引入到矩阵求导中
时生丶·2023-11-19 05:27

动手学深度学习——循环神经网络（原理解释与代码详解）

文章目录一、循环神经网络1.无隐状态的神经网络2.有隐状态的循环神经网络3.基于循环神经网络的字符级语言模型4.困惑度5.小结二、循环神经网络的从零开始实现1.独热编码2.初始化模型参数3.循环神经网络模型4.预测5.梯度裁剪6.训练一、循环神经网络n元语法模型，单词xt在时间步t的条件概率仅取决于前n-1个单词如果想要引入时间步t-(n-1)之前单词的影响到xt上，则需要增加n，但会造成模型参数
緈福的街口·2023-11-19 01:36

动手学深度学习——语言模型和数据集（代码详解）

文章目录语言模型与数据集1.学习语言模型2.马尔可夫模型与n元语法3.自然语言统计4.读取长序列数据4.1随机采样4.2顺序分区语言模型与数据集了解到如何将文本数据映射到词元，以及将这些词元视作一系列的离散观测，例如单词或字符。给定一个文本序列的，xt表示文本序列在时间步t的观测或标签，语言模型的目标是估计序列的联合概率1.学习语言模型如何对一个文档或者是一个词元序列进行建模？假设在单词级别对文本
緈福的街口·2023-11-19 01:06

动手学深度学习——循环神经网络的从零开始实现（原理解释+代码详解）

文章目录循环神经网络的从零开始实现1.独热编码2.初始化模型参数3.循环神经网络模型4.预测5.梯度裁剪6.训练循环神经网络的从零开始实现从头开始基于循环神经网络实现字符级语言模型。#读取数据集%matplotlibinlineimportmathimporttorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorc
緈福的街口·2023-11-19 01:06

动手学深度学习——循环神经网络的简洁实现（代码详解）

文章目录循环神经网络的简洁实现1.定义模型2.训练与预测循环神经网络的简洁实现#使用深度学习框架的高级API提供的函数更有效地实现相同的语言模型importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2lbatch_size,num_steps=32,35train_iter,vocab=d2l
緈福的街口·2023-11-19 01:30

笔记54：门控循环单元 GRU

本地笔记地址：D:\work_file\DeepLearning_Learning\03_个人笔记\3.循环神经网络\第9章：动手学深度学习~现代循环神经网络aaaaaaa
恨晨光熹微·2023-11-18 18:57

Day1跟李沐学AI-深度学习课程00-04【预告、课程安排、深度学习介绍、安装、数据操作+数据预处理】

00预告《动手学深度学习》https://github.com/d2l-ai/d2l-zh01课程安排02深度学习介绍03安装本地安装·使用conda/miniconda环境condaenvremoved2l-zhcondacreate-n-yd2l-zhpython
一直在努力的小宁·2023-11-17 08:31

[动手学深度学习]注意力机制Transformer学习笔记

动手学深度学习（视频）：68Transformer【动手学深度学习v2】_哔哩哔哩_bilibili动手学深度学习（pdf）：10.7.Transformer—动手学深度学习2.0.0documentation
夏莉莉iy·2023-11-16 19:30

6、动手学深度学习——多层感知机：数值稳定性和模型初始化

1、数值稳定性考虑一个具有LLL层、输入x\mathbf{x}x和输出o\mathbf{o}o的深层网络。每一层lll由变换flf_lfl定义，该变换的参数为权重W(l)\mathbf{W}^{(l)}W(l)，其隐藏变量是h(l)\mathbf{h}^{(l)}h(l)（令h(0)=x\mathbf{h}^{(0)}=\mathbf{x}h(0)=x）。我们的网络可以表示为：h(l)=fl(h(
辰阳星宇·2023-11-16 06:47

5、动手学深度学习——多层感知机：过拟合解决方法：权重衰退、丢弃法

1、权重衰退1.基础概念实际上，限制特征的数量是缓解过拟合的一种常用技术。然而，简单地丢弃特征对这项工作来说可能过于生硬。我们继续思考多项式回归的例子，考虑高维输入可能发生的情况。多项式对多变量数据的自然扩展称为单项式（monomials），也可以说是变量幂的乘积。单项式的阶数是幂的和。例如，x12x2x_1^2x_2x12x2和x3x52x_3x_5^2x3x52都是3次单项式。注意，随着阶数d
辰阳星宇·2023-11-16 06:17

在报错中学python something

这里写目录标题动手学深度学习pandas完整代码数据处理TypeError:canonlyconcatenatestr(not"int")tostr（fillna填补缺失值）创建文件夹学习这个数据分组get_dummies
Selvaggia·2023-11-15 20:54
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他