《动手学深度学习

基于pytorch的kaggle_CIFAR-10图片分类（可GPU也可CPU）

主体代码来自于动手学深度学习代码分两个部分组成，第一部分是主体代码kaggle_CIFAR-10.py，第二部分是d2l.py是一堆类或者函数定义的地方，其中也有很多函数没有用到，所以很长，但是也都是书中的
丶fest·2023-01-23 08:57

机器学习11种优化器推导过程详解(SGD,BGD,MBGD,Momentum,NAG,Adagrad,Adadelta,RMSprop,Adam,Nadma,Adamx)

前言在网上看了很多关于优化函数的讲解，基本都是从两本书完全照抄搬运到知乎和CSDN等各大技术论坛，而且搬运的过程中错误很多：一本是李沐的《动手学深度学习》，另一本是邱锡鹏的《神经网络与深度学习》，这里从新总结和修正一下
量化交易领域专家：杨宗宪·2023-01-21 19:33

深度学习-学习笔记（数值稳定性）

最近看李沐老师的动手学深度学习，有很多收获，因此将老师讲课内容稍作总结，以便以后翻阅学习数值稳定性数值稳定性是神经网络模型一个非常重要的内容，模型不稳定一般与梯度消失和梯度爆炸有关。
J_Wu·2023-01-21 19:31

【动手学深度学习PyTorch版】8 数值稳定性、模型初始化、激活函数

上一篇移步【动手学深度学习PyTorch版】7丢弃法_水w的博客-CSDN博客目录一、数值稳定性1.1数值稳定性◼数值稳定性常见的两个问题：◼梯度爆炸：举例MLP◼梯度消失◼总结1.2如何使得训练更稳定
水w·2023-01-21 19:29

李沐动手学深度学习第四章-4.8. 数值稳定性和模型初始化

我们实现的每个模型都是根据某个预先指定的分布来初始化模型的参数。初始化方案的选择在神经网络学习中起着举足轻重的作用，它对保持数值稳定性至关重要。1.梯度消失和梯度爆炸1.1.梯度消失曾经sigmoid函数1/(1+exp⁡(−x))（4.1节提到过）很流行，因为它类似于阈值函数。由于早期的人工神经网络受到生物神经网络的启发，神经元要么完全激活要么完全不激活（就像生物神经元）的想法很有吸引力。然而，
nousefully·2023-01-21 19:27

动手学深度学习（十六）——数值稳定性和模型初始化(公式说明)

文章目录一、数值稳定性——梯度消失和梯度爆炸二、多层感知机器（MLP）中说明梯度爆炸和梯度消失2.1梯度爆炸梯度爆炸的问题2.2梯度消失梯度消失的问题2.3总结如何让训练更加稳定？三、模型初始化和激活函数3.1权重初始化3.2让每一层的方差都是一个常数Xavier初始化：以多层感知机为例假设线性的激活函数3.3总结一、数值稳定性——梯度消失和梯度爆炸考虑一个具有LLL层、输入x\mathbf{x}
留小星·2023-01-21 19:57

李沐《动手学深度学习》课程笔记：14 数值稳定性 + 模型初始化和激活函数

目录14数值稳定性+模型初始化和激活函数1.数值稳定性2.模型初始化和激活函数14数值稳定性+模型初始化和激活函数1.数值稳定性考虑一个具有L层、输入x和输出o的深层网络。每一层l由变换fl定义，该变换的参数为权重W(l)，其隐藏变量是h(l)（令h(0)=x）。我们的网络可以表示为：(4.8.1)h(l)=fl(h(l−1))因此o=fL∘…∘f1(x).如果所有隐藏变量和输入都是向量，我们可以
非文的NLP修炼笔记·2023-01-21 19:56

动手学深度学习之语言模型与数据集

语言模型所谓语言模型，当给定一个长度为TTT的词的序列w1,w2,...,wTw_1,w_2,...,w_Tw1,w2,...,wT，语言模型的目标就是评估该序列是否合理，即计算序列的概率：P(w1,w2,...,wT)P(w_1,w_2,...,w_T)P(w1,w2,...,wT)概率越大，合理性越高。本节介绍基于统计的语言模型，主要是nnn元语法(nnn-gram)。假设序列w1,w2,..
Ta51167·2023-01-20 10:56

《动手学深度学习》笔记 2.2 “数据预处理”

开始进行《动手学深度学习》的学习，记录一切学习到的值得学习的东西。
Master_Chen~·2023-01-20 09:44

李沐动手学深度学习V2-LSTM长短期记忆网络以及代码实现

一.LSTM长短期记忆网络1.介绍长期以来，隐变量模型存在着长期信息保存和短期输入缺失的问题，解决这一问题的最早方法之一是长短期存储器（longshort-termmemory，LSTM），它有许多与门控循环单元GRU一样的属性，但是长短期记忆网络的设计比门控循环单元稍微复杂一些，却比门控循环单元早诞生了近20年。2.门控记忆单元长短期记忆网络的设计灵感来自于计算机的逻辑门，长短期记忆网络引入了记
cv_lhp·2023-01-20 07:08

Pytorch 卷积层

Pytorch卷积层0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab查看函数详解。
哇咔咔负负得正·2023-01-19 18:09

双向循环神经网络

原文链接：动手学深度学习pytorch版：6.10双向循环神经网络github：https://github.com/ShusenTang/Dive-into-DL-PyTorch双向循环神经网络之前介绍的循环神经网络模型都是假设当前时间步是由前面的较早时间步的序列决定的
ywm_up·2023-01-19 09:42

学习笔记：动手学深度学习 07 概率

导入必要的软件包投掷骰子importtorchfromtorch.distributionsimportmultinomialfromd2limporttorchasd2lfair_probs=torch.ones([6])/6multinomial.Multinomial(1,fair_probs).sample()Out[5]:tensor([0.,1.,0.,0.,0.,0.])multin
进击的番茄~·2023-01-19 08:48

动手学深度学习_2

动手学深度学习_21.文本预处理1.1读入文本1.2分词1.3建立字典1.4词索引相互转换2.语言模型2.1语言模型2.2n元语法2.3时序采样2.3.1随机采样相邻采样3.循环神经网络3.1循环神经网络的构造
dayday学习·2023-01-19 08:47

深度学习（1）——Pytorch基础

深度学习（1）——Pytorch基础作者：夏风喃喃参考：《动手学深度学习第二版》李沐文章目录深度学习（1）——Pytorch基础一.数据操作二.数据预处理三.绘图四.自动求导五.概率论导入相关包：importtorch
夏风喃喃·2023-01-19 08:15

深度学习 5.概率

Author：baiyucraftBLog：baiyucraft’sHome原文：《动手学深度学习》  在某种形式上，机器学习就是做出预测，所以需要概率的相关知识1.采样器  假设我们掷骰子，想知道看到
baiyucraft·2023-01-19 08:43

【Dive into Deep Learning / 动手学深度学习】第二章 - 第六节：概率

目录前言2.6.概率2.6.1.模拟扔骰子2.6.2.处理多个随机变量2.6.2.1.联合概率2.6.2.2.条件概率2.6.2.3.贝叶斯定理2.6.2.4.边际化2.6.3.期望和方差结语参考文献前言Hello！非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～自我介绍ଘ(੭ˊᵕˋ)੭昵称：海轰标签：程序猿｜C++选手｜学生简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金
海轰Pro·2023-01-19 08:13

编程小菜学习之李沐老师动手学深度学习笔记-36数据增广

#36图片增广importmatplotlib.pyplotaspltimporttorchimporttorchvisionfromtorchimportnnfromd2limporttorchasd2ld2l.set_figsize()img=d2l.Image.open(r'D:\worksoftware\PycharmProjects\pythonProject\image\dog.png
编程小cai·2023-01-18 10:19

动手学深度学习---下载d2l

编程环境Miniconda+jupyternotebook+torch+python问题：在跟着李沐的视频的学习深度学习过程中，其中使用到了一个李沐自己编写的包d2l,因为没有它，所以视频中很多代码我都没有实现。问了师兄他帮我在Miniconda中新弄了一个环境其中有d2l包但是我还需要重新安装pytorch到新的环境，感觉就很麻烦。于是就想在原来的环境中下载一个d2l之前在git上下了一个直接放
至尚·2023-01-18 10:46

李沐动手学深度学习V2-实战Kaggle比赛：叶子分类（Classify Leaves）和代码实现

一.叶子分类预测叶子图像的类别，该数据集包含176个类别，18353个训练图像，8800个测试图像。每个类别至少有50张图像用于训练，测试集平均分为公共和私人排行榜，网址为：https://www.kaggle.com/competitions/classify-leaves/code由于images文件夹包含测试集和训练集所有图像，因此需要手动把测试集和训练集分开，所有代码如下，运行在一个GPU
cv_lhp·2023-01-18 10:45

17李沐动手学深度学习v2/实战kaggle比赛，房价预测

#下载数据工具函数importhashlibimportosimporttarfileimportzipfileimportrequestsDATA_HUB=dict()DATA_URL='http://d2l_data.s3-accelerate.amazonaws.com/'defdownload(name,cache_dir=os.path.join('.','data')):'''下载DA
xcrj·2023-01-18 10:45

27李沐动手学深度学习v2/池化层

单通道二维池化importtorchfromtorchimportnnfromd2limporttorchasd2ldefpool2d(X,pool_size,mode='max'):p_h,p_w=pool_size#输出shape=(输入行-池化高+1,输入列-池化宽+1)Y=torch.zeros((X.shape[0]-p_h+1,X.shape[1]-p_w+1))#池化窗口在输入上滑动
xcrj·2023-01-18 10:45

《动手学深度学习》Day1之安装

前言本次安装并非全部按照《动手学深度学习》书中教程所安装，也没有完全依照讨论区最新更新的那个教程做，因为本机之前就安装了anaconda这款应用，里面也有不少东西，不太想卸载掉重新安装miniconda
星夜熠熠·2023-01-17 22:10

动手学深度学习day1

Task01：线性回归；Softmax与分类模型、多层感知机参加datawhale组队学习博客记录，严格意义上第一次写博客，希望以后养成好习惯。线性回归线性回归(Linearregression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。梯度下降的基本过程就和下山的场景很类似。首先，我们有一个可微分的函数。这个函数就代表着一座山。我们的目标
Din2248·2023-01-17 22:39

动手学深度学习——DAY1

动手学深度学习-DAY1前言深度学习第一天，搞定了环境配置。
泰弗伊德·2023-01-17 22:39

动手学深度学习Day01

1.在Windows上安装Miniconda1.1Miniconda进入Miniconda官网https://conda.io/en/latest/miniconda.html，下载与Python版本对应的Miniconda版本。我的Python版本是3.9，电脑是64位的，那么就要在该官网主页中寻找与之对应的版本，如下图所示。点击下载完成之后，点击安装，默认安装即可（可以自己选择安装路径，安装路
南邮在读本科生·2023-01-17 22:38

动手学深度学习day1_数据的操作与处理

一.数据的操作1.深度学习中常用N维数组来存储数据，也就是N维矩阵例如：一张RGB图片需要用一个3-d数组存储，批量的RGB图片需要4-d，而批量的视频需要5-d（加了时间元素）存储。2.访问矩阵元素的方法：1个元素：[1,2]1行：[1,:]一列：[:,1]子区域：[1:3,1:][::3,::2]2.pytorch创建张量importtorchx=torch.arange(12)xtensor
qq_51874588·2023-01-17 22:37

动手学深度学习笔记day5

多层感知机1、模型输出并不是和每一个特征都是线性相关的，在特征之间的右复杂的相关交互作用。2、每一层都输出到上面的层，直到生成最后的输出。我们可以把前L−1层看作表示，把最后一层看作线性预测器。这种架构通常称为多层感知机（multilayerperceptron），通常缩写为MLP。多层感知机中的层数为隐藏层和输出层。（不包含输入层）。没有加激活函数的话，仿射函数的仿射函数本身就是仿射函数，我们没
努力学习的廖同学·2023-01-17 22:34

动手学深度学习笔记day6

前向传播前向传播（forwardpropagation或forwardpass）指的是：按顺序（从输入层到输出层）计算和存储神经网络中每层的结果。反向传播反向传播（backwardpropagation或backpropagation）指的是计算神经网络参数梯度的方法。简言之，该方法根据微积分中的链式规则，按相反的顺序从输出层到输入层遍历网络。该算法存储了计算某些参数梯度时所需的任何中间变量（偏导
努力学习的廖同学·2023-01-17 22:34

动手学深度学习笔记day8

层和块块由类（class）表示。它的任何子类都必须定义一个将其输入转换为输出的前向传播函数，并且必须存储任何必需的参数。每个块必须提供的基本功能：将输入数据作为其前向传播函数的参数。通过前向传播函数来生成输出。请注意，输出的形状可能与输入的形状不同。例如，我们上面模型中的第一个全连接的层接收一个20维的输入，但是返回一个维度为256的输出。计算其输出关于输入的梯度，可通过其反向传播函数进行访问。通
努力学习的廖同学·2023-01-17 22:34

动手学深度学习笔记day11

图像增广图像增广在对训练图像进行一系列的随机变化之后，生成相似但不同的训练样本，从而扩大了训练集的规模。此外，应用图像增广的原因是，随机改变训练样本可以减少模型对某些属性的依赖，从而提高模型的泛化能力。常用的图像增广方法使用下面这个图像作为示例。定义辅助函数apply。此函数在输入图像img上多次运行图像增广方法aug并显示所有结果。%matplotlibinlineimporttorchimpo
努力学习的廖同学·2023-01-17 22:34

动手学深度学习笔记day2

动手学深度学习笔记day2数据预处理读取数据集1、创建一个人工数据集，并存储在CSV（逗号分隔值）文件…/data/house_tiny.csv中。
努力学习的廖同学·2023-01-17 22:04

动手学深度学习笔记day7

实战：预测房价预测价格的对数与真实标签价格的对数之间出现以下均方根误差：1、调用库函数importhashlibimportosimporttarfileimportzipfileimportrequests#如果你没有安装pandas，请取消下一行的注释#!pipinstallpandas%matplotlibinlineimportnumpyasnpimportpandasaspdimport
努力学习的廖同学·2023-01-17 22:04

动手学深度学习Day02

1.数据操作详细请参考教学文档https://zh.d2l.ai/chapter_preliminaries/ndarray.html#id21.1N维数组N维数组是机器学习和神经网络的主要数据结构0-d(标量)1.0一个类别1-d(向量)[...]一个特征向量2-d(矩阵)[[...]]一个样本-特征矩阵3-d[[[...]]]RGB图片(宽x高x通道)4-d[[[[[....]]]]一个RGB
南邮在读本科生·2023-01-17 22:00

长短时记忆神经网络(LSTM)——【torch学习笔记】

长短时记忆(LSTM)引用翻译：《动手学深度学习》在潜变量模型中解决长期信息保存和短期输入跳过的挑战已经存在很长时间了。
一个语文不好的NLPer·2023-01-17 15:22

沐神学习笔记——长短期记忆网络（LSTM）【动手学深度学习v2】

理论部分记忆细胞C类似于之前RNN里面的h。上面的如果：Ft是0的话尽量的去遗忘，如果I==0，就把现在的记忆单元丢掉。这两个是相互独立的，也就是说：可以全部不要，也可以全部要，也可以一个要一个不要。隐藏状态隐藏状态：对候选记忆单元又做一个tanh(变到-1~+1之间)。所以这个Ct可以到-2~+2之间。所以为了保证隐藏状态是-1~+1之间，又对Ct做一次tanh。上图的Ot是说要不要输出࿰
东方-教育技术博主·2023-01-17 15:50

DJL-Java开发者动手学深度学习之归一化处理及源代码

在深度学习训练中，通过会对数据进行归一化处理。通常讲，归一化有两点好处：1、使不同量纲的特征处于同一数值量级，减少方差大的特征的影响，使模型更准确。2、加快学习算法的收敛速度。MinMax归一化将数据缩放到0和1之间，公式如下：Y=Xi−min(Xi)max(Xi)−min(xi)Y=\frac{X_i-min(X_i)}{max(X_i)-min(x_i)}Y=max(Xi)−min(xi)Xi
ousinka·2023-01-17 10:55

DJL-Java开发者动手学深度学习之使用自己训练的模型进行图片分类预测

在我们上期文章中（文章请见《深度学习之图片分类》），我们使用MNIST数据集训练了自己的图片分类模型，并保存在build/model目录下。接下来，我们将使用上期训练的模型进行预测图片。加载模型privatestaticClassificationspredict()throwsIOException,ModelException,TranslateException{Imageimg=Image
ousinka·2023-01-17 10:54

动手学深度学习 第二章练习（Pytorch版）

记录一下学习《动手学深度学习》的过程中完成的课后练习以及自己整理的课程相关知识点，部分内容有参考课程讨论区和网上一些大佬的解答。如有错误欢迎指教！
看星星的花栗鼠·2023-01-17 09:29

动手学深度学习（第二版）注释后代码【持续更新】

文章目录前言预备知识线性神经网络线性回归从零实现线性回归简洁实现softmax从零实现softmax简洁实现前言动手学深度学习的代码中用到一些python的特性，但是并没有解释，而且一些torch库函数也并没有做解释
亦梦亦醒乐逍遥·2023-01-17 09:29

《动手学深度学习》第二章——预备知识_2.2数据预处理_学习思考与习题答案

文章目录2.2数据预处理习题解答过程读取数据集处理缺失值转换为张量格式2.2数据预处理作者github链接：github链接习题创建包含更多行和列的原始数据集。删除缺失值最多的列。将预处理后的数据集转换为张量格式。解答过程为了能用深度学习来解决现实世界的问题，我们经常从预处理原始数据开始，而不是从那些准备好的张量格式数据开始。在Python中常用的数据分析工具中，我们通常使用pandas软件包。像
coder_sure·2023-01-17 09:58

【动手学深度学习】 2预备知识

李沫《动手学习深度学习》课程学习需要预备的知识原因重点线性代数处理表格数据矩阵运算微积分决定以何种方式调整参数损失函数（lossfunction）——衡量“模型有多糟糕”这个问题的分数梯度（gradient）——连结一个多元函数对其所有变量的偏导数，简单理解就是求导概率在不确定的情况下进行严格的推断目录2.1.数据操作——张量2.1.1.入门2.1.2.运算符2.1.3.广播机制2.1.4.索引和
sumshine_·2023-01-17 09:56

《动手学深度学习》课后习题3

《动手学深度学习》学习网址：参考资料《动手学深度学习》中文版官网教材：PyTorch中文文档：部分PyTorch代码来自GitHub开源仓库：《动手学》：批量归一化和残差网络nn.BatchNorm2d
极客阿宝·2023-01-17 09:55

李沐——动手学深度学习课后练习calculus

1.6练习绘制函数=()=3−1y=f(x)=x3−1x和其在=1x=1处切线的图像。求函数()=321+52f(x)=3x12+5ex2的梯度。函数()=‖‖2f(x)=‖x‖2的梯度是什么？你可以写出函数=(,,)u=f(x,y,z)，其中=(,)x=x(a,b)，=(,)y=y(a,b)，=(,)z=z(a,b)的链式法则吗?1.x=np.arange(0.9,1.2,0.1)defg(x)
Alphable·2023-01-17 09:23

《动手学深度学习》参考答案(第二版)-第二章

  最近在学习《动手学深度学习》，结合百度和课后的大家的讨论(侵删)，整理出这一份可能并不完全正确的参考答案(菜鸡的做题记录)，因为个人水平有限，有错误的地方欢迎在公众号联系我，后面我对错误进行更正时候
平平无奇小扑街·2023-01-17 09:51

线性回归pytorch实现笔记

线性回归pytorch实现笔记实例一【用Pytorch实现一个简单的线性回归】实例三【线性回归的从零开始实现】本周首先学的是《动手学深度学习(pytorch版)》里面的线性回归的实现，但是有些东西看不懂
Far_Rainbow·2023-01-17 07:52

动手学深度学习Pytorch（一）——数据操作与预处理

文章目录1.数据操作的实现1.1创建张量1.2张量的属性1.3张量的操作1.4节省内存2.数据预处理参考资料张量（tensor）比Numpy的ndarray多一些重要功能。张量表示一个数组组成的数组。（1）GPU很好地支持加速计算，而Numpy仅支持CPU计算。（2）张量类支持自动微分。1.数据操作的实现首先需要导入torch：importtorch1.1创建张量有四种方式可以创建张量。创建随机张
冠long馨·2023-01-17 07:21

李沐动手学深度学习V2-深度循环神经网络和代码实现

一.深度循环神经网络1.介绍与多层感知机一样，循环神经网络也可以将多层循环神经网络堆叠在一起，通过对几个简单层的组合，产生了一个灵活的机制。特别是，数据可能与不同层的堆叠有关。下图所示描述了一个具有个隐藏层的深度循环神经网络，每个隐状态都连续地传递到当前层的下一个时间步输入和当前层下一层的当前时间步输入。2.函数依赖关系假设在时间步ttt有一个小批量的输入数据Xt∈Rn×d\mathbf{X}_t
cv_lhp·2023-01-17 07:19

李沐动手学深度学习V2-语义分割和Pascal VOC2012数据集加载代码实现

一.语义分割和数据集1.介绍目标检测问题中使用方形边界框来标注和预测图像中的目标，而语义分割（semanticsegmentation）问题，重点关注于如何将图像分割成属于不同语义类别的区域。与目标检测不同，语义分割可以识别并理解图像中每一个像素的内容：其语义区域的标注和预测是像素级的。如下图所示展示了语义分割中图像有关狗、猫和背景的标签，与目标检测相比，语义分割标注的像素级的边框显然更加精细。2
cv_lhp·2023-01-17 07:49

1李沐动手学深度学习v2/数据预处理

#创建数据集并存储到csv文件中importosos.makedirs(os.path.join('..','data'),exist_ok=True)data_file=os.path.join('..','data','house_tiny.csv')withopen(data_file,'w')asf:#列名f.write('NumRooms,Alley,Price\n')#数据，NA表示未
xcrj·2023-01-17 07:48
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他