动手学深度学习

《动手学深度学习》Task06 ：批量归一化和残差网络；凸优化；梯度下降

Task06：批量归一化和残差网络；凸优化；梯度下降1.批量归一化（BatchNormalization）对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）的作用利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置：全连
StarCoder_Yue·2020-08-01 10:33

《动手学深度学习》Task04 ：卷积神经网络基础；leNet；卷积神经网络进阶

Task04：卷积神经网络基础；leNet；卷积神经网络进阶1.卷积神经网络基础下面是一些卷积神经网络的基本概念：二维互相关运算二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处的输入
StarCoder_Yue·2020-08-01 10:32

动手学深度学习

（资料下载方式见文末）内容简介：本书向希望了解深度学习，特别是对实际使用深度学习感兴趣的学习者。本书并不要求你有任何深度学习或者机器学习的背景知识，我们将从头开始解释每个概念。虽然深度学习技术与应用的阐述涉及了数学和编程，但你只需了解基础的数学和编程，例如基础的线性代数、微分和概率，以及基础的Python编程。本书将全⾯介绍深度学习从模型构造到模型训练的⽅⽅⾯⾯，以及它们在计算机视觉和⾃然语⾔处理
金陵笑笑生·2020-08-01 10:06

《动手学深度学习》手动导入数据集产生错误的解决方法

动手学深度学习书本网页版https://zh.gluon.ai/chapter_preface/preface.htmlb站视频讲解https://space.bilibili.com/209599371
OneLine_·2020-07-31 14:15

Anaconda中安装TensorFlow / PyTorch

动手学深度学习（PyTorch版本）PyTorchOfficialtutorialsPyTorch中文网PyTorch学习资源汇总动手学深度学习（TensorFlow2.0版本）Keras中文文档|Keras
丸子h·2020-07-31 13:54

动手学深度学习6-认识Fashion_MNIST图像数据集

获取数据集读取小批量样本小结本节将使用torchvision包，它是服务于pytorch深度学习框架的，主要用来构建计算机视觉模型。torchvision主要由以下几个部分构成：torchvision.datasets:一些加载数据的函数以及常用的数据集的接口torchvision.models:包含常用的模型结构(含预训练模型),例如AlexNet，VGG，ResNet；torchvision.
onemorepoint·2020-07-29 21:37

【PyTorch】借助PyTorch简洁地实现Softmax回归，对Fashion MNIST数据集进行分类

动机《动手学深度学习》有人用pytorch进行了实现（整书地址见文末参考链接），实际学习过程中发现里面的代码在我的环境里（pytorch0.4.0）有些小问题(也许是因为我手动读取数据集的结果与pytorch
LiBer_CV·2020-07-29 16:38

【PyTorch】从零开始实现Softmax回归，对Fashion MNIST数据集进行分类

动机《动手学深度学习》有人用pytorch进行了实现（整书地址见文末参考链接），实际学习过程中发现里面的代码在我的环境里（pytorch0.4.0）有些小问题(也许是因为我手动读取数据集的结果与pytorch
LiBer_CV·2020-07-29 16:38

导入FashionMNIST数据集时报错module 'torchvision.datasets' has no attribute 'FashionMNIS’

在阅读动手学深度学习-pytorch的过程中，发现softmax部分代码需要加载FashionMNIS数据集书上代码如下：mnist_train=torchvision.datasets.FashionMNIST
城北周杰伦·2020-07-29 13:58

动手学深度学习pytorch版学习笔记——Kaggle图像分类2（ImageNet Dogs）

Kaggle上的狗品种识别（ImageNetDogs）在本节中，我们将解决Kaggle竞赛中的犬种识别挑战，比赛的网址是https://www.kaggle.com/c/dog-breed-identification在这项比赛中，我们尝试确定120种不同的狗。该比赛中使用的数据集实际上是著名的ImageNet数据集的子集。#在本节notebook中，使用后续设置的参数在完整训练集上训练模型，大致
霍格沃兹临时副主任·2020-07-28 22:02

动手学深度学习（二）：循环神经网络

语言模型语言模型（languagemodel）是自然语言处理的重要技术。自然语言处理中最常见的数据是文本数据。我们可以把一段自然语言文本看作一段离散的时间序列。假设一段长度为T的文本中的词依次为w1,w2,…,wT，那么在离散的时间序列中，wt（1≤t≤T）可看作在时间步（timestep）t的输出或标签。1、语言模型的计算例如，在一段含有4个词的文本序列的概率：我们需要计算词的概率，以及一个词在
Smilhe_·2020-07-28 22:10

动手学深度学习（五）：卷积神经网络

卷积神经网络基础卷积神经网络（convolutionalneuralnetwork）是含有卷积层（convolutionallayer）的神经网络。本文中介绍的卷积神经网络均使用最常见的二维卷积层。它有高和宽两个空间维度，常用来处理图像数据。本文中，我们将介绍简单形式的二维卷积层的工作原理。1、二维互相关运算虽然卷积层得名于卷积（convolution）运算，但我们通常在卷积层中使用更加直观的互相
Smilhe_·2020-07-28 22:10

动手学深度学习（四）：机器翻译

机器翻译和注意力机制机器翻译是指将一段文本从一种语言自动翻译到另一种语言。因为一段文本序列在不同语言中的长度不一定相同，所以我们使用机器翻译为例来介绍编码器—解码器和注意力机制的应用。步骤1、读取和预处理2、含注意力机制的编码器—解码器我们将使用含注意力机制的编码器—解码器来将一段简短的法语翻译成英语。（1）编码器（2）注意力机制在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖
Smilhe_·2020-07-28 22:10

动手学深度学习（一）：回归和多层感知机

线性回归1、线性回归与分类线性回归输出是一个连续值，在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。分类问题中模型的最终输出是一个离散值。图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。2、模型设房屋的面积为x1，房龄为x2，售出价格为y。需要建立基于输入x1和x2来计算输出y的表达式：y’=x1w1+x2w2+b（w1和w2是权重，b是偏差）接下来需要寻找合
Smilhe_·2020-07-28 22:09

笔记：动手学深度学习pytorch（批量归一化和残差网络，凸优化，梯度下降）

-批量归一化和残差网络-批量归一化-对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近-批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。-对全连接层做批量归一化位置：全连接层中的仿射变换和激活函数之间-全连接全连接层的数学模型：x=Wu+b\bo
盛季，夏开·2020-07-28 09:14

动手学深度学习 Task4 笔记

机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer2.15-2.19一、机器翻译及相关技术定义：机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。输出序列的长度可能与源序列的长度不同。数据预处理分词建立词典载入数据集二、注意力机制与Seq2seq模型在“编码器—解码器（s
O-oaz·2020-07-27 14:22

动手学深度学习基础

第一次作业：深度学习基础1.图像处理基本练习展示不同通道上的图像#展示三通道图像plt.subplot(121)plt.imshow(colony[:,:,:])plt.title('3-channelimage')plt.axis('off')#展示只有一个通道的图像plt.subplot(122)plt.imshow(colony[:,:,0])plt.title('1-channelimag
hannahmu·2020-07-25 20:00

动手学深度学习：3.6 softmax回归的从零开始实现

3.6softmax回归的从零开始实现这一节我们来动手实现softmax回归。首先导入本节实现所需的包或模块。importtorchimporttorchvisionimportnumpyasnpimportsyssys.path.append("..")#为了导入上层目录的d2lzh_pytorchimportd2lzh_pytorchasd2lCopytoclipboardErrorCopie
AI_Younger_Man·2020-07-24 12:21

PyTorch入门一：卷积神经网络实现MNIST手写数字识别

先给出几个入门PyTorch的好的资料：PyTorch官方教程（中文版）：http://pytorch123.com《动手学深度学习》PyTorch版：https://github.com/ShusenTang
酒酿小圆子～·2020-07-23 17:21

动手学深度学习：3.3线性回归简洁实现

3.3线性回归的简洁实现随着深度学习框架的发展，开发深度学习应用变得越来越便利。实践中，我们通常可以用比上一节更简洁的代码来实现同样的模型。在本节中，我们将介绍如何使用PyTorch更方便地实现线性回归的训练。3.3.1生成数据集我们生成与上一节中相同的数据集。其中features是训练数据特征，labels是标签。num_inputs=2num_examples=1000true_w=[2,-3
AI_Younger_Man·2020-07-22 14:13

《动手学》Pytorch版课程笔记——第一期

整个课程的参考书籍为《动手学深度学习》第一
格拉迪沃·2020-07-16 05:00

动手学深度学习PyTorch版-线性回归代码（PyTorch实现）

1.首先先导入所用到的包%matplotlibinlineimporttorchfromtorchimportnnimportnumpyasnptorch.manual_seed(1)print(torch.__version__)torch.set_default_tensor_type('torch.FloatTensor')print(torch.__version__)2.生成数据集使用线
qq_25900175·2020-07-16 05:12

动手学深度学习笔记5卷积神经网络基础

一、卷积神经网络二维卷积层将输入和卷积核做互相关运算，并加上一个标量偏置来得到输出。卷积层的模型参数包括卷积核和标量偏置。卷积运算：卷积层得名于卷积运算，但卷积层中用到的并非卷积运算而是互相关运算。我们①将核数组上下翻转、左右翻转，②再与输入数组做互相关运算。这一过程就是卷积运算。由于卷积层的核数组是可学习的，所以使用互相关运算与使用卷积运算并无本质区别。特征图与感受野：特征图（featurema
programer_cao·2020-07-16 04:54

《动手学深度学习——卷积神经网络、LeNet、卷积神经网络进阶》笔记

动手学深度学习：卷积神经网络，LeNet，卷积神经网络进阶卷积神经网络基础目录：1、卷积神经网络的基础概念2、卷积层和池化层3、填充、步幅、输入通道和输出通道4、卷积层的简洁实现5、池化层的简洁实现1、
loveheart123·2020-07-16 02:11

动手学深度学习PyTorch版-卷积神经网络基础

卷积神经网络基础importtorchimporttorch.nnasnndefcorr2d(X,K):H,W=X.shapeh,w=K.shapeY=torch.zeros(H-h+1,W-w+1)foriinrange(Y.shape[0]):forjinrange(Y.shape[1]):Y[i,j]=(X[i:i+h,j:j+w]*K).sum()returnYX=torch.tensor
hongyesuifeng·2020-07-16 00:28

《动手学深度学习》task5——卷积神经网络基础及进阶笔记

系统学习《动手学深度学习》点击下面这个链接，有全目录哦~https://blog.csdn.net/Shine_rise/article/details/104754764本篇目录1卷积神经网络1.1tensor.item
shiinerise·2020-07-15 18:34

《动手学深度学习》（pytorch版）摘要

动手学深度学习-pytorch版目录深度学习简介预备知识环境配置数据操作ontorch创建Tensor操作广播机制运算的内存开销tensor和numpy相互转换自动求梯度深度学习基础线性回归Reo线性回归线性回归简洁实现
Kfdhfljl·2020-07-15 17:17

(转载)动手学深度学习：虚拟环境配置和模块下载更新（仅供参考)

虽然主要是说的《动手学深度学习》这本书里的配置安装方法，但是万变不离其宗，相信看完的人也能对其他环境安装了解掌握！
随缘丶随性丶随心·2020-07-15 08:05

《动手学深度学习》梯度爆炸、梯度消失、过拟合、欠拟合

梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)\boldsymbol{W}^{(l)}W(l)，输出层H(L)\boldsymbol{H}^{(L)}H(L)的权重参数
Nick_Spider·2020-07-13 19:55

动手学深度学习（二）

全连接层网络参数是样本数和神经元个数卷积层参数为样本数，通道数，高和宽一、卷积神经网络1、二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。互相关运算，输入数组和核数组得到输出数组，卷积的核数组可以学习，使用互相关运算和使用卷积运算没有本质区别。2、二维卷积层二维卷积
V_ince·2020-07-13 01:15

动手学深度学习（一）

一、线性回归1、基本要素：模型、数据集、损失函数、优化函数2、矢量计算更好3、num_inputs是特征数x是几个特征几个数据w是1几个特征y是1*几个数据二、Softmax与分类模型1、softmax运算符（softmaxoperator）将输出值变换成值为正且和为1的概率分布2、分类问题可以用交叉熵损失函数，交叉熵函数实际上只关心正确类别的预测概率3、torchvision.datasets一
V_ince·2020-07-13 01:44

MXNet动手学深度学习笔记：卷积神经网络实现

#coding:utf-8'''卷积神经网络'''importmxnetasmxfrommxnet.gluonimportnnfrommxnetimportndarrayasndfrommxnetimportgluontry:ctx=mx.gpu()_=nd.zeros((1,),ctx=ctx)except:ctx=mx.cpu()deftransform(data,label):returnd
视觉智能·2020-07-12 16:44

MXNet动手学深度学习笔记：VGG神经网络实现

#coding:utf-8'''VGG网络'''frommxnet.gluonimportnnfrommxnetimportndarrayasndimportmxnetasmxfrommxnetimportinitimportosimportsyssys.path.append(os.getcwd())importutilsdefvgg_block(num_convs,channels):out=
视觉智能·2020-07-12 16:13

《动手学深度学习》批量归一化和残差网络；凸优化；梯度下降

批量归一化和残差网络；凸优化；梯度下降批量归一化和残差网络对全连接层做批量归一化对卷积层做批量归一化残差网络（ResNet）ResNet模型稠密连接网络（DenseNet）过渡层DenseNet模型凸优化深度学习与凸优化优化在深度学习中的挑战凸性Jensen不等式凸函数性质梯度下降一维多维批量归一化和残差网络对全连接层做批量归一化归一化增加在全连接层激活函数之前，全连接层输入为uuu，批量归一化运
Void_Pointer -·2020-07-12 11:01

动手学深度学习笔记

线性回归从零开始实现线性回归一.生成数据集模型定义y=w1x1+w2x2+by:labelx:输入的featuresb:偏差.randn(a,b)输出a行b列正态分布采样点在这里插入代码片%matplotlibinlineimporttorchfromIPythonimportdisplayfrommatplotlibimportpyplotaspltimportnumpyasnpimportra
三维视觉工作室·2020-07-12 11:22

动手学深度学习之卷积神经网络进阶（ModernCNN）

参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/lesson/T5r2YnM8A4vZpxPUbCQSyW
water19111213·2020-07-12 05:06

动手学深度学习之-卷积神经网络基础

卷积神经网络基础参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/video
water19111213·2020-07-12 05:06

《14天动手学深度学习》——过拟合、欠拟合及其解决方案

过拟合、欠拟合及其解决方案¶过拟合、欠拟合的概念权重衰减丢弃法模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前，我们需要区分训练误差（trainingerror）和泛化误差（generalizationerror）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前
我真的爱发明·2020-07-12 04:12

《动手学深度学习》组队学习打卡Task3——梯度消失、梯度爆炸以及Kaggle房价预测

梯度消失、梯度爆炸以及Kaggle房价预测梯度消失和梯度爆炸考虑到环境因素的其他问题Kaggle房价预测梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)\boldsymb
A_first·2020-07-12 03:00

动手学深度学习PyTorch版学习笔记（2）

卷积神经网络AlexNet首次证明了学习到的特征可以超越⼿⼯设计的特征，从而⼀举打破计算机视觉研究的前状。特征：8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。将sigmoid激活函数改成了更加简单的ReLU激活函数。用Dropout来控制全连接层的模型复杂度。引入数据增强，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合。使用重复元素的网络（VGG）VGG：通过重复使⽤
sunw_71·2020-07-12 00:31

动手学深度学习学习笔记tf2.0版（5.11 残差网络(ResNet)）

fromtensorflow.kerasimportlayers,activations#自定义残差层classResidual(tf.keras.layers.Layer):def__init__(self,num_channels,use_1x1conv=False,strides=1,**kwargs):super().__init__()self.conv1=layers.Conv2D(n
Zero_to_zero1234·2020-07-12 00:08

伯禹 动手学深度学习 打卡09 之批量归一化和残差网络

批量归一化（BatchNormalization）对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置：全连接层中的仿射变换和激活函数之间。全连接：2.对卷积层做批量归⼀
猪猪家的小可爱·2020-07-11 21:04

《动手学深度学习》---卷积神经网络复习

使用多通道可以拓展卷积层的模型参数。假设将通道维当作特征维，将高和宽维度上的元素当成数据样本，那么1×1卷积层的作用与全连接层等价。1×1卷积层通常用来调整网络层之间的通道数，并控制模型复杂度。一方面，ReLU激活函数的计算更简单，例如它并没有sigmoid激活函数中的求幂运算。另一方面，ReLU激活函数在不同的参数初始化方法下使模型更容易训练。这是由于当sigmoid激活函数输出极接近0或1时，
打着灯笼摸黑·2020-07-11 19:36

《动手学深度学习》第二十二天---残差网络（ResNet）

（一）ResNet提出背景更深的网络可以进行更加复杂的特征模式的提取，从而理论上更深的网络可以得到更好的结果。但是通过简单的叠加层的方式来增加网络深度，可能引来梯度消失/梯度爆炸的问题，目前**batchnormalization等方法可以解决梯度消失和梯度爆炸的问题。**但是使用了各种normalization的方法也不能是深层网络的效果好于浅层网络。理论上，若A为浅层网络，B为深层网络，且B的
打着灯笼摸黑·2020-07-11 19:36

动手学深度学习笔记6BN和残差网络

一、批量归一化BN对输入的归一化（浅层模型）：1.处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。2.标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）：利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。BN有两种情况：1.对全连接层进行批量归一化：位置：全连接层中的仿射变换和激活函数之间。全连接：此时BN：这⾥ϵ>0是
programer_cao·2020-07-11 14:09

pytorch index_select用法

在看动手学深度学习pytorch版本的时候，看到其中使用了index_select方法。感觉这个方法较为常用和有用。所以需要弄懂。
嘤嘤怪赚钱养妈妈·2020-07-11 09:40

RuntimeError: Expected object of scalar type Float but got scalar type Double for argument #4 'mat1'

1在学习《动手学深度学习》(Dive-into-DL-PyTorch)的时候。出现了改错误。
嘤嘤怪赚钱养妈妈·2020-07-11 09:40

动手学深度学习——卷积神经网络1

白嫖伯禹平台，还是要感谢一下，打波广告。主要是学习笔记，解决问题的可以忽略本博客，以免浪费时间与精力卷积神经网络基础主要介绍卷积神经网络的基础概念，主要是卷积层和池化层，并解释填充、步幅、输入通道和输出通道的含义。二维互相关运算官方解释：二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤
inventertom·2020-07-11 08:21

动手学深度学习：过拟合、欠拟合及其解决方案

动手学深度学习：过拟合、欠拟合及其解决方案内容摘自伯禹人工智能AI公益课程目录：相关的基本概念权重衰减代码实现丢弃法代码实现1、相关的基本概念训练误差：模型在训练数据集上表现出的误差。
blexsantos·2020-07-11 02:03

动手学深度学习PyTorch版 | （3）过拟合、欠拟合及其解决方案

文章目录一、过拟合、欠拟合概念二、多项式函数拟合实验2.1初始化模型参数2.2定义、训练和测试模型三阶多项式函数拟合（正常）线性函数拟合（欠拟合）训练样本不足（过拟合）2.3权重衰减L2范数正则化（regularization）2.4丢弃法丢弃法从零开始的实现简洁实现小结一、过拟合、欠拟合概念训练模型中经常出现的两类典型问题：欠拟合：模型无法得到较低的训练误差过拟合：模型的训练误差远小于它在测试数
祈求早日上岸·2020-07-10 22:28
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他