动手学深度学习第22页

《动手学深度学习》报错解决方案RuntimeError: DataLoader worker (pid(s) ...) exited unexpectedly

最近在学习《动手学深度学习》这本书，其中3.6节训练时出现如下错误：这个就是多进程出了问题，需要找到get_dataloader_workers()函数，更改其返回值，解决方案如下：1.找到3.6节代码中的

xincanzheZ·2022-11-26 12:47

【动手学深度学习Pycharm实现9】微调：通过预训练实现热狗识别

前言详细的讲义链接放在这里了：d2l官网关于微调的讲解简而言之，微调就是把在源数据集上（通常是比较大的数据集）训练的模型以及参数拿过来，对目标数据集进行再训练，其中最后一层需要根据目标数据集上的种类数进行调整，因为源数据集和目标数据集种类数不一样。一、代码实现环境如下：python版本：3.8.6torch版本：1.11.0d2l版本：0.17.5代码如下（有注释）:importosimportt

Stick_2·2022-11-26 10:54

Pytorch BERT

PytorchBERT0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab查看函数详解。

哇咔咔负负得正·2022-11-26 08:10

【动手学深度学习】线性回归简洁实现

线性回归简洁实现生成数据集读取数据集定义模型keras中dense的API解释：初始化模型参数keras中的initializer定义损失函数定义优化算法训练生成数据集importnumpyasnpimporttensorflowastffromd2limporttensorflowasd2ltrue_w=tf.constant([2,-3.4])true_b=4.2features,labels

往阳光走·2022-11-26 07:55

动手学深度学习day-two

动手学深度学习day-two过拟合、欠拟合及其解决方案模型选择、过拟合和欠拟合训练误差和泛化误差模型选择验证数据集K折交叉验证过拟合和欠拟合模型复杂度训练数据集大小权重衰减方法L2范数正则化（regularization

__y__·2022-11-26 07:19

动手学深度学习总结第一章

N维数组样例大小为1的张量#将大小为1的张量转化为Python标量c=torch.tensor([3.13])print(c,c.item(),float(c),int(c))注：c.item返回的是数值，而非Tensor类型连接操作#dim=0,纵向连接，dim=1,横向连接m=torch.cat((z,y),dim=0)n=torch.cat((y,z),dim=1)print(m,'\n',

弹幕教练宇宙起源·2022-11-25 21:58

动手学深度学习（四十）——长短期记忆网络（LSTM）

文章目录一、长短期记忆网络（LSTM）1.1门控记忆单元1.2输入门、遗忘门与输出门1.3候选记忆单元1.4记忆单元1.5隐藏状态二、从零实现LSTM2.1初始化模型参数2.2定义网络模型2.3训练和预测2.4简洁实现小结练习一、长短期记忆网络（LSTM）最早用来处理隐变量模型存在的长期信息保存和短期输入跳跃问题的方法（longshort-termmemoryLSTM）。其拥有许多门控循环单元

留小星·2022-11-25 16:26

【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记（微调）

微调1.微调的步骤1.在源数据集（如ImageNet数据集）上预训练一个神经网络模型，即源模型。2.创建一个新的神经网络模型，即目标模型。它复制了源模型上除了输出层外的所有模型设计及其参数。我们假设这些模型参数包含了源数据集上学习到的知识，且这些知识同样适用于目标数据集。我们还假设源模型的输出层与源数据集的标签紧密相关，因此在目标模型中不予采用。3.为目标模型添加一个输出大小为目标数据集类别个数的

Jul7_LYY·2022-11-25 15:15

【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记（图像增广）

一、图像增广1.通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。2.随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的范化能力二、常用的图像增广方法1.翻转和裁减1.左右翻转图像通常不会改变对象的类别。这是最早和最广泛使用的图像增广方法之一。2.上下翻转图像不如左右图像翻转那样常用。但是，至少对于这个示例图像，上下翻转不会妨碍识别。3.随机裁减在我

Jul7_LYY·2022-11-25 15:14

【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记（ResNet、ResNeXt）

ResNet、ResNeXt、迁移学习1、为什么要选择残差网络（ResNet）在VGG中，卷积网络达到了19层，在GoogLeNet中，网络史无前例的达到了22层。那么，网络的精度会随着网络的层数增多而增多吗？在深度学习中，网络层数增多一般会伴着下面几个问题：1.计算资源的消耗（使用GPU集群）2.模型容易过拟合（扩大数据集、Droupout、批量归一化、正则化、初始化参数调整等等方法）3.梯度消

Jul7_LYY·2022-11-25 15:03

动手学深度学习——数据操作之ndarray与tensor间的转换

为什么可以转换无论使用哪个深度学习框架，它的张量类（在MXNet中为ndarray，在PyTorch和TensorFlow中为tensor）都与Numpy的ndarray类似。但深度学习框架又比Numpy的ndarray多一些重要功能：首先，GPU很好地支持加速计算，而NumPy仅支持CPU计算；其次，这些模块下的张量类支持自动微分；这些功能使得张量类更适合深度学习。如何实现转换将深度学习框架定义

时生丶·2022-11-25 14:13

Dive into deep learning(00)[动手学深度学习]———————pytorch安装，以及conda环境的配置

文章目录Diveintodeeplearning(00)[动手学深度学习]———————pytorch安装，以及conda环境的配置1、cuda安装2、集成环境anaconda**创建新环境****显示已创建环境

梦想实干家杭77·2022-11-25 13:46

深度学习 10.图像分类数据集

Author：baiyucraftBLog：baiyucraft’sHome原文：《动手学深度学习》线性神经网络：深度学习6.线性回归概述深度学习7.线性回归的从零开始实现深度学习8.线性回归的简洁实现深度学习

baiyucraft·2022-11-25 12:45

动手学深度学习课程笔记ch02

ch_02线性代数线性代数李老师讲得比较少，需要自己下去多看看书，后期还是需要一些矩阵论的知识。基本知识标量：由只有一个元素的张量表示（一般为数据的标签）。#创建标量进行运算importtorchx=torch.tensor([3.0])y=torch.tensor([2.0])x+y,x*y,x/y,x**y输出：(tensor([5.]),tensor([6.]),tensor([1.5000

lazyoneguy·2022-11-25 08:08

win11动手学深度学习安装过程（GPU版）（ CUDA Anaconda Mxnet )

win11，动手学深度学习安装过程（GPU版）（CUDA/Anaconda/Mxnet)（备忘）一、检查及安装CUDA首先检查显卡支持的cuda：直接搜索NVIDIA，选择NVIDIA控制中心，可以看到

纳show·2022-11-24 23:17

MAC＋Anaconda安装MXNet

第二步：安装MXNet起因是从网络上搞到一本李沐大师参与编写的《动手学深度学习》，且更新时间为2019年4月，不可多得。于是，根据书中源码调试要求，想再安装MXNet框架，全面学习一下有关内容。

chaihan9876·2022-11-24 23:12

学习笔记：动手学深度学习 04 线性代数

1.标量标量由只有一个元素的张量表示。importtorchx=torch.tensor([3.0])y=torch.tensor([2.0])x+y,x*y,x/y,x**y2.向量通过一维张量处理向量。一般来说，张量可以具有任意长度，取决于机器的内存限制。x=torch.arange(4)x在代码中，我们通过张量的索引来访问任一元素。x[3]3.长度、维度和形状4.矩阵指定两个分量mm和nn来

进击的番茄~·2022-11-24 22:45

动手学深度学习-task2

一、深度学习中的一些常见问题及解决方案（1）欠拟合欠拟合即模型无法得到较低的训练误差，导致欠拟合的主要原因是模型复杂度不够，特征维度过少，导致拟合的函数无法满足训练集，误差较大。（2）过拟合过拟合即模型的训练误差远小于它在测试数据集上的误差，导致过拟合的主要原因是模型复杂度过高，特征维度过多，导致拟合的函数完美的经过训练集，但是对新数据的预测结果则较差。（3）解决方案1、应对欠拟合问题，即增加其特

码上学习笔记·2022-11-24 22:40

tfp.distributions.Multinomial().sample()用法简介

在李沐的动手学深度学习的概率一章，有一个函数tfp.distributions.Multinomial（1，fair_probs).sample()先看一下官方文档的介绍：tfp.distributions.Categorical

qq_44788215·2022-11-24 18:36

RNN循环神经网络 - PyTorch

动手学深度学习-循环神经网络笔记一、文本预处理1.读取数据集2.Token(词元)化3.构建词表二、读取⻓序列数据1.随机采样2.顺序分区三、RNN从零实现1.预测2.梯度裁剪3.训练四、RNN简洁实现一

葫芦娃啊啊啊啊·2022-11-24 17:48

Pytorch Transformer

PytorchTransformer0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab查看函数详解

哇咔咔负负得正·2022-11-24 17:42

【动手学深度学习】暂退法（Dropout）（PyTorch从零开始实现源代码）

目录：暂退法（Dropout）一、重新审视过拟合二、扰动的稳健性三、实践中的暂退法四、从零开始实现4.1数据和函数准备4.2定义模型参数4.3训练和测试4.4源代码五、简洁实现上一节中，我们介绍了通过惩罚权重的L2L_2L2范数来正则化统计模型的经典方法。在概率角度看，我们可以通过以下论证来证明这一技术的合理性：我们已经假设了一个先验，即权重的值取自均值为0的高斯分布。更直观的是，我们希望模型深度

旅途中的宽~·2022-11-24 16:30

《动手学深度学习》模型选择、欠拟合和过拟合（李沐）

4.4.模型选择、欠拟合和过拟合(4.多层感知机)代码学习笔记（含详细代码注释）4.4.4.多项式回归通过多项式拟合来探索模型选择、欠拟合和过拟合过程importmathimportnumpyasnpimporttorchfromtorchimportnnfromd2limporttorchasd2l4.4.4.1.生成数据集噪声项服从均值为0且标准差为0.1的正态分布。在优化的过程中，我们通常希

认真学习！！！·2022-11-24 16:21

动手学深度学习18——模型选择+过拟合和欠拟合及代码实现

一、模型选择1、怎么选择超参数例：预测谁会偿还贷款银行雇你来调查谁会偿还贷款，你得到了100个申请人的信息，其中五个人三年内违约了（换不清贷款），你发现所有的5个人在面试的时候都穿了蓝色衬衫，你的模型也发现了这个强信号，这会有什么问题？2、训练误差和泛化误差训练误差：模型在训练数据上的误差。泛化误差：模型在新数据上的误差。例子：根据模考成绩来预测未来考试分数。在过去的考试中表现很好（训练误差）不代

橙子吖21·2022-11-24 16:20

《动手学深度学习》第六天之模型选择，欠拟合和过拟合

（一）训练误差和泛化误差训练误差（trainingerror）：模型在训练数据集上表现出的误差泛化误差（generalizationerror）：模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。一般情况下，由训练数据集学到的模型参数会使模型在训练数据集上的表现优于或等于在测试数据集上的表现。由于无法从训练误差估计泛化误差，一味地降低训练误差并不意味着泛化误差一定

打着灯笼摸黑·2022-11-24 16:49

【动手学深度学习】11.模型选择 + 过拟合和欠拟合

目录一、训练误差&泛化误差二、验证数据集&测试数据集K折交叉验证三、过拟合和欠拟合四、数据复杂度五、模型复杂度一、训练误差&泛化误差训练误差：模型在训练数据上的误差。泛化误差：模型在新数据上的误差。二、验证数据集&测试数据集验证数据集：验证模型好坏的数据集。不要与训练数据集搞混。比如在不同超参数情况下训练好模型之后查看其表现。测试数据集：只用一次的数据集。K折交叉验证方法：将训练数据集分成K块Fo

ShadoooWM·2022-11-24 16:49

【动手学深度学习】模型选择、欠拟合和过拟合

目录：模型选择、欠拟合和过拟合一、前言二、训练误差和泛化误差三、模型复杂性四、模型选择五、验证集六、KKK折交叉验证七、欠拟合还是过拟合八、模型复杂性九、数据集大小一、前言作为机器学习科学家，我们的目标是发现模式（pattern）。但是，我们如何才能确定模型是真正发现了一种泛化的模式，而不是简单地记住了数据呢？例如，我们想要在患者的基因数据与痴呆状态之间寻找模式，其中标签是从集合{痴呆，轻度认知障

旅途中的宽~·2022-11-24 16:45

在运行李沐大神的动手学深度学习的时候发现一个报错

在运行李沐大神的动手学深度学习的时候发现一个报错-->fromd2limporttorchasd2l-->importtorchvision-->fromtorchvisionimportdatasets

Albert_XZR·2022-11-24 10:13

动手学深度学习之图像风格迁移

参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/lesson/3nIhgFs64Fs5g3JEn5EXzm

water19111213·2022-11-24 04:11

【动手学深度学习】暂退法(Dropout)

dropout前后的多层感知机将暂退法应用于每个隐藏层的输出(在激活函数之后),并且可以为每一层设置暂退概率:常见的技巧是在靠近输入层的地方设置较低的暂退概率。下面的模型将第一个和第二个隐藏层的暂退概率分别设置为0.2和0.5,并且暂退法只在训练期间有效。net=Net(num_inputs,num_outputs,num_hiddens1,num_hiddens2)训练和测试类似于多层感知机的训

xyy ss·2022-11-24 02:13

droupout(暂退法)原理

p是调用dropout方法时自己设定的，默认为0.5.来源：《动手学深度学习》pytorch版

X922199·2022-11-24 02:11

PyTorch入门（2）—— 自动求梯度

参考：《动手学深度学习（PyTorch版）》——李沐注意：由于本文是jupyter文档转换来的，代码不一定可以直接运行，有些注释是jupyter给出的交互结果，而非运行结果!!

云端FFF·2022-11-24 01:31

李沐老师 PyTorch版——线性回归 + 基础优化算法（1）

torch.arangetorch.randntorch.matmulplt.scatterlinear-regression-scratch.ipynb生成随机样本定义模型定义损失函数定义优化算法定义训练前言在李老师的《动手学深度学习

硕欧巴·2022-11-24 01:28

人工智能考证初步探索

媚婉兰君·2022-11-23 19:50

【动手学深度学习】用多项式回归来探索过拟合、欠拟合的概念（含源代码）

目录：多项式回归一、多项式回归的具体实现步骤1.1导包1.2生成数据集1.3对模型进行训练和测试1.4三阶多项式函数拟合(正常)1.5线性函数拟合(欠拟合)1.6高阶多项式函数拟合(过拟合)二、源代码一、多项式回归的具体实现步骤1.1导包importmathimportnumpyasnpimporttorchfromtorchimportnnfromd2limporttorchasd2l1.2生成

旅途中的宽~·2022-11-23 17:05

【动手学深度学习】权重衰减（含Pytorch从零开始实现的源代码）

目录：权重衰减一、理论知识二、高维线性回归的实现步骤2.1准备数据2.2初始化模型参数2.3定义L2L_2L2范数惩罚2.4定义训练代码实现2.5是否加入正则化2.5.1忽略正则化2.5.2加入正则化三、简单实现四、源代码一、理论知识前面我们已经介绍学习了过拟合的问题，这次我们来讲讲一个正则化模型的技术。我们总是可以通过去收集更多的训练数据来缓解过拟合，但这可能成本很高，耗时颇多，或者完全超出我们

旅途中的宽~·2022-11-23 17:05

【动手学深度学习】多层感知机的简洁实现（PyTorch端口）（含源代码）

正如你所期待的，我们可以通过高级API更简洁地实现多层感知机。与softmax回归的简洁实现相比，唯一的区别是我们添加了2个全连接层（之前我们只添加了1个全连接层）。第一层是隐藏层，它包含256个隐藏单元，并使用了ReLU激活函数。第二层是输出层。训练过程的实现与我们实现softmax回归时完全相同，这种模块化设计使我们能够将与模型架构有关的内容独立出来。源代码如下：importtorchfrom

旅途中的宽~·2022-11-23 17:02

【动手学深度学习v2李沐】学习笔记06：模型选择、欠拟合和过拟合、代码实现

前文回顾：多层感知机、详细代码实现文章目录一、模型选择1.1两种误差1.2两种数据集1.3K-折交叉验证1.4总结二、过拟合和欠拟合2.1过拟合和欠拟合2.2模型容量2.2.1模型容量定义2.2.2模型容量的影响2.3估计模型容量2.3.1VC维2.3.2VC维的用处2.4数据复杂度2.5总结三、代码实现3.1人工数据集3.2损失函数3.3训练函数3.4拟合一、模型选择首先，我们学习模型选择，如何

鱼儿听雨眠·2022-11-23 13:22

【动手学深度学习（笔记）】深度学习基础（TensorFlow版）

目录预备知识数据预处理线性神经网络线性回归线性回归的从零开始实现线性回归的简洁实现Softmax回归（分类问题）图像分类数据集Softmax回归的从零开始实现Softmax回归的简洁实现多层感知机激活函数（从线性到非线性）多层感知机的从零开始实现多层感知机的简洁实现模型选择、欠拟合和过拟合多项式回归权重衰减（L2正则化）高维线性回归从零开始实现简洁实现暂退法（Dropout）从零开始实现简洁实现实

手写的现在ing·2022-11-23 13:19

感知机&激活函数（动手学深度学习v2）笔记

感知机定义是二分类模型。给定输入x，权重w，和偏移b，感知机输出：二分类：-1或1（0或1）Vs.回归输出实数Vs.Softmax回归输出概率训练感知机等价于使用批量大小为1的梯度下降，并使用如下的损失函数收敛定理1、数据在半径r内2、余量分类两类3、感知机保证在步后收敛XOR问题(Minsky&Papert,1969)感知机不能拟合XOR函数，它只能产生线性分割面。多层感知机激活函数激活函数（a

没咋了·2022-11-23 13:48

模型选择+过拟合&&欠拟合【动手学深度学习v2】

笔记源于：李沐老师的视频讲解1.模型选择误差训练误差：模型在训练数据上的误差测试误差：在测试数据上的误差，也叫泛化误差数据集训练数据集：用于训练模型参数验证数据集：用于评估模型的好坏。调参使用测试数据集：用于测试，只用一次K-则交叉验证将训练数据集分为k份，选其中一份作为验证集，剩下作为训练集，循环k次不同的验证集。以k次的均值作为最终的精度衡量在没有足够多的数据时使用。K一般取5或10，数据集小

hei_hei_hei_·2022-11-23 13:16

模型选择 + 过拟合和欠拟合（动手学深度学习v2）笔记

训练误差和泛化误差训练误差（trainingerror）：模型在训练数据集上计算得到的误差泛化误差（generalizationerror）：模型应用在同样从原始样本的分布中抽取的无限多数据样本时，模型误差的期望验证数据集和测试数据集验证数据集：选择模型超参数，一个用来评估模型好坏的数据集例如拿出50%的训练数据不要跟训练数据混在一起（常犯错误)测试数据集：只用一次的数据集。训练数据集：训练模型参

没咋了·2022-11-23 13:44

深度学习入门--锚框Anchor的生成处理及可视化（详细说明及代码实现）

在这两个专栏中，我将会带领大家一步步进行经典网络算法的实现，欢迎各位读者（dalao）订阅本教程皆是对李沐老师的动手学深度学习-锚框视频教程及zh.d2l.ai中代码的详细解释（李沐老师

CuddleSabe·2022-11-23 12:51

李沐动手学深度学习4.5 正则化权重衰退代码手动实现

importtorchfromtorchimportnnfromd2limporttorchasd2ln_train,n_test,num_inputs,batch_size=20,100,200,5true_w,true_b=torch.ones((num_inputs,1))*0.01,0.05train_data=d2l.synthetic_data(true_w,true_b,n_trai

Stephen Bern·2022-11-23 12:28

【动手学深度学习v2李沐】学习笔记07：权重衰退、正则化

前文回顾：模型选择、欠拟合和过拟合文章目录一、权重衰退1.1硬性限制1.2柔性限制（正则化）1.3参数更新法则1.4总结二、代码实现2.1从零开始实现2.1.1人工数据集2.1.2模型参数2.1.3L2L_2L2范数惩罚2.1.4训练2.2简洁实现一、权重衰退1.1硬性限制在上一篇文章中，我们讲到了控制模型容量的两种方法：使用较小的参数（使得模型变小）使参数可选择的值比较少权重衰退通过限制参数值的

鱼儿听雨眠·2022-11-23 12:57

李沐《动手学深度学习》课程笔记：12 权重衰退

目录12权重衰退1.权重衰退2.代码实现12权重衰退1.权重衰退2.代码实现#权重衰减，权重衰减是最广泛使用的正则化的技术之一importtorchimportosimportmatplotlib.pyplotaspltfromtorchimportnnfromd2limporttorchasd2los.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"n_train,n

feiwen110·2022-11-23 12:26

动手学深度学习v2笔记-Day5-模型选择&权重衰退

动手学深度学习v2Day50x00模型选择1.训练误差&泛化误差（更关心）类别释义训练误差模型在训练数据集上的误差泛化误差模型在新的数据集上的误差2.验证数据集&测试数据集类别释义训练数据集训练模型的数据集验证数据集用来评估模型好坏的数据集

CabbSir·2022-11-23 12:52

动手学深度学习——学习笔记（Task3）

过拟合、欠拟合及其解决方案训练误差和泛化误差验证数据集欠拟合和过拟合现象模型复杂度对欠拟合和过拟合的影响应对方法权重衰减丢弃法总结循环神经网络进阶通过时间反向传播门控循环单元（GRU）长短期记忆（LSTM）深度循环神经网络双向循环神经网络

轻沉·2022-11-23 12:51

动手学深度学习——学习笔记（Task1）

作为机器学习的一类，深度学习通常基于神经网络型逐级表示越来越抽象的概念或模式。我们先从线性回归和softmax回归这两种单层神经网络，简要介绍机器学习中的基本概念。然后，我们由单层神经网络延伸到多层神经网络，并通多层感知机引出深度学习模型。在观察和了解了模型的过拟合现象后，我们将介绍深度学习中对过拟合的常用方法：权重衰减和丢弃法。线性回归线性回归输出是一个连续值，因此适用于回归问题。线性回归模型表

轻沉·2022-11-23 12:20

【笔记】动手学深度学习-权重衰退

echo_gou·2022-11-23 12:42

推荐频道

动手学深度学习

《动手学深度学习》报错 解决方案RuntimeError: DataLoader worker (pid(s) ...) exited unexpectedly