动手学深度学习学习整理第31页

李沐动手学深度学习V2-NLP序列模型和代码实现

一.序列模型1.统计工具处理序列数据需要统计工具和新的深度神经网络架构，如下图股票价格示例所示，其中用xtx_txt表示价格，即在时间步（timestep）t∈Z+t\in\mathbb{Z}^+t∈Z+时，观察到的价格xtx_txt。注意ttt对于本文中的序列通常是离散的，并在整数或其子集上变化。假设一个交易员想在ttt日的股市中表现良好，于是通过以下途径预测xtx_txt：xt∼P(xt∣xt

cv_lhp·2022-12-13 09:53

序列模型（自回归模型，马尔可夫模型，因果关系）

李沐老师《动手学深度学习PyTorch版》课程，小破站也有视频51序列模型【动手学深度学习v2】_哔哩哔哩_bilibili主要参考8.1.序列模型—动手学深度学习2.0.0documentation目录

流萤数点·2022-12-13 09:50

微信小程序从0到1基础学习整理(上)

微信小程序优势微信有海量用户，而且用户粘性高，在微信里开发产品更容易触达用户微信小程序具有无需安装，扫码即用的特性，相比App推广成本更低低廉的开发成本，较好的体验0.环境准备注册小程序微信小程序有别于web应用，web应用通常由自己管理发布，但是微信小程序由微信统一管理，因此需要注册账号。注册地:https://mp.weixin.qq.com/wxopen/waregister?action=

山竹回家了·2022-12-12 18:41

学习笔记：动手学深度学习 17 权重衰退

Python3.8.8(default,Apr132021,15:08:03)[MSCv.191664bit(AMD64)]onwin32In[2]:importmatplotlib.pyplotaspltBackendQt5Aggisinteractivebackend.Turninginteractivemodeon.In[3]:importtorch...:fromtorchimportnn

进击的番茄~·2022-12-12 14:55

【动手学深度学习PyTorch版】6 权重衰退

上一篇移步【动手学深度学习PyTorch版】5模型选择+过拟合和欠拟合_水w的博客-CSDN博客目录一、权重衰退1.1权重衰退weightdecay：处理过拟合的最常见方法（L2_penalty）◼权重衰退

水w·2022-12-12 14:22

《动手学深度学习》-学习笔记task5

动手学深度学习-学习笔记task50.学习任务1.卷积神经网络1.1卷积的定义1.2卷积神经网络的基础概念1.2.1二维互相关运算1.2.2二维卷积层1.2.3特征图与感受野1.2.4填充与步幅填充步幅

紫砂痕·2022-12-11 19:26

机器学习学习整理（二）对数几率回归与支持向量机

文章目录前言对数几率回归支持向量机感知机支持向量机线性可分近似线性可分线性不可分总结前言欢迎大家来看我的机器学习第二章，hhh这其实是第二次排版了，中午wifi坏了印象笔记没有自动保存，然后我写完之后点了下自动备份，它用我新建笔记的记录覆盖了我写完之后的记录…心累：)拖更的时间有点久，这段时间基本把鲁伟老师的《机器学习公式推导与代码实现》看完了，也有些自己的感悟，一直没有动笔是因为前段时间没太明白

冬阳thu·2022-12-11 18:23

【动手学深度学习Pycharm实现1】线性回归的从0开始实现

备注：李沐大神源代码是用Jupyter写的，笔者想用Pycharm实现并仅作为学习笔记，如有侵权，请联系笔者删除。前言最近在学习李沐大神的深度学习课程，不得不说，李沐大神教的真好，下面的代码也是跟着他的视频一步一步敲出来的，也添加了自己的一些理解。因为我习惯用Pycharm，所以用Pycharm实现的，也给其他想用Pycharm实现沐神代码的小伙伴一点点小帮助，随着后面的学习，我也会陆续更新的。p

Stick_2·2022-12-11 16:34

李宏毅seq2seq(RNN LSTM GRU seq2seq)

隐藏层的激活函数选用tanh函数(李沫大神的《动手学深度学习》是使用这个激活函数)，对于分类问题输出层选用softmax为激活函数。笔者还看过另一种说法，是直接将隐藏状态连结，计算最终输出。

qq_43501578·2022-12-11 11:40

python与matlab对应函数---图像处理

学习整理fspecial()函数python与matlab对应翻译代码集颜色通道相互转换图片的读取保存及其他matlab转Python代码工具matlab和python对应函数MATLAB调用python

不动脑筋·2022-12-11 08:57

动手学深度学习 | 从上手到多类分类

1.使用NDArray来处理数据frommxnetimportndarrayasndnd.zeros((3,4))x=nd.ones((3,4))nd.array([[1,2],[2,3]])y=nd.random_normal(0,1,shape=(3,4))y.shapey.size#操作符x+yx*ynd.exp(y)nd.dot(x,y.T)#广播a=nd.arange(3).reshap

奔跑的蜗牛君666·2022-12-10 16:51

深度学习Review【四】编解码

课程地址动手学深度学习笔记【三】一、编码-解码二、Seq2seqtorch一、编码-解码编码（训练）：处理输出，把输入编程成中甲你表达形式（特征）解码（预测）：生成输出，把特征解码成输出fromtorchimportnnclassEncoder

舒克儿不开飞机·2022-12-10 08:55

动手学深度学习——预备知识

一、机器学习组件：1、我们可以学习的数据（data）。样本-特征-标签图像的特征由像素值表示，每个空间位置的红、绿、蓝通道的强度。固定长度的特征向量容易大量训练，所以需要裁剪成标准尺寸，要防止丢失信息。数据要海量+正确，也不要不均衡。2、如何转换数据的模型（model）。3、一个目标函数（objectivefunction），用来量化模型的有效性。定义模型的好坏，并希望优化到最低点，学习模型参数的

唔西迪西爱学习·2022-12-10 00:52

李沐动手学深度学习-04数据操作+数据预处理

李沐动手学深度学习-CH04数据操作的实现这边的内容感觉不太需要记录，所以就没有写了，忘记了就查找一下嘛。

Allure丶憨憨·2022-12-09 22:51

李沐动手学深度学习V2-GoogLeNet模型和代码实现

1.GoogLeNet在2014年的ImageNet图像识别挑战赛中，一个名叫GoogLeNet的网络架构大放异彩。GoogLeNet吸收了NiN中串联网络的思想，并在此基础上做了改进。这篇论文的一个重点是解决了什么样大小的卷积核最合适的问题。毕竟，以前流行的网络使用小到1×1，大到11×11的卷积核。本文的一个观点是，有时使用不同大小的卷积核组合是有利的。1.1Inception块在GoogLe

cv_lhp·2022-12-09 22:20

36李沐动手学深度学习v2/图像增广

%matplotlibinlineimporttorchimporttorchvisionfromtorchimportnnfromd2limporttorchasd2ld2l.set_figsize()img=d2l.Image.open('./img/cat1.jpg')d2l.plt.imshow(img)defapply(img,aug,num_rows=2,num_cols=4,scal

xcrj·2022-12-09 22:50

动手学深度学习PyTorch版——Task02学习笔记

文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列预处理通常包括四个步骤：读入文本英文小说：以英文小说为例展示文本预处理步骤importcollectionsimportredefread_time_machine():withopen('/home/kesci/input/timemachine7163/timemachine.txt','r')asf:lines=[re.sub(

土豆土豆昕昕·2022-12-09 19:51

Maven核心概念学习笔记

Maven学习笔记前言：此文章是根据尚硅谷Maven课程学习整理而来，仅供参考和复习。

Qiuyuguohou·2022-12-09 14:58

SpringCloud Alibaba Nacos注册中心官方文档——快速开始

一、前言本篇笔记是我根据SpringCloudAlibabaNacos官方文档学习整理而来，主要是对Nacos注册中心的部署、NacosServer的动态配置及NacosServer的服务注册与发现的一个官方

偏执即为魔·2022-12-09 14:15

知识点22

常用图像处理与数据增强方法合集（torchvision.transforms）Pytorch预训练模型以及修改【深度学习】踩坑日记：模型训练速度过慢，GPU利用率低Pytorch中多GPU训练指北课程类动手学深度学习在线课程

I"ll carry you·2022-12-09 14:04

动手学深度学习--多层感知机篇（MLP）

多层感知机前言：本章分为8小章1.多层感知机线性模型的缺陷：具有单调性：即W增大output增大，W减小output减小，而现实中存在许多违反单调性的例子：①体温预测死亡率②收入变化与还款可能性隐藏层与多层感知机（multilayerperceptronMLP）将前L-1层看作表示，把最后一层看作线性预测器，这种架构常称为多层感知机（此处线性存疑）缺点：具有全连接层的多层感知机的参数开销过大激活函

yijie_01·2022-12-09 09:19

【动手学深度学习】10.多层感知机（MLP）

一、感知机1、感知机概念给定输入x，权重w，和偏移b,感知机输出：o=σ(⟨w,x⟩+b)σ(x)={1ifx>00otherwiseo=\sigma(\langle\mathbf{w},\mathbf{x}\rangle+b)\quad\sigma(x)=\left\{\begin{array}{ll}1&\text{if}x>0\\0&\text{otherwise}\end{array}\r

ShadoooWM·2022-12-09 09:38

利用Gluon简洁实现线性回归——动手学深度学习笔记

在使用gluon接口之前，我们首先需要下载好mxnet包pipinstallmxnet生成数据集根据公式基础去理解，并加上噪声frommxnetimportautograd,ndnum_inputs=2num_examples=1000true_w=[2,-3.4]true_b=4.2features=nd.random.normal(scale=1,shape=(num_examples,num

看星河的兔子·2022-12-09 06:49

坚持学习100天：文本文件应用

在这里记录一些学习的东西和学习的心情,内容主要是一些自己学习整理的小笔记。

smile- sunshine·2022-12-08 21:43

《动手学深度学习》(七) -- 边界框和锚框

1边界框在目标检测中，我们通常使用边界框（boundingbox）来描述对象的空间位置。边界框是矩形的，由矩形左上角的以及右下角的xxx和yyy坐标决定。另一种常用的边界框表示方法是边界框中心的(x,y)(x,y)(x,y)轴坐标以及框的宽度和高度。在这里，我们[定义在这两种表示法之间进行转换的函数]：box_corner_to_center从两角表示法转换为中心宽度表示法，而box_center

长路漫漫2021·2022-12-08 09:09

动手学深度学习（二十四）——公式详解ResNet

一、为什么选择残差网络在VGG中，卷积网络达到了19层，在GoogLeNet中，网络史无前例的达到了22层。那么，网络的精度会随着网络的层数增多而增多吗？在深度学习中，网络层数增多一般会伴着下面几个问题计算资源的消耗（用GPU集群去怼）模型容易过拟合（扩大数据集、Droupout、批量归一化、正则化、初始化参数调整等等方法）梯度消失/梯度爆炸问题的产生（批量归一化）随着网络层数的增加，网络

留小星·2022-12-08 02:44

学习笔记：动手学深度学习 16 模型选择、欠拟合、过拟合

多项式回归Python3.8.8(default,Apr132021,15:08:03)[MSCv.191664bit(AMD64)]Type'copyright','credits'or'license'formoreinformationIPython7.22.0--AnenhancedInteractivePython.Type'?'forhelp.PyDevconsole:usingIPy

进击的番茄~·2022-12-07 22:55

【动手学深度学习Pycharm实现2】线性回归的简单实现

前言李沐大神源代码是用Jupyter写的，笔者想用Pycharm实现并仅作为学习笔记，如有侵权，请联系笔者删除。一、背景线性回归虽然简单，但是麻雀虽小五脏俱全，这其中包含了：数据如何读取，模型的搭建，参数初始化，损失函数以及训练模块，能让我们这种初学者能快速了解大概流程。二、线性回归代码笔者对沐神部分代码进行了注释，并添加了个人理解。Python版本：3.8.6torch版本：1.11.0d2l版

Stick_2·2022-12-07 22:55

李沐动手学深度学习代码问题求解

在欠拟合和过拟合一节中，原封不动把代码搬过来，却报错了importmathimportnumpyasnpimporttorchfromtorchimportnnfromd2limporttorchasd2lmax_degree=20n_train,n_test=100,100true_w=np.zeros(max_degree)true_w[0:4]=np.array([5,1.2,-3.4,5.

love_lqz·2022-12-07 22:54

【机器学习】《动手学深度学习 PyTorch版》深度学习笔记（RCNN、fast-RCNN、faster-RCNN）

文章目录RCNN一、RCNN系列简介二、RCNN算法流程的4个步骤三、RCNN存在的问题fast-RCNN一、fast-RCNN简介二、fast-RCNN算法的3个步骤RCNN一、RCNN系列简介R-CNN系列（R-CNN,fast-RCNN,faster-RCNN）是使用深度学习进行物体检测的鼻祖论文，其中fast-RCNN以及faster-RCNN都是延续R-CNN的思路。R-CNN全称reg

Jul7_LYY·2022-12-07 22:19

动手学深度学习TF2.0第三章

第三章3.1线性回归1.模型定义这个是线性回归。2.模型训练1训练数据2定义损失函数3优化算法这里注意小批量随机梯度下降这段话注意第一句话33.1.2.2矢量计算表达式主要介绍了矢量计算的有效性3.2线性回归的从零开始实现%matplotlibinlineimporttensorflowastffrommatplotlibimportpyplotaspltimportrandom####生成数据集

Cv_Terry·2022-12-07 22:19

【Kaggle项目实战记录】狗的品种识别

建立Dataset设定图像增广的方法创建数据集Dataset类预览训练集和验证集3定义和初始化模型4设置训练集和测试集5训练6模型存储7验证数据，上传读取验证集定义预测函数，预测简单的技术点总结这是一个动手学深度学习原课程的一个比赛项目

takedachia·2022-12-07 19:44

Dive into deep learning(06)[动手学深度学习]———————第六章，现代卷积神经网络

文章目录Diveintodeeplearning(06)[动手学深度学习]———————第六章，现代卷积神经网络1、深度卷积神经网络（AlexNet）(alexnet)2、使用块的网络（VGG）(vgg

梦想实干家杭77·2022-12-07 16:10

《动手学深度学习（Dive into Deeplearning）》（第二版）——启程

《动手学深度学习（DiveintoDeeplearning）》——启程今天是我第一天开始在CSDN上发表内容，还是熟悉的markdown编辑方式哈哈哈哈，想想当初第一次接触markdown编辑还是大数据技术基础这门课的老师推荐的

def_Mark_Heng·2022-12-07 16:39

#李沐动手学深度学习第一天 # No module named ‘torch‘

打开jupyternotebook后运行显示错误Nomodulenamed‘torch‘解决办法：打开AnacondaPrompt,condaactivatepytorch激活安装pytorch的环境变量condainstallipythoncondainstalljupyter安装完成后发现打开Anaconda列表中多出jupyternotebook（pytorch）单击打开，运行成功，问题解决

Sunshine Liu·2022-12-07 16:39

动手学《动手学深度学习》（安装pytorch)

自己写着记录学习《动手学深度学习》的过程，主要是怕以后遇到同样问题忘了当初是怎么解决的过程，如果能帮助到别人那就一举两得，水平不够，求不要挨骂QAQ。-------第一天就记录个软件的安装。。。

weixin_44888183·2022-12-07 15:36

动手学深度学习（使用Pytorch）网址收藏

动手学深度学习+Pytorch网页版学习网址https://tangshusen.me/Dive-into-DL-PyTorch/#/配套讲解视频找B站UP：跟李沐学AIhttps://space.bilibili.com

chenqah·2022-12-07 15:06

《动手学深度学习》第一次打卡

线性回归线性回归的基本要素线性回归基本要素包括模型、数据集、损失函数、优化函数。1、模型以房价预测为例进行说明。采用二维变量对房价进行预测，分别是房屋面积、房屋年龄price=w_area⋅area+w_age⋅age+b2、数据集数据集通常通过统计局及各大网站下载真实数据，例如多栋房屋的真实售出价格和它们对应的面积和房龄。我们希望在这个数据上面寻找模型参数来使模型的预测价格与真实价格的误差最小。

melody_44154393·2022-12-07 15:36

《动手学深度学习》第二天

今天学习深度学习基础。第一节讲述的是线性回归。之前看论文的时候就见过损失函数这个名词，这一次真正了解了它的定义，在优化算法中，注意到解析解和数值解两种，其中数值解的优化算法，常用的是小批量随机梯度下降，这也是在读论文的过程中，遇到过的。第二节是讲线性回归从零开始。对这一节的部分地方做一下笔记。（一）首先在生成数据集的操作中，mxnet.ndarray.random.normal(loc=0,sca

打着灯笼摸黑·2022-12-07 15:29

动手学深度学习-第一天（前言）

1.2关键组件数据（data）模型（model）目标函数（objectivefunction）算法（algorithm）1.2.1数据每一数据集都是由一个个样本组成，样本有时也被称为数据点（datapoint）或者数据实例（datainstance）。1.2.3目标函数在机器学习中，我们需要定义模型的优劣程度的度量，这个度量在大多数情况是“可优化”的，我们称之为目标函数（objectivefunc

-冲冲冲-·2022-12-07 15:55

学习李沐深度学习第一天

以下内容依据教材示例和课上内容所写学习笔记，小白只有薄弱基础，写错了还请各位大神指正，学习不易，互相鼓励04数据操作+数据预处理【动手学深度学习v2】装对软件，跟上教程这部分基本可以顺下来，初次接触明白了

QQsh7·2022-12-07 15:52

动手学深度学习（第一天）

P1-数据操作实现importtorchimportnumpyasnpx=torch.arange(12)print(x)print(x.shape)#通过shape属性访问张量的形状与张量中元素的总数print(x.numel())#里面元素的总数X=x.reshape(3,4)#改变一个张量的形状而不改变元素数量和元素值，用reshape函数print(X)print(torch.zeros(

我还是我吗·2022-12-07 15:19

动手学深度学习笔记1

环境配置Anaconda（Ubuntu）+Mxnetmxnet-gpu目前最新只有cuda10.0对应的版本，要不自己找资料编译，要不降低cuda的版本或者选择mxnet-cpuMxnet-cpu新建虚拟环境condacreate-ngluonpython=3.8激活环境：condaactivategluon安装MXNet-cpu：pipinstallmxnet安装其它软件包：pipinstall

Kaaaaaaan·2022-12-07 14:44

卷积神经网络(LeNet)——【torch学习笔记】

卷积神经网络(LeNet)引用翻译：《动手学深度学习》我们现在准备把所有的工具放在一起，部署你的第一个全功能卷积神经网络。

一个语文不好的NLPer·2022-12-07 09:00

图像处理基础知识

图像处理基础自己学习整理的图像处理知识视觉基本概念和直方图基本概念文章目录图像处理基础基本概念视觉人类视觉概念人类视觉的特性机器视觉概念图像的感知直方图直方图的定义直方图的性质直方图的应用基本概念视觉人类视觉概念人类视觉的特性多义性同一张图像可能有多个解读错觉第一张图有一种中间有个方框的错觉第二张图有一种中间有个元的错觉第三章图是不是感觉中间直线不一样长其实是一样长的

linxue110·2022-12-07 08:32

docker基本操作小结

根据freecodecamp中ZhichengChen写的文章的学习整理（https://chinese.freecodecamp.org/news/the-docker-handbook/）github

黄金大师傅·2022-12-07 07:14

【pytorch李沐动手学深度学习(图像增广和模型微调】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、图像增广二、微调一、图像增广在输入图像img上多次运行图像增广方法aug并显示所有结果defapply(img,aug,num_rows=2,num_cols=4,scale=1.5):Y=[aug(img)for_inrange(num_rows*num_cols)]d2l.show_images(Y,num_rows,

小火龙借个火·2022-12-07 07:18

李沐动手学深度学习V2-模型微调和代码实现

微调由于数据集有限，收集和标记数据可能需要大量的时间和金钱，因此需要应用迁移学习（transferlearning）将从源数据集学到的知识迁移到目标数据集。例如，尽管ImageNet数据集中的大多数图像与识别图像无关，但在此数据集上训练的模型可能会提取更通用的图像特征，这有助于识别边缘、纹理、形状和对象组合，这些类似的特征也可能有效地识别当前图像。1.微调步骤在源数据集（例如ImageNet数据集

cv_lhp·2022-12-07 07:41

（能踩坑全踩了的总结）从零开始用miniconda配置pytorch环境以适用pycharm

先给出两个参考视频地址：Windows下安装CUDA和Pytorch跑深度学习-动手学深度学习v2@跟李沐学AIPython学习中Anaconda和Pycharm的正确打开方式@肆十二-一、Cuda篇(

@SweetBB·2022-12-07 06:03

注意力机制与使用了多头注意力和自注意力的transformer架构

http://zh.d2l.ai/chapter_attention-mechanisms/index.html参考《动手学深度学习》和论文attentionisallyouneed理解注意力机制引入注意力的生物学解释经过漫长进化

weixin_48142571·2022-12-07 01:51

推荐频道

动手学深度学习学习整理