《动手学深度学习》自学之路

快速入门深度学习4.1（用时1h）——多层感知器

速通《动手学深度学习》4.1写在最前面3.线性神经网络3.74.多层感知器4.1.1隐藏层4.1.1.2在网络中加入隐藏层4.1.1.3从线性到非线性（激活函数）4.1.2.激活函数4.1.2.1.ReLU
是Yu欸·2023-10-29 22:55

快速入门深度学习1（用时1h）——MXNet版本

速通《动手学深度学习》1写在最前面0.内容与结构1.深度学习简介1.1问题引入1.2思路：逆向思考1.3跳过1.4特点1.5小结2.预备知识（MXNet版本，学错了。。。。）
是Yu欸·2023-10-29 22:54

《动手学深度学习》Pytorch_GPU版Anaconda虚拟环境安装教程

说明：由于之前已在电脑中安装好Anaconda3和CUDA以及CUDNN，这里不再记录这一部分，如有需要可以参考其他博主的博客：Win10安装anaconda和cuda+cudnn详细教程。平台：Windows10，GTX1060显卡。首先找到AnacondaPrompt，右键以管理员方式运行一、创建并激活虚拟环境创建conda虚拟环境：（为了提高速度，这里使用了清华源。当然也可以用别的换源方法，
_Mr. Liu_·2023-10-29 10:13

深度学习_1 介绍；安装环境

课程链接：课程安排-动手学深度学习课程(d2l.ai)介绍AI地图：我们以前写的非AI类程序基本都是人自己去想会遇到什么样的问题,让程序做怎样的逻辑处理来解决.那么，如果我们期望机器自己总结以往的经验来对我们没有考虑到过的未知情况做操作
灰海宽松·2023-10-29 10:08

网络安全小白自学之路，四处拜师？求人不如求己

前言趁着今天下班，我花了几个小时整理了下，非常不易，希望大家可以点赞收藏支持一波，谢谢。我的经历：我19年毕业，大学专业是物联网工程，我相信很多人在象牙塔里都很迷茫，到了大三大四才开始慢慢焦虑自己该从事什么工作培养一技之长，或者是跟随大部队考研继续逃避社会，我选择了后者。19年7月拿到毕业证以后因为没有一技之长，工作一直不顺。城市换了又换，工作也一直在变。一直没有稳定下来，浑浑噩噩地被社会毒打。因
程序员小八·2023-10-28 00:23

网络安全小白自学之路，别到处拜师了，求人不如求己

前言：趁着今天下班，我花了几个小时整理了下，非常不易，希望大家可以点赞收藏支持一波，谢谢。我的经历：我19年毕业，大学专业是物联网工程，我相信很多人在象牙塔里都很迷茫，到了大三大四才开始慢慢焦虑自己该从事什么工作培养一技之长，或者是跟随大部队考研继续逃避社会，我选择了后者。19年7月拿到毕业证以后因为没有一技之长，工作一直不顺。城市换了又换，工作也一直在变。一直没有稳定下来，浑浑噩噩地被社会毒打。
程序学到昏·2023-10-28 00:52

《动手学深度学习 Pytorch版》 10.7 Transformer

自注意力同时具有并行计算和最短的最大路径长度这两个优势。Transformer模型完全基于注意力机制，没有任何卷积层或循环神经网络层。尽管Transformer最初是应用于在文本数据上的序列到序列学习，但现在已经推广到各种现代的深度学习中，例如语言、视觉、语音和强化学习领域。10.7.1模型Transformer作为编码器－解码器架构的一个实例，其编码器和解码器是基于自注意力的模块叠加而成的，源（
AncilunKiang·2023-10-27 23:45

《动手学深度学习 Pytorch版》 10.5 多头注意力

多头注意力（multiheadattention）:用独立学习得到的h组不同的线性投影（linearprojections）来变换查询、键和值，然后并行地送到注意力汇聚中。最后，将这h个注意力汇聚的输出拼接在一起，并且通过另一个可以学习的线性投影进行变换，以产生最终输出。对于h个注意力汇聚输出，每一个注意力汇聚都被称作一个头（head）。10.5.1模型用数学语言描述多头注意力：hi=f(Wi(q
AncilunKiang·2023-10-27 23:44

《动手学深度学习 Pytorch版》 10.6 自注意力和位置编码

在注意力机制中，每个查询都会关注所有的键－值对并生成一个注意力输出。由于查询、键和值来自同一组输入，因此被称为自注意力（self-attention），也被称为内部注意力（intra-attention）。本节将使用自注意力进行序列编码，以及使用序列的顺序作为补充信息。importmathimporttorchfromtorchimportnnfromd2limporttorchasd2l10.6
AncilunKiang·2023-10-27 14:58

每天看微博热搜的功夫就能把Python学了，知名大厂算法工程师的自学之路

曾经万年老二的Python，现在已经今非昔比。从去年下半年开始，Python连续屠榜多家平台NO.1的位置，并且延续去年的战绩，2020年也依旧占据各大榜单最值得掌握的编程语言第一名！比如PYPL发布的2月编程语言指数榜：精通这门语音，一定会让你在未来获得更大的发展空间。你们都是怎么学Python的？我见过很多的Python讲解教程和书籍，它们大都这样讲的：先从Python的发展历史开始，介绍Py
csdn人工智能头条·2023-10-27 09:37

动手学深度学习—批量规范化（代码详解）

批量规范化1.训练深层网络2.批量规范化层2.1全连接层2.2卷积层3.从零实现批量规范化层4.使用批量规范化层的LeNet批量规范化（batchnormalization），可持续加速深层网络的收敛速度。1.训练深层网络数据预处理的方式通常会对最终结果产生巨大影响。对于典型的多层感知机或卷积神经网络。训练时，中间层中的变量（例如，多层感知机中的仿射变换输出）可能具有更广的变化范围。更深层的网络很
緈福的街口·2023-10-26 22:28

动手学深度学习相关资源网站

课程主页：https://courses.d2l.ai/zh-v2教材：https://zh-v2.d2l.ai/课程论坛讨论：https://discuss.d2l.ai/c/16Pytorch论坛：https://discuss.pytorch.org/
一只蹦跶的小蹦跶·2023-10-26 21:14

《动手学深度学习 Pytorch版》 10.4 Bahdanau注意力

10.4.1模型Bahdanau等人提出了一个没有严格单向对齐限制的可微注意力模型。在预测词元时，如果不是所有输入词元都相关，模型将仅对齐（或参与）输入序列中与当前预测相关的部分。这是通过将上下文变量视为注意力集中的输出来实现的。新的基于注意力的模型与9.7节中的模型相同，只不过9.7节中的上下文变量c\boldsymbol{c}c在任何解码时间步t′\boldsymbol{t'}t′都会被ct′
AncilunKiang·2023-10-26 08:41

《动手学深度学习 Pytorch版》 10.3 注意力评分函数

上一节使用的高斯核的指数部分可以视为注意力评分函数（attentionscoringfunction），简称评分函数（scoringfunction）。后续把评分函数的输出结果输入到softmax函数中进行运算。最后，注意力汇聚的输出就是基于这些注意力权重的值的加权和。该过程可描述为下图：用数学语言描述为：f(q,(k1,v1),…,(km,vm))=∑i=1mα(q,ki)vi∈Rvf(\bol
AncilunKiang·2023-10-26 08:00

一名前端工程师的自学之路！Js篇（01-07更新）

这里就写的简单一些吧，就当是报复你们看了不点赞不关注了，哈哈哈。接着21号更新的文章～对了，我这还有pdf版的红宝书，如果有需要的小伙伴，请联系我。而且，我发现我这样系列的更新头条不怎么给我推送，等js分享完其他后，我会换标题，现在换有点对不住以前收藏的小伙伴。不废话开始了～BOMBOM--浏览器对象模型所有的对象都可以会有自己的固定属性和方法调用这些属性和方法：对象.属性/对象.方法window
自律更自由·2023-10-25 01:32

动手学深度学习—含并行连结的网络GoogLeNet（代码详解）

目录1.Inception块3.GoogLeNet模型3.训练模型GoogLeNet吸收了NiN中串联网络的思想，并在此基础上做了改进，并且在2014年的ImageNet图像识别挑战赛中获得了不错的效果。1.Inception块GoogLeNet论文解决了多大的卷积核最合适的问题。Inception块可以说是“集百家之长”，它由四条并行路径组成，不同的路径提取不同的信息在通道合并层进行合并。Inc
緈福的街口·2023-10-25 00:08

动手学深度学习—网络中的网络NiN（代码详解）

LeNet、AlexNet和VGG都有一个共同的设计模式：通过一系列的卷积层与汇聚层来提取空间结构特征；然后通过全连接层对特征的表征进行处理。如果在过程的早期使用全连接层，可能会完全放弃表征的空间结构。而NiN（网络中的网络）提供了一个非常简单的解决方案：在每个像素的通道上分别使用多层感知机。1.NiN块卷积层的输入和输出由四维张量组成（样本，通道，高度，宽度）全连接层的输入和输出通常是二维张量（
緈福的街口·2023-10-24 20:55

《动手学深度学习 Pytorch版》 10.1 注意力提示

10.1.1生物学中的注意力提示“美国心理学之父”威廉·詹姆斯提出的双组件（two-component）框架：非自主性提示：基于环境中物体的突出性和易见性自主性提示：受到了认知和意识的控制10.1.2查询、键和值注意力机制与全连接层或汇聚层区别开来的元素：是否包含自主性提示在注意力机制的背景下：自主性提示被称为查询（query）。给定任何查询，注意力机制通过注意力汇聚（attentionpooli
AncilunKiang·2023-10-24 17:30

《动手学深度学习 Pytorch版》 10.2 注意力汇聚：Nadaraya-Watson 核回归

importtorchfromtorchimportnnfromd2limporttorchasd2l1964年提出的Nadaraya-Watson核回归模型是一个简单但完整的例子，可以用于演示具有注意力机制的机器学习。10.2.1生成数据集根据下面的非线性函数生成一个人工数据集，其中噪声项ϵ\epsilonϵ服从均值为0，标准差为0.5的正态分布：yi=2sin⁡xi+xi0.8+ϵ\bolds
AncilunKiang·2023-10-24 17:26

动手学深度学习之如何理解param.grad / batch_size（详细讲解）

defsgd(params,lr,batch_size):#@save"""小批量随机梯度下降"""withtorch.no_grad():#被该语句wra起来的部分将不会跟踪梯度forparaminparams:param-=lr*param.grad/batch_sizeparam.grad.zero_()这个问题我看到论坛也有人在问，但是大神回答说自己跑一遍代码就会了，我想这个东西只可意会，
我有明珠一颗·2023-10-24 07:12

动手学深度学习-准备工作-利用WSL2安装Ubuntu系统并搭建深度学习环境

目录1.WSL2安装Ubuntu系统1.1打开启用或关闭Windows功能1.2下载ubuntu1.3更新内核2.深度学习环境搭建2.1安装miniconda2.1.1创建虚拟环境2.1.2激活环境2.2安装英伟达驱动2.3安装pytorch测试是否安装成功2.4安装cuda配置环境变量2.5安装cudnn3.安装d2l软件包1.WSL2安装Ubuntu系统1.1打开启用或关闭Windows功能将
库行僧·2023-10-22 19:14

《动手学深度学习 Pytorch版》 9.8 束搜索

本节将介绍几大：贪心搜索（greedysearch）策略穷举搜索（exhaustivesearch）束搜索（beamsearch）9.8.1贪心搜索贪心搜索已用于上一节的序列预测。对于输出序列的每一时间步t′t't′，都从Y\boldsymbol{Y}Y中找到具有最高条件概率的词元，即：yt′=arg⁡max⁡y∈YP(y∣y1,…,yt−1,c)y_{t'}=\mathop{\arg\max}\
AncilunKiang·2023-10-22 17:37

《动手学深度学习 Pytorch版》 9.7 序列到序列学习（seq2seq）

循环神经网络编码器使用长度可变的序列作为输入，将其编码到循环神经网络编码器固定形状的隐状态中。为了连续生成输出序列的词元，独立的循环神经网络解码器是基于输入序列的编码信息和输出序列已经看见的或者生成的词元来预测下一个词元。要点：“”表示序列结束词元，一旦输出序列生成此词元，模型就会停止预测。“”表示序列开始词元，它是解码器的输入序列的第一个词元。使用循环神经网络编码器最终的隐状态来初始化解码器的隐
AncilunKiang·2023-10-22 17:36

【0209读书清单】学习之道10

2自学之路不管你是被逼无奈还是其它原因走上这条路，都要恭喜你。只有你主动参与课题，而非仅听他人言传，才能取得最好的学习效果。3毅力在学习路上，比智力更重要的往往是毅力。不管困难或是乏味，请坚持。
贝小渊·2023-10-22 16:41

Axure RP9 自学之路1-软件初识

虽然很早就知道有这么一个快速制作原型的工具，但是自己都是没有深入了解，虽然自己很想去学会这项技能，但是人的惰性，让我止步于学习，只是仰望该软件，而不得其技，甚是心痒~偶然机会开通了头条，但是目前还无法开设专栏来写自己的自学之路
weixin_34238633·2023-10-22 01:05

动手学深度学习—使用块的网络VGG（代码详解）

目录1.VGG块2.VGG网络3.训练模型1.VGG块经典卷积神经网络的基本组成部分是下面的这个序列：1.带填充以保持分辨率的卷积层；2.非线性激活函数，如ReLU；3.汇聚层，如最大汇聚层。定义网络块，便于我们重复构建某些网络架构，不仅利于代码编写与阅读也利于后面参数的优化"""定义了一个名为vgg_block的函数来实现一个VGG块：1、卷积层的数量num_convs2、输入通道的数量in_c
緈福的街口·2023-10-21 19:56

动手学深度学习(一)——逻辑回归(gluon)

文章作者：Tyan博客：noahsnail.com|CSDN|注：本文为李沐大神的《动手学深度学习》的课程笔记！
SnailTyan·2023-10-21 06:15

学习Django

@Django一个小白的自学之路这是我在CSDN上的第一篇文章，主要是为了记录自己自学一个框架的过程，整个过程都会一直更新，主要为了督促自己可以更好的去学习，如果我的学习过程可以帮到你，那我会很高兴。
亚古兽超进化·2023-10-20 22:23

《动手学深度学习 Pytorch版》 9.6 编码器-解码器架构

为了处理这种长度可变的输入和输出，可以设计一个包含两个主要组件的编码器-解码器（encoder-decoder）架构：编码器（encoder）：它接受一个长度可变的序列作为输入，并将其转换为具有固定形状的编码状态。解码器（decoder）：它将固定形状的编码状态映射到长度可变的序列。9.6.1编码器编码器接口仅指定长度可变的序列作为编码器的输入X。代码实现需要由继承这个Encoder基类的模型完成
AncilunKiang·2023-10-20 16:08

React脚手架创建与内置文件介绍

怀着一股喜悦的心情，开始了React的自学之路，因为往往前端工程师接触的第一个开发框架往往不是React,我第一个接触的开发框架是Vue,使用Vue做了一些项目之后，相对比较了解项目的制作流程之后，我又跑到了
徐 丹·2023-10-20 12:40

《动手学深度学习 Pytorch版》 9.5 机器翻译与数据集

机器翻译（machinetranslation）指的是将序列从一种语言自动翻译成另一种语言，基于神经网络的方法通常被称为神经机器翻译（neuralmachinetranslation）。importosimporttorchfromd2limporttorchasd2l9.5.1下载和预处理数据集“Tab-delimitedBilingualSentencePairs”数据集是由双语句子对组成的“
AncilunKiang·2023-10-20 10:18

《动手学深度学习 Pytorch版》 9.4 双向循环神经网络

之前的序列学习中假设的目标是在给定观测的情况下对下一个输出进行建模，然而也存在需要后文预测前文的情况。9.4.1隐马尔可夫模型中的动态规划数学推导太复杂了，略。9.4.2双向模型双向循环神经网络（bidirectionalRNNs）添加了反向传递信息的隐藏层，以便更灵活地处理此类信息。9.4.2.1定义前向和反向隐状态的更新如下：H→t=ϕl(XtWxh(f)+H→t−1Whh(f)+bh(f))
AncilunKiang·2023-10-20 10:17

《动手学深度学习 Pytorch版》 9.3 深度循环神经网络

将多层循环神经网络堆叠在一起，通过对几个简单层的组合，产生一个灵活的机制。其中的数据可能与不同层的堆叠有关。9.3.1函数依赖关系将深度架构中的函数依赖关系形式化，第lll个隐藏层的隐状态表达式为：Ht(l)=ϕl(Ht(l−1)Wxh(l)+Ht−1(l)Whh(l)+bh(l))\boldsymbol{H}^{(l)}_t=\phi_l(\boldsymbol{H}^{(l-1)}_t\bol
AncilunKiang·2023-10-20 10:42

【动手学深度学习】模型选择(训练数据，验证数据，测试数据，过拟合，欠拟合)

模型选择(训练数据，验证数据，测试数据，过拟合，欠拟合)在使用深度学习解决问题时会用到三种不同的数据:训练数据、验证数据和测试数据训练数据:用来训练模型,让我们的模型能够拟合住我们的训练数据，这个样本通常会大一些验证数据:用来验证模型的准确率测试数据:一般只用一次，当验证数据的结果还不错时,就可以使用测试数据来看一下这个模型的好坏了为什么要有验证数据？例如:训练多层感知机模型时，我们可能希望比较具
xyy ss·2023-10-20 01:29

动手学深度学习——网络中的网络NIN

1、全连接层的问题卷积层需要较少的参数；但卷积层后的第一个全连接层的参数：LeNet16x5x5x120=48k；AlexNet256x5x5x4096=26M;VGG512x7x7x4096=102M;2、NIN块一个卷积层后跟两个全连接层，步幅1，无填充，输出形状跟卷积层输出一样，起到全连接层的作用。3、NIN结构无全连接层；交替使用NIN块和步幅为2的最大池化层，逐步减少高宽和增大通道数；最
橙子吖21·2023-10-19 18:59

深度学习——VGG与NiN网络

参考书：《动手学深度学习》一、使用块的网络（VGG）1.1.VGG块经典卷积
星石传说·2023-10-19 18:40

《动手学深度学习 Pytorch版》 9.2 长短期记忆网络（LSTM）

解决隐变量模型长期信息保存和短期输入缺失问题的最早方法之一是长短期存储器（longshort-termmemory，LSTM）。它与门控循环单元有许多一样的属性。长短期记忆网络的设计比门控循环单元稍微复杂一些，却比门控循环单元早诞生了近20年。9.2.1门控记忆元为了记录附加的信息，长短期记忆网络引入了与隐状态具有相同的形状的记忆元（memorycell），或简称为单元（cell）。为了控制记忆元
AncilunKiang·2023-10-19 17:06

《动手学深度学习》TensorFlow2.0版本

机器学习&深度学习入门精选&Python&Tensorflow&Pytorch对于刚入门深度学习的童鞋，这里分享下大神们开源的将《动手学深度学习》原书中MXNet代码实现改为TensorFlow2.0实现
Mr_不想起床·2023-10-19 17:35

《动手学深度学习 Pytorch版》 9.1 门控循环单元（GRU）

我们可能会遇到这样的情况：早期观测值对预测所有未来观测值具有非常重要的意义。考虑一个极端情况，其中第一个观测值包含一个校验和，目标是在序列的末尾辨别校验和是否正确。在这种情况下，第一个词元的影响至关重要。我们希望有某些机制能够在一个记忆元里存储重要的早期信息。如果没有这样的机制，我们将不得不给这个观测值指定一个非常大的梯度，因为它会影响所有后续的观测值。一些词元没有相关的观测值。例如，在对网页内容
AncilunKiang·2023-10-19 17:26

深度学习——深度卷积神经网络（AlexNet)

参考书：《动手学深度学习》一、学习表征在2012年前，图像特征都是机械地计算出来的。事实上，设计一套新的特征函数、改进
星石传说·2023-10-18 07:35

深度学习——含并行连接的网络（GoogLeNet）

参考书：《动手学深度学习》一、Inception块在GoogLeNet中，基本的卷积块被称为Inception块
星石传说·2023-10-18 07:35

深度学习——残差网络（ResNet）

本章主要学习残差网络参考书：《动手学深度学习》一、函数类首先，假设有一类特定的神经网络架构F
星石传说·2023-10-18 07:35

《动手学深度学习 Pytorch版》 8.7 通过时间反向传播

8.7.1循环神经网络的梯度分析本节主要探讨梯度相关问题，因此对模型及其表达式进行了简化，进行如下表示：ht=f(xt,ht−1,wh)ot=g(ht,wo)\begin{align}h_t&=f(x_t,h_{t-1},w_h)\\o_t&=g(h_t,w_o)\end{align}htot=f(xt,ht−1,wh)=g(ht,wo)参数字典：ttt表示时间步hth_tht表示时间步ttt的隐
AncilunKiang·2023-10-17 23:14

《动手学深度学习》(四) -- LeNet、AlexNet、VGG、NiN、GoogLeNet、ResNet、DenseNet 实现

上一小节学习了卷积神经网络的卷积层和池化层的实现，趁热打铁继续学习现代卷积神经网络的搭建，欢迎小伙伴们一起学习和交流~为了能够应⽤softmax回归和多层感知机，我们⾸先将每个⼤小为28×2828\times2828×28的图像展平为⼀个784维的固定⻓度的⼀维向量，然后⽤全连接层对其进⾏处理。而现在，我们已经掌握了卷积层的处理⽅法，可以在图像中保留空间结构。同时，⽤卷积层代替全连接层的另⼀个好处
长路漫漫2021·2023-10-17 23:38

SQLServer自学之路3 数据库的备份、还原、分离和附加

数据库备份:界面操作选择数据库->右键选择的数据库,点击任务然后点击备份->进入备份数据库页面,点击添加->进入选择备份目录,点击…->进入定位数据库文件页面,选择备份数据库文件的位置,输入文件名称,点击确认->返回选择备份目标页面点击确认->返回备份数据库页面删除原来不用的地址或选择新的地址,点击确认->备份完成数据库还原:界面操作按照自学教程第二章删除数据库后->右键选择数据库,点击还原数据库
葬歌倾城·2023-10-16 11:36

Windows下深度学习环境配置(CPU&GPU版本)【李沐-动手学深度学习】

文章目录1.安装入门了解2.创建虚拟环境3.记事本与d2l软件包的安装终端中找不到d2l怎么办4.跑个实例试试吧5.JupyterNoteboo运行自己的代码6.参考资料1.安装入门了解直接看李沐老师的安装视频对于小白来说很劝退，强烈建议看看下面的视频，对环境配置中的软件与配置、安装与验证讲的非常清晰,有助于了解各软件之间的关联关系。【最详细的Windows下PyTorch入门深度学习环境安装与配
YprgDay·2023-10-15 19:43

《动手学深度学习 Pytorch版》 8.4 循环神经网络

8.4.1无隐状态的神经网络对于无隐藏装态的神经网络来说，给定一个小批量样本X∈Rn×d\boldsymbol{X}\in\mathbb{R}^{n\timesd}X∈Rn×d，则隐藏层的输出H∈Rn×h\boldsymbol{H}\in\mathbb{R}^{n\timesh}H∈Rn×h通过下式计算：H=ϕ(XWxh+bh)\boldsymbol{H}=\phi(\boldsymbol{XW}
AncilunKiang·2023-10-15 08:31

《动手学深度学习 Pytorch版》 8.5 循环神经网络的从零开始实现

%matplotlibinlineimportmathimporttorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2lbatch_size,num_steps=32,35train_iter,vocab=d2l.load_data_time_machine(batch_size,num_steps)
AncilunKiang·2023-10-15 08:28

《动手学深度学习 Pytorch版》 8.6 循环神经网络的简洁实现

importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2lbatch_size,num_steps=32,35train_iter,vocab=d2l.load_data_time_machine(batch_size,num_steps)8.6.1定义模型num_hiddens=256rnn
AncilunKiang·2023-10-15 08:51

【动手学深度学习-Pytorch版】BERT预测系列——BERTModel

本小节主要实现了以下几部分内容：从一个句子中提取BERT输入序列以及相对的segments段落索引（因为BERT支持输入两个句子）BERT使用的是Transformer的Encoder部分，所以需要需要使用Encoder进行前向传播：输出的特征等于词嵌入+位置编码+Encoder块用于BERT预训练时预测的掩蔽语言模型任务中的掩蔽标记用于预训练任务的下一个句子的预测——在为预训练生成句子对时，有一
い☞殘風☜、™·2023-10-15 08:21
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他