参考资料：李沐《动手学深度学习-Pytorch版》ch3线性神经网络开源地址：动手学深度学习链接至上一节：3.4softmax回归此篇仅仅学习记录，更详细的内容可参考开源的书和代码以及b站上李沐老师的视频动手学深度学习在线课程

学习环境配置1、安装Miniconda1.1下载miniconda31.2环境变量配置1.3安装成功测试1.4配置文件1.5使用conda创建、使用、删除环境1.6conda常用命令2、使用miniconda安装d2l2.1下载d2l安装包2.2安装d2l1、安装Miniconda参考：https://www.jb51.net/article/275192.htmhttps://blog.csdn

本地笔记地址：D:\work_file\DeepLearning_Learning\03_个人笔记\3.循环神经网络\序列模型aaaaaaaaaaaaaaaaaa8.1.序列模型—动手学深度学习2.0.0documentation

以这篇未开始我将进行stm32学习整理为期一个月左右完成stm32知识学习整理内容顺序没有一定之规写到哪想到哪想到哪写到哪，主要是扫除自己知识上的盲区完成一些基本外设操作。

维果茨基的心理发展观在发展心理学史上，维果茨基的思想独树一帜，不仅被苏俄，而且被西方心理学界所推崇。1992年11月，在莫斯科召开了维果茨基心理学思想的国际讨论会。维果茨基是苏联心理学家，主要研究儿童心理和教育心理，着重探讨思维与言语、教学与发展的关系问题。他和鲁利亚、列昂节夫一道从20世纪20年代开始研究人的高级心理机能的社会历史发生问题。后来形成了心理发展的社会文化一历史理论和社会文化一历史学

后来开始学习整理，有一天我就想，要不要给自己的

python类和对象python类和对象参数管理参数访问卷积python类和对象参数管理生成一个二维张量，然后传入有但隐藏层的多层感知机参数访问net[0]nn.Linear(4,8)net[1]nn.ReLU()net[2]nn.Linear(8,1)net[2].state_dict()访问最后一层的参数即权重和偏置内部表示修改默认的初始函数，normal_zeros_()m.weight.d

权重衰减是最广泛使用的正则化的技术之一今天学的很头疼，好多都是公式12权重衰退（解决过拟合）13丢弃法（解决过拟合）14数值稳定（梯度爆炸和梯度消失问题）15竞赛题讲解层和块多层感知机

梯度下降是在机器学习中用于寻找最佳结果（即曲线最小值）的一种迭代优化算法。最小化loss，只需要将参数沿着梯度相反的方向前进一个步长，就可以实现目标函数（lossfunction）的下降。这个步长η\etaη又称为学习速率。

LeNet（LeNet-5）由两个部分组成：卷积编码器和全连接层密集块卷积把高宽不断变小，把通道数逐渐增多，（最后高宽会变成，通道会变得很大，然后做全连接进行输出）通道信息可以看成是空间的模式，抽出来压缩的信息放到不同的通道里面，所有模式拿出来，通过多层感知机输出

最近一直在学习各种锁的相关知识，这篇文章作为个人的学习整理，有优秀博客，也有学习视频也有参考书籍，记录，好记性不如烂笔头，加油我也可以很厉害的。遇到锁的东西会不断更新在此。。。

速通《动手学深度学习》2写在最前面二、预备知识2.1数据操作2.2.1入门2.1.2运算符2.1.3.广播机制2.1.4.索引和切片(和python一样，可跳过)2.1.5.节省内存（可跳）2.1.6.

速通《动手学深度学习》4.1写在最前面3.线性神经网络3.74.多层感知器4.1.1隐藏层4.1.1.2在网络中加入隐藏层4.1.1.3从线性到非线性（激活函数）4.1.2.激活函数4.1.2.1.ReLU

速通《动手学深度学习》1写在最前面0.内容与结构1.深度学习简介1.1问题引入1.2思路：逆向思考1.3跳过1.4特点1.5小结2.预备知识（MXNet版本，学错了。。。。）

今天开始，会学习整理测试相关的一些方法、技术。作为一名开发人员，只有真的懂测试，懂测试手段和策略，才能写出高质量的代码。说到底，我就是想写出更高质量的代码。如何做好单元测试？

说明：由于之前已在电脑中安装好Anaconda3和CUDA以及CUDNN，这里不再记录这一部分，如有需要可以参考其他博主的博客：Win10安装anaconda和cuda+cudnn详细教程。平台：Windows10，GTX1060显卡。首先找到AnacondaPrompt，右键以管理员方式运行一、创建并激活虚拟环境创建conda虚拟环境：（为了提高速度，这里使用了清华源。当然也可以用别的换源方法，

课程链接：课程安排-动手学深度学习课程(d2l.ai)介绍AI地图：我们以前写的非AI类程序基本都是人自己去想会遇到什么样的问题,让程序做怎样的逻辑处理来解决.那么，如果我们期望机器自己总结以往的经验来对我们没有考虑到过的未知情况做操作

个人成长培养计划：1、做成长规划，可以更聚焦想起最初的学习整理，到形成职业到持续学习和实践，我反复问自己做整理最开始的初心是什么？做什么的时候让我最快乐？最有意义？

文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。

官方文档：https://www.shinyproxy.io/downloads/3.0.2版本之后默认shinyproxy-3.0.2-exec.jar启动，其它jar包没生成mainclass。默认情况下在与jar包同级目录可新建application.yml，否则默认使用classes下的application-demo.yml在服务器上可将服务打包成服务启动。[Unit]Descripti

学习整理fabric.js自定义选择控制框样式和增加控制图标选择控制框简介控制线控制点注意自定义控制线样式与框选对象间的内边距修改控制线颜色自定义控制点样式自定义控制点贴图添加自定义控制点所有代码效果图

学习整理fabric.js更换画布文字元素字体样式原图效果图实现代码index.htmlscript.js生成本地图原图效果图实现代码index.htmlFabric.js下拉选择文字更换字体div#container

原图代码index.htmlFabric.js添加文字、删除文字div#container{padding:30px;font-family:'verdana',lucida;}input{background-color:#ccc;padding:0;width:300px;color:#777;}a{color:#777;display:block;background-color:#ccc;

学习整理fabric.js实现自定义右击菜单键右击键原图效果图index.htmlscript.js右击键经别人仔细观察，发现mouse:down事件里有个button属性：左键：button的值为1右键

原图代码index.htmlFabric.js文字、图片翻转、克隆、显示、隐藏功能div#container{padding:30px;font-family:'verdana',lucida;}input{background-color:#ccc;padding:0;width:300px;color:#777;}a{color:#777;display:block;background-co

MySQL数据库的完美卸载：第一步：双击安装包(mysql-8.0.15-winx64.msi)进行卸载删除。第二步：删除目录：把C:\ProgramData下面的MySQL目录干掉。把C:\ProgramFiles(x86)下面的MySQL目录干掉。这样就卸载结束了。MySQL服务：计算机–>右键–>管理–>服务和应用程序–>服务–>找mysql服务。使用命令来启动和关闭mysql服务：nets

文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。

自注意力同时具有并行计算和最短的最大路径长度这两个优势。Transformer模型完全基于注意力机制，没有任何卷积层或循环神经网络层。尽管Transformer最初是应用于在文本数据上的序列到序列学习，但现在已经推广到各种现代的深度学习中，例如语言、视觉、语音和强化学习领域。10.7.1模型Transformer作为编码器－解码器架构的一个实例，其编码器和解码器是基于自注意力的模块叠加而成的，源（

多头注意力（multiheadattention）:用独立学习得到的h组不同的线性投影（linearprojections）来变换查询、键和值，然后并行地送到注意力汇聚中。最后，将这h个注意力汇聚的输出拼接在一起，并且通过另一个可以学习的线性投影进行变换，以产生最终输出。对于h个注意力汇聚输出，每一个注意力汇聚都被称作一个头（head）。10.5.1模型用数学语言描述多头注意力：hi=f(Wi(q

rhce题学习整理1、安装和配置Ansible在控制节点control上安装和配置Ansible：•安装所需的软件包•创建名为/home/student/ansible/inventory的静态清单文件

在注意力机制中，每个查询都会关注所有的键－值对并生成一个注意力输出。由于查询、键和值来自同一组输入，因此被称为自注意力（self-attention），也被称为内部注意力（intra-attention）。本节将使用自注意力进行序列编码，以及使用序列的顺序作为补充信息。importmathimporttorchfromtorchimportnnfromd2limporttorchasd2l10.6

批量规范化1.训练深层网络2.批量规范化层2.1全连接层2.2卷积层3.从零实现批量规范化层4.使用批量规范化层的LeNet批量规范化（batchnormalization），可持续加速深层网络的收敛速度。1.训练深层网络数据预处理的方式通常会对最终结果产生巨大影响。对于典型的多层感知机或卷积神经网络。训练时，中间层中的变量（例如，多层感知机中的仿射变换输出）可能具有更广的变化范围。更深层的网络很

课程主页：https://courses.d2l.ai/zh-v2教材：https://zh-v2.d2l.ai/课程论坛讨论：https://discuss.d2l.ai/c/16Pytorch论坛：https://discuss.pytorch.org/

整理达人阿杰在这里先简单介绍一下阿杰杰骜不驯（下面称呼他阿杰），坐标天津，是一名售后工程师。2018年，我们同在剽悍读书营。终极主题营，他拿到行动之王的荣誉。2019年，他在牛人进化营连队积分榜第三名。他是知识整理达人，“杰阅成长联盟”读书社群创始人。依稀记得有一期读书会白雪老师和明远还有阿杰共同完成的，没记错当时课堂内容就是阿杰老师同步整理的，当时就给我留下了很深刻印象。7月26日晚上阿杰老师的

10.4.1模型Bahdanau等人提出了一个没有严格单向对齐限制的可微注意力模型。在预测词元时，如果不是所有输入词元都相关，模型将仅对齐（或参与）输入序列中与当前预测相关的部分。这是通过将上下文变量视为注意力集中的输出来实现的。新的基于注意力的模型与9.7节中的模型相同，只不过9.7节中的上下文变量c\boldsymbol{c}c在任何解码时间步t′\boldsymbol{t'}t′都会被ct′

上一节使用的高斯核的指数部分可以视为注意力评分函数（attentionscoringfunction），简称评分函数（scoringfunction）。后续把评分函数的输出结果输入到softmax函数中进行运算。最后，注意力汇聚的输出就是基于这些注意力权重的值的加权和。该过程可描述为下图：用数学语言描述为：f(q,(k1,v1),…,(km,vm))=∑i=1mα(q,ki)vi∈Rvf(\bol

准备学习整理一下OAuth2.0的概念。1.概念目前最流行的授权机制，主要用来授权第三方应用，获取用户数据。

目录1.Inception块3.GoogLeNet模型3.训练模型GoogLeNet吸收了NiN中串联网络的思想，并在此基础上做了改进，并且在2014年的ImageNet图像识别挑战赛中获得了不错的效果。1.Inception块GoogLeNet论文解决了多大的卷积核最合适的问题。Inception块可以说是“集百家之长”，它由四条并行路径组成，不同的路径提取不同的信息在通道合并层进行合并。Inc

LeNet、AlexNet和VGG都有一个共同的设计模式：通过一系列的卷积层与汇聚层来提取空间结构特征；然后通过全连接层对特征的表征进行处理。如果在过程的早期使用全连接层，可能会完全放弃表征的空间结构。而NiN（网络中的网络）提供了一个非常简单的解决方案：在每个像素的通道上分别使用多层感知机。1.NiN块卷积层的输入和输出由四维张量组成（样本，通道，高度，宽度）全连接层的输入和输出通常是二维张量（

如果有RxSwift的学习经验那么理解combine会更加迅速通过对事件处理的操作进行组合(combine)，来对异步事件进行自定义处理(这也正是Combine框架的名字的由来)。Combine提供了一组声明式的SwiftAPI，来处理随时间变化的值。这些值可以代表用户界面的事件，网络的响应，计划好的事件，或者很多其他类型的异步数据。在响应式异步编程中，一个事件及其对应的数据被发布出来，最后被订阅

10.1.1生物学中的注意力提示“美国心理学之父”威廉·詹姆斯提出的双组件（two-component）框架：非自主性提示：基于环境中物体的突出性和易见性自主性提示：受到了认知和意识的控制10.1.2查询、键和值注意力机制与全连接层或汇聚层区别开来的元素：是否包含自主性提示在注意力机制的背景下：自主性提示被称为查询（query）。给定任何查询，注意力机制通过注意力汇聚（attentionpooli

importtorchfromtorchimportnnfromd2limporttorchasd2l1964年提出的Nadaraya-Watson核回归模型是一个简单但完整的例子，可以用于演示具有注意力机制的机器学习。10.2.1生成数据集根据下面的非线性函数生成一个人工数据集，其中噪声项ϵ\epsilonϵ服从均值为0，标准差为0.5的正态分布：yi=2sin⁡xi+xi0.8+ϵ\bolds

defsgd(params,lr,batch_size):#@save"""小批量随机梯度下降"""withtorch.no_grad():#被该语句wra起来的部分将不会跟踪梯度forparaminparams:param-=lr*param.grad/batch_sizeparam.grad.zero_()这个问题我看到论坛也有人在问，但是大神回答说自己跑一遍代码就会了，我想这个东西只可意会，

文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。

文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。

文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。

目录1.WSL2安装Ubuntu系统1.1打开启用或关闭Windows功能1.2下载ubuntu1.3更新内核2.深度学习环境搭建2.1安装miniconda2.1.1创建虚拟环境2.1.2激活环境2.2安装英伟达驱动2.3安装pytorch测试是否安装成功2.4安装cuda配置环境变量2.5安装cudnn3.安装d2l软件包1.WSL2安装Ubuntu系统1.1打开启用或关闭Windows功能将

在上次对MPEG-2的学习整理中，有一个疑惑，双声道理解，就是左右立体声，但是5.1声道是什么？我们经常看到杜比5.1声道的说法。“0.1”声道具体指什么？

本节将介绍几大：贪心搜索（greedysearch）策略穷举搜索（exhaustivesearch）束搜索（beamsearch）9.8.1贪心搜索贪心搜索已用于上一节的序列预测。对于输出序列的每一时间步t′t't′，都从Y\boldsymbol{Y}Y中找到具有最高条件概率的词元，即：yt′=arg⁡max⁡y∈YP(y∣y1,…,yt−1,c)y_{t'}=\mathop{\arg\max}\

循环神经网络编码器使用长度可变的序列作为输入，将其编码到循环神经网络编码器固定形状的隐状态中。为了连续生成输出序列的词元，独立的循环神经网络解码器是基于输入序列的编码信息和输出序列已经看见的或者生成的词元来预测下一个词元。要点：“”表示序列结束词元，一旦输出序列生成此词元，模型就会停止预测。“”表示序列开始词元，它是解码器的输入序列的第一个词元。使用循环神经网络编码器最终的隐状态来初始化解码器的隐