我的单片机自学之路备忘前言说来话长，自己对单片机的学习一直以来都是很向往，但总是认为很难很难，总是望而止步。

1.线性回归简介此内容主要依据李沐老师的《动手学深度学习》课程，同时结合了网络上其它资料和自己的理解。

importtorchfromtorchimportnnfromd2limporttorchasd2l7.2.1VGG块AlexNet没有提供一个通用的模板来指导后续的研究人员设计新的网络，如今研究人员转向了块的角度思考问题。通过使用循环和子程序，可以很容易地在任何现代深度学习框架的代码中实现这些重复的架构。经典的卷积神经网络的基本组成部分如下：-带填充以保持分辨率的卷积层-非线性激活层-汇聚层V

【一】文本预处理此次将讨论文本数据的常见预处理步骤，旨在将文本信息从人类语言转换为机器可读格式以便于后续处理。文本是一类序列数据，一篇文章可以看作是字符或单词的序列，预处理通常包括四个基本步骤：读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型读入文本我们用一部英文小说，即H.G.Well的TimeMachine，作为示例，展示文本预处理

一.文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：1.读入文本2.分词3.建立字典，将每个词映射到一个唯一的索引（index）4.将文本从词的序列转换为索引的序列，方便输入模型1.读入文本importcollectionsimportredefread_time_machine():#open函数打开文本文件，创建文件

上一篇：【动手学深度学习V2】循环神经网络-1.序列模型文章目录2.文本预处理2.1读取数据集2.2词元化2.3词表2.4整合2.文本预处理序列数据的多种形式中，文本数据是最常见的一种，在英文文本中一篇文章或者一段句子可以看做一串单词序列

一、文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型其中建立字典需要经过的步骤为：去重，统计词频筛掉部分词添加一些特殊的token将token映射到唯一索引将索引映射到token二、语言模型一段自然语言文本可以看

1.证明一个矩阵的转置的转置是，即(⊤)⊤=(A⊤)⊤=A。#创建一个5*4的矩阵importtorchA=torch.arange(20).reshape(5,4)print(A.T.T==A)2.给出两个矩阵和，证明“它们转置的和”等于“它们和的转置”，即⊤+⊤=(+)⊤A⊤+B⊤=(A+B)⊤A=torch.arange(12).reshape(3,4)B=torch.arange(12,2

标量向量长度：二范数点积正交矩阵线性代数的本质：矩阵是一个扭曲的空间F范数：对称，反对称，正定，正交置换矩阵特征向量，特征值此处不被改变指方向，与大小无关。importtorchx=torch.tensor([3.0])x=torch.arange(4)len(x)#4x[3]#tensor(3)x.shape#torch.Size([4])A=torch.arange(20).reshape(5

第一天的作业耗费了12小时，因为如同看天书一般。但之后的学习，写作业，就好像打了鸡血一般，效率杠杠的。仔细想了原因，大概就是心里已经接受一件事，那就是遇到不会的问题时是正常的，不久的将来一定会熟练掌握的。于是，心理突破了，脑子和手并用，完成作业的速度就提上来了。再加上，我不再以借鉴代码为耻，目的就是为了学习，我再借鉴的基础上再加上自己的理解，现在已经能够写出代码的一大部分了。现在看看我写的东西，好

一、物体检测1、图片分类->目标检测（应用更多：无人车、无人售货）-图片里是有主体，识别感兴趣的物体2、边缘框的两种表示方法3、目标检测中常用的数据集是COCO4、总结：物体检测识别图片里的多个物体的类别和位置-位置通常用边缘框表示-有两种表示方法，一种是左上+右下坐标，一种是左上+宽和高二、边缘框实现三、数据集

转载自：http://blog.csdn.net/anlidengshiwei/article/details/42264301JAVA自学之路一:学会选择为了就业，不少同学参加各种各样的培训。

区别:总结前言因为本人是学生物的，并且深度学习的核心——人工神经网络与生物的神经系统息息相关，故想要在本章探讨一下生物的神经系统与机器的人工神经网络这两者之间的关系参考文献：从生物神经元到人工神经元《动手学深度学习

一、查漏补缺、熟能生巧：1.什么是转置卷积convTranspose、以及这种转置卷积怎么使用：（1）具体的原理直接看李沐老师的那个演示，非常清晰：47转置卷积【动手学深度学习v2】_哔哩哔哩_bilibili

7.1.1学习表征深度卷积神经网络的突破出现在2012年。突破可归因于以下两个关键因素：缺少的成分：数据数据集紧缺的情况在2010年前后兴起的大数据浪潮中得到改善。ImageNet挑战赛中，ImageNet数据集由斯坦福大学教授李飞飞小组的研究人员开发，利用谷歌图像搜索对分类图片进行预筛选，并利用亚马逊众包标注每张图片的类别。这种数据规模是前所未有的。缺少的成分：硬件2012年，AlexKrizh

6.3.1填充虽然我们用的卷积核较小，每次只会丢失几像素，但是如果应用多层连续的卷积层，累积的像素丢失就会很多。解决此问题的方法为填充。填充后的输出形状将为(nh−kh+ph+1)×(nw−kw+pw+1)(n_h-k_h+p_h+1)\times(n_w-k_w+p_w+1)(nh−kh+ph+1)×(nw−kw+pw+1)importtorchfromtorchimportnndefcomp_

第一步：根据操作系统下载并安装Miniconda1.下载Miniconda下载地址2.在安装过程中需要勾选“AddAnacondatothesystemPATHenvironmentvariable”选项3.检验win+R，输入cmd，在文本框输入conda--version第二步:下载包含本书全部代码的压缩包。1.点击该链接+点击jupyter记事本下载压缩包2.解压该压缩包3.在解压后的文件夹

importtorchfromtorchimportnnfromd2limporttorchasd2l6.2.1互相关计算X=torch.tensor([[0.0,1.0,2.0],[3.0,4.0,5.0],[6.0,7.0,8.0]])K=torch.tensor([[0.0,1.0],[2.0,3.0]])此处应为：012345678*0123=19253743即0×0+1×1+3×2+4×

importtorchfromtorchimportnnfromd2limporttorchasd2l6.6.1LeNetLetNet-5由两个部分组成：-卷积编码器：由两个卷积核组成。-全连接层稠密块：由三个全连接层组成。模型结构如下流程图（每个卷积块由一个卷积层、一个sigmoid激活函数和平均汇聚层组成）：全连接层(10)↑\uparrow↑全连接层(84)↑\uparrow↑全连接层(12

importtorchfromtorchimportnnfromd2limporttorchasd2l6.5.1最大汇聚和平均汇聚汇聚层和卷积层类似，区别在于汇聚层不带包含参数，汇聚操作是确定性的，通常计算汇聚窗口中所有元素的最大值或平均值，即最大汇聚和平均汇聚。defpool2d(X,pool_size,mode='max'):p_h,p_w=pool_size#和互相关运算差不多Y=torch

importtorchfromd2limporttorchasd2l6.4.1多输入通道简言之，多通道即为单通道之推广，各参数对上即可。defcorr2d_multi_in(X,K):#先遍历“X”和“K”的第0个维度（通道维度），再把它们加在一起returnsum(d2l.corr2d(x,k)forx,kinzip(X,K))X=torch.tensor([[[0.0,1.0,2.0],[3.

6.1.1不变性平移不变性（translationinvariance）：不管检测对象出现在图像中的哪个位置，神经网络的前面几层应该对相同的图像区域具有相似的反应，即为“平移不变性”。局部性（locality）：神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔较远区域的关系，这就是“局部性”原则。最终，可以聚合这些局部特征，以在整个图像级别进行预测。6.1.2多层感知机的限

读高中时，母亲患类风湿性关节炎，严重到走路困难，穿衣无法自理的程度，只能长期卧病在床。那时懵懂无知的我以为去大医院医治就可以康复。可是父亲的医生朋友说，这种病被称为不死的癌症，去大医院治疗可能会有所缓解，但要根治目前是不可能的，并且需要很大一笔钱。当时家里经济条件不好，还有一个妹妹，曾经有过退学打工的打算，和母亲说了之后，她不同意。于是劝母亲借钱去大医院治疗，等我工作了，我来还债。然而母亲选择了各

  李沐大神的《动手学深度学习》，是我入门机器学习的首课，因此在这里记录一下学习的过程。线性回归的从零开始实现  线性回归是理解机器学习的基础，它经常用来表示输入和输出之间的关系。  

5.6.1计算设备importtorchfromtorchimportnntorch.device('cpu'),torch.device('cuda:0')#cuda等价于cuda:0（只有一块显卡没法试别的块号）(device(type='cpu'),device(type='cuda',index=0))torch.cuda.device_count()#查询可用GPU数量1deftry_g

5.4.1不带参数的层importtorchimporttorch.nn.functionalasFfromtorchimportnnclassCenteredLayer(nn.Module):def__init__(self):super().__init__()defforward(self,X):returnX-X.mean()#仅作减去均值的操作layer=CenteredLayer()l

importtorchfromtorchimportnnfromd2limporttorchasd2l下面实例化的多层感知机的输入维度是未知的，因此框架尚未初始化任何参数，显示为“UninitializedParameter”。net=nn.Sequential(nn.LazyLinear(256),nn.ReLU(),nn.LazyLinear(10))net[0].weightc:\Softw

5.5.1加载和保存importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFx=torch.arange(4)torch.save(x,'x-file')#使用save保存x2=torch.load('x-file')#使用load读回内存x2tensor([0,1,2,3])y=torch.zeros(4)torch.save([x,

1、出现的问题：我们在学习李沐大神的《动手学深度学习》这本书的时候，复现书中的源代码，导入d2l这个绘图工具包的时候，图片不显示。

层：接收一组输入生成相应输出由一组可调整参数描述块：可以描述单个层、由多个层组成的组件或整个模型本身讨论“比单个层大”但是“比整个模型小”的组件“块”更有价值从编程的角度看，块由类表示块必须具有反向传播函数#以前章多层感知机的代码为例importtorchfromtorchimportnnfromtorch.nnimportfunctionalasF#functional中有一些没有参数的函数ne

importtorchfromtorchimportnnnet=nn.Sequential(nn.Linear(4,8),nn.ReLU(),nn.Linear(8,1))X=torch.rand(size=(2,4))net(X)tensor([[-0.3771],[-0.3822]],grad_fn=)5.2.1参数访问由Sequential类定义的模型可以通过索引访问其任意层，就像一个列表一

一、序列模型1、什么是序列数据?数据是有时序结构的，比如电影的评价随时间变化变化2、还有更多的序列数据3、在b发生的情况下，a也发生的概率4、反序：用未来的事情推测过去的事情，但有时在物理上是不可行的，因为时间上总是顺序发展的，但是RNN可以做到5、自回归模型，就是上个状态模型的输出当做下个状态模型的输入，进行迭代6、A:马尔科夫假设，当前数据只跟前面某几个数据点相关7、B:潜变量模型潜变量ht8

4.9.1分布偏移的类型整节理论，详见书本。4.9.2分布偏移示例整节理论，详见书本。4.9.3分布偏移纠正整节理论，详见书本。4.9.4学习问题的分类法整节理论，详见书本。4.9.5机器学习中的公平、责任和透明度整节理论，详见书本。练习（1）当我们改变搜索引擎的行为时会发生什么？用户可能会做什么？广告商呢？搜索结果发生变化。用户可能会由于搜索结果的改变搜索方式，广告商会改变投放位置。（2）实现一

4.10.1下载和缓存数据集importhashlibimportosimporttarfileimportzipfileimportrequests#@saveDATA_HUB=dict()DATA_URL='http://d2l-data.s3-accelerate.amazonaws.com/'defdownload(name,cache_dir=os.path.join('..','dat

4.8.1梯度消失和梯度爆炸整节理论，详见书本。梯度消失%matplotlibinlineimporttorchfromd2limporttorchasd2lx=torch.arange(-8.0,8.0,0.1,requires_grad=True)y=torch.sigmoid(x)y.backward(torch.ones_like(x))d2l.plot(x.detach().numpy(

4.7.1前向传播整节理论，详见书本。4.7.2前向传播计算图整节理论，详见书本。4.7.3反向传播整节理论，详见书本。4.7.4训练神经网络整节理论，详见书本。练习（1）假设一些标量函数XXX的输入XXX是n×mn\timesmn×m矩阵。fff相对于XXX的梯度的维数是多少？还是n×mn\timesmn×m，多少个变量就是多少个导数嘛。（2）向本节中描述的模型的隐藏层添加偏置项（不需要再正则化

文章目录机器翻译与数据集1.下载和预处理数据集2.词元化3.词表4.加载数据集5.训练模型机器翻译与数据集学习视频：机器翻译数据集【动手学深度学习v2】官方笔记：机器翻译与数据集机器翻译（machinetranslation

%matplotlibinlineimporttorchfromd2limporttorchasd2l4.1.1隐藏层整节理论，详见书本。以下展示常见的激活函数。ReLU函数ReLU(x)=max⁡(x,0)\mathrm{ReLU}(x)=\max(x,0)ReLU(x)=max(x,0)修正线性单元（rectifiedlinearunit，ReLU），通过将相应的激活值设为0，仅保留正元素丢弃

importtorchfromtorchimportnnfromd2limporttorchasd2l#经典数据集与batchsizebatch_size=256train_iter,test_iter=d2l.load_data_fashion_mnist(batch_size)4.2.1初始化模型为什么不直接使用Tensor而是用nn.Parameter函数将其转换为parameter呢？nn

4.4.1训练误差和泛化误差整节理论，详见书本。4.4.2模型选择整节理论，详见书本。4.4.3欠拟合还是过拟合整节理论，详见书本。4.4.4多项回归importmathimportnumpyasnpimporttorchfromtorchimportnnfromd2limporttorchasd2l使用以下三阶多项式生成训练数据和测试数据的标签：y=5+1.2x−3.4x22!+5.6x33!+

4.5.1范数与权重衰减整节理论，详见书本。4.5.2高维线性回归%matplotlibinlineimporttorchfromtorchimportnnfromd2limporttorchasd2l#生成一些数据，为了使过拟合效果更明显，将维数增加到200并使用一个只包含20个样本的小训练集。n_train,n_test,num_inputs,batch_size=20,100,200,5tr

importtorchfromtorchimportnnfromd2limporttorchasd2l模型net=nn.Sequential(nn.Flatten(),nn.Linear(784,256),nn.ReLU(),#与3.7节相比多了一层nn.Linear(256,10))definit_weights(m):iftype(m)==nn.Linear:#使用正态分布中的随机值初始化权重

importtorchfromtorchimportnnfromd2limporttorchasd2l4.6.1重新审视过拟合整节理论，详见书本。4.6.2扰动的稳健性整节理论，详见书本。4.6.3实践中的暂退法整节理论，详见书本。4.6.4从零开始实现defdropout_layer(X,dropout):assert0dropout).float()#从均匀分布U[0,1]中抽取与神经网络同维

文章目录网络中的网络（NiN）InceptionGoogLeNet总结：网络中的网络（NiN）NiN块使用卷积层加两个1x1卷积层后者对每个像素增加了非线性性NiN使用全局平均池化层来替代VGG和AlexNet中的全连接层不容易过拟合，更少的参数个数InceptionInception块由四条并行路径组成。前三条路径使用窗口大小为1x1、3x3和5x5的卷积层，从不同空间大小中提取信息。中间的两条

主要是搬运来的：动手学深度学习NLP-王树森1.心理学人类的注意力是有限的、有价值和稀缺的资源。而环境中的干扰注意力的信息却并不少。

复习：2021/11/10.前言  相比于李老师讲的，更习惯使用XW或者xW的写法。这样和API(nn.Linear)更具有对应关系。1.安装库pipinstalld2l2.注意力公式公式一Attention(Q,K,V)=softmax(QKTdk)VAttention(Q,K,V)=softmax(\frac{QK^T}{\sqrt{d_k}})VAttention(Q,K,V)=softma

文章目录AlexNetVGGAlexNetAlexNet新引入dropout、ReLU、maxpooling和数据增强。VGGVGG神经网络连接图7.2.1的几个VGG块（在vgg_block函数中定义）。其中有超参数变量conv_arch。该变量指定了每个VGG块里卷积层个数和输出通道数。全连接模块则与AlexNet中的相同。原始VGG网络有5个卷积块，其中前两个块各有一个卷积层，后三个块各包含

目标检测基础锚框目标检测算法通常会在输入图像中采样大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边缘从而更准确地预测目标的真实边界框（ground-truthboundingbox）。不同的模型使用的区域采样方法可能不同。这里我们介绍其中的一种方法：它以每个像素为中心生成多个大小和宽高比（aspectratio）不同的边界框。这些边界框被称为锚框（anchorbox）。生成多个

目录JAVA自学之路一:学会选择JAVA自学之路二:JAVA自学路线图JAVA自学之路三:要动手JAVA自学之路四:要事为先JAVA自学之路五:问题解决之道1：要仔细的观察错误的现象，是的，要仔细2：要仔细思考问题会出在哪些环节

刚入门前端是在一位学长的带领下开始的，花了两节课的时间教授了有关于html和css的基础知识，学会盒式模型的布局，当然每一节课都是有作业的，仿站是一个很好的学习机会，第一节课仿了百度和google的首页，第二节课仿了锤子官网。网上的学习站点w3school，菜鸟教程。之后开始在学长手下接一下小的切图外包，绿城教育首页，surf公司首页，另外自己也接了一个比赛的外包mato众筹，这个时候还停留在切图