PyTorch小笔记第6页

【优化器】(三) RMSProp原理 & pytorch代码解析

1.简介在上一篇文章里，我们介绍了AdaGrad，引入了二阶动量来调整不同参数的学习速率，同时它的缺点就是不断地累加二阶动量导致最终学习率会接近于0导致训练提前终止，RMSProp主要针对这个问题进行了优化。2.RMSPropAdaGrad的二阶动量计算公式为其中，为当前时刻的二阶动量，是某一时刻的梯度，表示迄今所有梯度的平方和。问题就在于这个求和上，不断地累加导致学习率为0。RMSProp在Ad

Lcm_Tech·2024-02-20 18:30

Pytorch-RMSprop算法解析

肆十二·2024-02-20 18:59

【深度学习】Pytorch 系列教程（三）：PyTorch数据结构：2、张量的数学运算（1）：向量运算（加减乘除、数乘、内积、外积、范数、广播机制）

文章目录一、前言二、实验环境三、PyTorch数据结构0、分类1、Tensor（张量）1.维度（Dimensions）2.数据类型（DataTypes）3.GPU加速（GPUAcceleration）2

QomolangmaH·2024-02-20 16:47

Pytorch学习记录-接近人类水平的GEC（使用混合机器翻译模型）

五月第二周要结束了，接下来的三个月主要是文献阅读，准备8、9月的开题报告，技术类的文献集中在GEC和Textmaching的应用方面，读完之后找demo复现，然后应用。理论方面的论文也都是英文的8.NearHuman-LevelPerformanceinGrammaticalErrorCorrectionwithHybridMachineTranslation昨天一天没看论文，发现我文献阅读速度太

我的昵称违规了·2024-02-20 16:04

Deep Learning with OpenCV DNN Module介绍

2.1支持的不同深度学习功能2.2支持的不同模型2.3支持的不同框架3.如何使用OpenCVDNN模块3.1使用从Keras和PyTorch等不同框架转换为ONNX格式的模型3.2使用OpenCVDNN

lida2003·2024-02-20 16:18

MIT-BEVFusion系列八--onnx导出1 综述及相机网络导出

目录综述export-camera.py加载模型加载数据生成需要导出成onnx的模块Backbone模块VTransform模块生成onnx使用pytorch原生的伪量化计算方法导出camera.backbone.onnx

端木的AI探索屋·2024-02-20 14:25

【踩坑系列记录】Anaconda环境将torch由cpu换成gpu

这段时间开始做深度学习的项目，于是用Anaconda给项目创建了一个环境，其他的环境配置很顺利，就是到了安装pytorch时，我用pytorch官网的代码一直下载的是cpu版本。

RoyZz_·2024-02-20 13:37

20181226觉察小笔记

图片发自App如果我们认真的去写日记，就会发现，今日的信息量，蛮大。我们是否有深入的品质。一段深入的关系？一件能做深入的事。而深入就意味着专注意味着临在。稳定，持续。#关系现在方才体会到一个细节，由此体会到，什么叫做去照顾别人的需求。这是一件要用心去细微体会的事。而我的心，大概粗大得像油条的孔还有，什么叫，“多去体会我们和我。”天可怜见，我们以为我们懂了，其实就是资讯，是理智上懂了，哦，你说的很有

显弹·2024-02-20 12:13

深度学习主流开源框架：Caffe、TensorFlow、Pytorch、Theano、Keras、MXNet、Chainer

深度学习主流开源框架表2.1深度学习主流框架参数对比框架关键词总结框架关键词基本数据结构（都是高维数组）Caffe“在工业中应用较为广泛”，“编译安装麻烦一点”BlobTensorFlow“安装简单pip”TensorPytorch

seasonsyy·2024-02-20 09:50

从代码的层面掌握LLM的路线

原则：从易到难，只用pytorch从第一个项目来熟悉transformer的使用；从第二个项目来掌握对训练数据的使用方法及transformer的decoder的细节；从第三个项目来理解LLM的整个过程

Eloudy·2024-02-20 08:41

pytorch tensor合并与分割

目录1.cat2.stack3.split4.chunk1.cattorch.cat(tensors,dim=0,*,out=None)→Tensor在指定维度上，连接给定tensor序列或empty，除连接的dimension外，所有得的ensor必须有相同的shape参数：tensors-具有相同类型的tensor序列，非emptytensor必须具有相同的shape，连接的dimension

wyw0000·2024-02-20 07:43

Pytorch 配置 GPU 环境

1、Pytorch深度学习跑代码的时候，因为简单的操作不适合cpu运行，我们更习惯用GPU加速代码。

听风吹等浪起·2024-02-20 07:38

PyTorch使用Tricks：Dropout，R-Dropout和Multi-Sample Dropout等！！

文章目录1、为什么使用Dropout？2、Dropout的拓展1：R-Dropout3、Dropout的拓展2：Multi-SampleDropout4、Dropout的拓展3：DropConnect5、Dropout的拓展4：Standout6、Dropout的拓展5：GaussianDropout1、为什么使用Dropout？Dropout是一种在神经网络训练过程中用于防止过拟合的技术。在训练

JOYCE_Leo16·2024-02-20 07:04

【PyTorch][chapter 16][李宏毅深度学习][Neighbor Embedding][t-SNE]

前言：前面LLE讲了两个点在高维空间距离相近，通过降维后也要保持这种关系但是如果两个点在高维空间距离很远（不属于K邻近）,降维后有可能叠加在一起了.t-SNE(t-DistributedStochasticNeighborEmbedding)是一种降维技术，LLE在进行降维时，都强调了降维后的相似的数据要尽可能地保持相似，但并没有说对于那些不相似的数据，要有多不相似这个问题.这就导致了在进行降维时

明朝百晓生·2024-02-20 07:33

Pytorch关于CIFAR-10测试

下载CIFAR-10数据集：官网：https://www.cs.toronto.edu/~kriz/cifar.htmlCIFAR-10的网络结构：importtorchfromtorchimportnnfromtorch.nnimportConv2d,MaxPool2d,Flatten,Linear,Sequential#定义网络结构classModel(nn.Module):def__init

月疯·2024-02-20 07:03

深度学习(16)--基于经典网络架构resnet训练图像分类模型

引入所需的工具包2.2.数据读取和预处理2.3.加载resnet152模型2.4.初始化模型2.5.设置需要更新的参数2.6.训练模块设置2.7.再次训练所有层2.8.测试网络效果三.完整代码一.项目介绍使用PyTorch

GodFishhh·2024-02-20 07:31

Pytorch的常用模块和用途说明

肆十二·2024-02-20 07:30

Pytorch-Adam算法解析

肆十二·2024-02-20 07:30

Pytorch backward报错2次访问计算图需要 retain_graph=True 的一种情况

错误代码错误的原因在于y1=0.5*x*2-1.2*xy2=x**3没有放到循环里面，没有随着x的优化而相应变化。importtorchimportnumpyasnpimporttorch.optimasoptimtorch.autograd.set_detect_anomaly(True)device=torch.device('cuda'iftorch.cuda.is_available()e

培之·2024-02-20 06:55

将pytorch中变量的梯度为 nan 的替换成 1 还是 0？

替换成0，则变量保持不动0:xtensor([1.0000,2.0000,3.0000,4.5000],device='cuda:0',requires_grad=True)0:xtensor([1.0000,2.0000,3.0000,4.5000],device='cuda:0',requires_grad=True)替换成1，变量会变化0:xtensor([1.0000,2.0000,3.0

培之·2024-02-20 06:25

torch_geometric和torch的版本匹配问题

https://pytorch-geometric.com/whl/torch-1.7.0+cu101.html测试过几类网站，只有这个是正常安装的torch版本需要跟torch_geometric版本配套

Sinsinw·2024-02-20 06:31

机器学习入门--LSTM原理与实践

本文将介绍LSTM模型的数学原理、代码实现和实验结果，并使用pytorch和sklearn的数据集进行验证。

Dr.Cup·2024-02-20 05:14

机器学习入门--循环神经网络原理与实践

本文将介绍RNN的基本数学原理、使用PyTorch和Scikit-Learn数据集实现的代码。数学原理RNN是一种带有循环结构的神经网络，其在处理序列数据时将前一次的输出作为当前输入的一部分。

Dr.Cup·2024-02-20 05:44

机器学习入门--门控循环单元(GRU)原理与实践

本文将介绍GRU的数学原理、代码实现，并通过pytorch和sklearn的数据集进行试验，最后对该模型进行总结。数学原理GRU是一种

Dr.Cup·2024-02-20 05:43

【AIGC】Stable Diffusion安装包

您可以从Python官方网站下载并安装Python：https://www.python.org/downloads/安装PyTorch：StableDiffusion使用PyT

AIGCExplore·2024-02-20 02:27

深度学习之pytorch实现逻辑斯蒂回归

深度学习之pytorch实现逻辑斯蒂回归解决的问题数学公式logiatic函数损失值代码与线性回归代码的区别数据损失值构造回归的函数结果分析解决的问题logistic适用于分类问题，这里案例(y为0和1

温柔了岁月.c·2024-02-20 01:58

深度学习之反向传播算法

反向传播算法数学公式算法代码结果算法中一些函数的区别数学公式算法代码这里用反向传播算法，计算y=w*x模型importnumpyasnpimportmatplotlib.pyplotasply#反向传播算法，需要使用pytorch

温柔了岁月.c·2024-02-20 01:55

PyTorch-线性回归

已经进入大模微调的时代，但是学习pytorch，对后续学习rasa框架有一定帮助吧。

一个高效工作的家伙·2024-02-20 00:46

PyTorch – 逻辑回归

data首先导入torch里面专门做图形处理的一个库，torchvision，根据官方安装指南，你在安装pytorch的时候torchvision也会安装。

一个高效工作的家伙·2024-02-20 00:46

pytorch神经网络入门代码

importtorchimporttorch.nnasnnimporttorch.optimasoptimimporttorchvisionimporttorchvision.transformsastransforms#定义神经网络结构classSimpleNN(nn.Module):def__init__(self,input_size,hidden_size,num_classes):sup

hehui0921·2024-02-20 00:15

快速搭建PyTorch环境：Miniconda一步到位

快速搭建PyTorch环境：Miniconda一步到位文章目录一、为何选择Miniconda搭建PyTorch环境？

高斯小哥·2024-02-20 00:13

Python学习Pytorch

一、如何查看本机是否安装了Pytorch在Python环境中查看是否安装了PyTorch可以通过几个简单的步骤来完成。

xdpcxq1029·2024-02-19 22:41

pytorch创建模型方式

1.继承自nn.Module的方式fromtorchimportnnimporttorch.nn.functionalasF'''继承自nn.Module'''classLModel(nn.Module):def__init__(self):super().__init__()self.L1=nn.Linear(10,10)self.L2=nn.Linear(10,64)self.L3=nn.Li

守护安静星空·2024-02-19 21:43

记录 | pytorch计算ap的方法

假设当前经过标签数据与预测数据的加载，我们得到了下面两个变量：det_boxes：包含全部图像中所有类别的预测框，其中一个边框包含了[left,top,right,bottom,score,NameofImage]gt_boxes：包含了全部图像中所有类别的标签，其中一个标签的内容为[left,top,right,bottom,0]。需要注意的是，最后一位0代表该标签有没有被匹配过，如果匹配过则会

极智视界·2024-02-19 21:09

NLP_自然语言处理项目(2)：seq2seq_attention_机器翻译（基于PyTorch）

1、seq2seq_attention_机器翻译seq2seq_attention是一种基于神经网络的机器翻译模型，它通过编码器和解码器两个部分实现翻译功能。编码器将源语言句子转换为一个固定长度的向量表示，解码器则将这个向量作为输入，生成目标语言句子的翻译结果。在seq2seq_attention中，编码器和解码器都是由循环神经网络（RNN）组成的。编码器将源语言句子中的每个单词依次输入RNN，每

@硬train一发·2024-02-19 18:56

【手把手教你】训练YOLOv8分割模型

1.下载文件在github上下载YOLOV8模型的文件，搜索yolov8，star最多这个就是2.准备环境环境要求python>=3.8，PyTorch>=1.8，自行安装ptyorch环境即可2.制作数据集制作数据集

是啊洋呀·2024-02-19 16:47

深度学习框架pytorch_PyTorch：深度学习框架的黑马（第1部分）

深度学习框架pytorchRecentlytheCES2020concludedinVegasandforthosewhoaren’taware,CESistheannualtradeshowforconsumerelectronicsaroundtheworld.Assuch

weixin_26737625·2024-02-19 16:39

基于PyTorch的深度学习模型中的张量（Tensor）尺寸变换操作

基于PyTorch的深度学习模型中的张量（Tensor）尺寸变换操作DateAuthorVersionNote2023.08.16DogTaoV1.0完成文档初稿（英文）2023.09.09DogTaoV1.1

全能骑士涛锅锅·2024-02-19 16:38

精通PyTorch：如何选择合适的优化器和损失函数

精通PyTorch：如何选择合适的优化器和损失函数引言PyTorch优化器概览PyTorch损失函数解析高级优化技巧优化器和损失函数的实战应用1.卷积神经网络（CNN）的应用实例2.循环神经网络（RNN

walkskyer·2024-02-19 16:38

PyTorch基本介绍

基本介绍PyTorch是一个基于Python的机器学习框架，由Facebook于2016年发布。它提供了一组灵活且高效的工具，可用于构建和训练各种深度学习模型。

Rain松·2024-02-19 16:02

【深度学习】Pytorch 系列教程（二）：PyTorch数据结构：1、Tensor（张量）： GPU加速（GPU Acceleration）

文章目录一、前言二、实验环境三、PyTorch数据结构0、分类1、Tensor（张量）1.维度（Dimensions）2.数据类型（DataTypes）3.GPU加速（GPUAcceleration）查看可用

QomolangmaH·2024-02-19 16:28

VScode远程连接服务器搭建深度学习环境-利用anaconda安装pytorch

本地VScode安装+ssh远程连接+服务器账号内的anaconda+conda命令搭建pytorch环境这里写目录标题本地安装VScode并建立ssh远程连接服务器账号内安装anaconda并搭建pytorch

不懂就问的风橘子·2024-02-19 15:06

从零实现softmax回归【基于Pytorch】

参考资料：沐神——动手学深度学习importtorchimporttorchvisionfrommatplotlibimportpyplotaspltfromtorch.utilsimportdatafromtorchvisionimporttransformsfromd2limporttorchasd2lfromIPythonimportdisplaydefget_dataloader_work

卡仕达酱·2024-02-19 15:52

机器学习第二十五周周报 ConvLSTM

3.2ConvolutionalLSTM3.3编码-预测结构4.文献解读4.1Introduction4.2创新点4.3实验过程4.3.1Moving-MNISTDataset4.3.2雷达回波数据集4.4结论三、基于pytorch

沽漓酒江·2024-02-19 15:51

深度学习之pytorch实现线性回归

度学习之pytorch实现线性回归pytorch用到的函数torch.nn.Linearn()函数torch.nn.MSELoss()函数torch.optim.SGD()代码实现结果分析pytorch

温柔了岁月.c·2024-02-19 15:48

OlMo--doc文件阅读

这边暂时不太阐述剩下的就是虚拟环境——运行环境配置跟着文件中一步步来就好condacreate-y-nLLMpython=3.10ipythoncondaactivateLLMcondainstall-ypytorchtorchvisiontorchaudiopytorch-cuda

瓶子好亮·2024-02-19 15:47

pytorch与xformers版本关系对应

pytorch与xformers版本关系对应xformers0.0.22对应pytorch2.0.10.0.23对应2.1.1其他的可以从github里xformers发布的版本中写的pytorch版本推断

瓶子好亮·2024-02-19 15:17

NotImplementedError: Cannot copy out of meta tensor； no data!

然后在pytorch上有人问了在tensor转移时遇到的问题发现和我遇到的问题报错很相似tensor转移方法主要还

瓶子好亮·2024-02-19 15:16

PyTorch使用Tricks：学习率衰减！！

文章目录前言1、指数衰减2、固定步长衰减3、多步长衰减4、余弦退火衰减5、自适应学习率衰减6、自定义函数实现学习率调整：不同层不同的学习率前言在训练神经网络时，如果学习率过大，优化算法可能会在最优解附近震荡而无法收敛；如果学习率过小，优化算法的收敛速度可能会非常慢。因此，一种常见的策略是在训练初期使用较大的学习率来快速接近最优解，然后逐渐减小学习率，使得优化算法可以更精细地调整模型参数，从而找到更

JOYCE_Leo16·2024-02-19 15:15

pytorch chunk的使用举例

在PyTorch中，`chunk`是一个用于将张量（tensor）按指定维度进行切片的函数。它可以将一个张量切分成多个块。

andeyeluguo·2024-02-19 14:12

推荐频道

PyTorch小笔记