PyTorch学习笔记

pytorch学习笔记 | Focal loss的原理与pytorch实现

Focal原理简述Focalloss是一个针对单阶段物体检测任务中正负样本不均衡而提出来的损失函数，论文地址来自arxiv数学定义先放focalloss（FL）和crossentropy（CE）两个函数的数学定义。其中p为概率，而y为0或1的标签。可以看到focalloss的设计很简单明了，就是在标准交叉熵损失函数的引入一个因子(1−pt)λ(1-p_t)^\lambda(1−pt)λ，λ=0\l
qyhyzard·2019-05-17 20:43

Datawhale——Pytorch基础(三)

PyTorch类实现Logisticregression,torch.nn.module写网络结构参考资料新手必备|史上最全的PyTorch学习资源汇总快速上手笔记，PyTorch模型训练实用教程（附代码）PyTorch
黑桃5200·2019-05-16 14:25

Datawhale——Pytorch基础(二)

实现梯度下降法设定初始值求取梯度在梯度方向上进行参数的更新numpy和pytorch实现线性回归pytorch实现一个简单的神经网络参考资料新手必备|史上最全的PyTorch学习资源汇总快速上手笔记，PyTorch模型训练实用教程（附代码）PyTorch
黑桃5200·2019-05-14 11:29

Pytorch学习笔记（I）——预训练模型（二）：修改网络结构（ResNet50及以上）

（pytorch1.0）最近在研究pytorch如何修改与训练模型的网络结构，然后发现了两种版本，一种是细调版，一种是快速版经过一番钻研后发现细调版适合对网络模型进行大幅度的改动（如在原有的结构上穿插着增减层），而快速版适合直接对网络末端的层进行增减。虽然快速版简单易懂，但是还是要对细调版有所了解才能比较，万一以后用的上呢。因此，我就好好研究了一番细调版，结果发现网上的代码或者博客基本都是相互搬运
lockonlxf·2019-05-13 19:11

Pytorch学习笔记（I）——预训练模型（一）：加载与使用

为完成自己的科研任务，当前我需要基于VGG16做fine-tuning。于是写下这一节笔记。我使用的是torch1.0，因此本博客主要基于这篇博客——pytorchfinetuning自己的图片进行行训练做调整目录一、加载预训练模型二、设置网络参数三、固定权值参数四、训练模型1、加载图片2、训练五、测试一、加载预训练模型importtorchimporttorchvision#preparemod
lockonlxf·2019-05-11 09:47

莫烦pytorch学习笔记3

莫烦pytorch学习笔记31.批次训练2.优化器1.批次训练我们之前的代码中都是将所有的数据一起feed到神经网络中进行训练，但是当数据量比较大的时候，效率就会下下降，这个时候就需要批训练，分批把数据
dayday学习·2019-05-08 15:14

pytorch学习笔记

关于python中带下划线的变量和函数Conv2d、Conv3d区别pytorch官方文档说明：Conv2d一般是二维平面图像处理。默认处理的输入输出的shape是四维：batchsize、通道数（RGB-3通道或者灰度-1通道）、图像高度、图像宽度。用法是：nn.Conv2d(1,64,3)#1表示输入的通道数，64表示输出的通道数，3表示卷积核为3x3Conv3d一般是处理在空间上有关联的一系
许希律·2019-05-07 18:17

莫烦pytorch学习笔记1

莫烦pytorch学习笔记0.介绍1.下载pyTorch2.常用函数2.1numpy和torch的区别2.2tensor和Variable2.3激励函数2.4一个回归模型例子0.介绍PyTorch是Torch7
dayday学习·2019-05-07 17:59

【PyTorch学习笔记】19：Batch Normalization

归一化(Normalization)简述现在常使用ReLU函数，避免梯度弥散的问题，但是有些场合使用Sigmoid这样的函数效果更好（或者是必须使用），如Sigmoid函数当函数值较大或者较小时，其导数都接近0，这会引起梯度弥散，所以要将输入控制在一个较好的范围内，这样才避免了这种问题。BatchNormalization就是为了解决这个需求的，当将输出送入Sigmoid这样的激活函数之前，进行一
刘知昊·2019-04-30 12:53

【PyTorch学习笔记】18：pooling,up-sample,ReLU

pooling池化是下采样（down-sample）的一种手段，让featuremap减小；而up-sample则是上采样，实际上做了放大图像的操作。在CNN中，基本的单元是一个Conv2d，后面配上[BatchNorm,pooling,ReLU]，后面三个的顺序不一定。pooling图像的down-sample在图像中要缩小图像的尺寸，常用的是隔行采样的方式，例如纵向每隔一行，横向每隔一列采样一
刘知昊·2019-04-29 10:26

PyTorch学习笔记(二)：Tensor操作

什么是TensorTensor，又名张量，最早接触这个词是来自于TensorFlow，这个概念也被广泛的应用于不同的深度学习框架。如果一个物理量，在物体的某个位置上只是一个单值，那么就是普通的标量，比如密度。如果它在同一个位置、从不同的方向上看，有不同的值，而且这个数恰好可以用矩阵乘观察方向来算出来，就是张量。几何代数中定义的张量是基于向量和矩阵的推广，通俗一点理解的话，我们可以将标量视为零阶张量
洛荷·2019-04-25 21:25

pytorch学习笔记（入门）

几乎所有框架都是基于计算图的，计算图可分为静态和动态计算图。tensorflow使用的是静态计算图，pytorch使用的是动态图，静态图先定义再运行，一次定义多次运行。动态图在运行过程中被定义，在运行时构建，可多次构建多次运行。静态图创建后不能修改，语法繁复导致静态图过于庞大，可能占用过高的显存。动态图框架语法简单，可以使用Python中的if，while等语句。jupyter下调试一、创建变量：
berylyellow·2019-04-16 15:45

Pytorch学习笔记（三）——利用迁移学习训练分类网络

在学习pytorch过程中遇到的一些难题，博主在这里进行记录。主要针对官网里面例子的代码，其中对有些基础python知识与pytorch中的接口函数细节理解。这个例子介绍如何用PyTorch进行迁移学习训练一个ResNet模型来对蚂蚁和蜜蜂进行分类。数据增强与存放#Dataaugmentationandnormalizationfortraining#Justnormalizationforval
小小小绿叶·2019-04-12 12:07

pytorch学习笔记之torch.max()

官方的api：https://pytorch.org/docs/0.3.1/tensors.html,https://pytorch.org/docs/0.3.1/torch.html#torch.max该方法的使用可以有两种方式去调用。方法一：将对象当作参数传入的方式a=torch.Tensor([[0,1,2],[3,4,5]])torch.max(a,0)方法二：直接在pytorchtens
coding_zhang·2019-04-11 17:59

PyTorch学习笔记3 - 使用PyTorch实现Logistic回归

本篇笔记的完整代码：https://github.com/ChenWentai/PyTorch/blob/master/task3_logistic.py1.准备数据这次任务使用Logistic解决二分类问题。对于Logistic回归，数据的标签为0和1（而不是1和-1），其中y=0的训练数据由均值为2，方差为1正态分布产生，y=1的训练数据由均值为-2，方差为1的正态分布产生。此处数据参考Lia
小新_XX·2019-04-10 22:12

2019-03-30PyTorch学习笔记

Author：ShawnDongupdateDate：2019.4.3Blog：ShawnDong98.github.ioTensorrand0~1随机分布randint(min,max,shape)[min,max)随机分布randn0~1正态分布torch.normal(mean,std):生成根据mean和std生成正态分布torch.full(shape,value)torch.arang
狐二丶·2019-04-10 21:26

PyTorch学习笔记2 - 梯度下降

1在numpy和pytorch实现梯度下降法（线性回归）梯度下降法的一般步骤为：(1)设定初始值(2)求取梯度(3)在梯度方向上进行参数的更新1.1Numpy版本假设欲拟合的目标函数为y=2*x1-4*x2.这是一个2元线性函数，自变量x是2维向量。通过梯度下降求解最优参数的代码如下：importnumpyasnpimportmatplotlib.pyplotaspltfrommpl_toolki
小新_XX·2019-04-08 21:54

【PyTorch学习笔记】17：2D卷积,nn.Conv2d和F.conv2d

简述2D卷积很适合处理图像输入。以之前的MNIST为例，在使用MLP时，为方便全连接层的处理，将28乘28的输入flatten成了784维的向量，这样就要有784个权值。而使用了2D卷积以后，假设使用3乘3的卷积核，那么每次的输入都是卷积核扫过的3乘3大小的区域，这样就只需要有9个权值，参数量大大减少了。卷积操作：卷积核和扫过的小区域对应位置相乘再求和的操作，卷积完成后一般要加个偏置bias。一种
刘知昊·2019-04-05 10:16

pytorch中的nn.conv2d（）相关（转）

输入输出size计算公式为：二、[pyotrch]nn.Conv2d中groups参数的理解三、PyTorch学习笔记(9)——nn.Conv2d和其中的padding策略
C小C·2019-04-02 21:22

Pytorch学习笔记(1):pytoch中如何加载训练数据

1.为什么不需要自己写加载方法pytorch中提供了两个类用于训练数据的加载，分别是torch.utils.data.Dataset和torch.utils.data.DataLoader。不像torchvision中集合了很多常用的计算机视觉的常用数据集，作为在音乐信息检索这方面，数据集要自己设计加载方法。如果每次不同的数据集都要自己写函数加载，每次读取代码不能够重用，不同的数据读取代码不同自己
wanglei_1996·2019-03-29 21:00

【PyTorch学习笔记】16：Early Stop,Dropout,Stochastic Gradient Descent

EarlyStop如果一直训练，训练集上的性能可以一直上升，但验证集上的性能在经过某个点之后就可能开始下降，这时就是模型出现了over-fitting，提前停止就是用来克服over-fitting的。但是没训练完怎么知道哪个点是最大值点呢？可以用经验来判断，比如当连续多个epoch上的验证集Acc.在下降时就停止训练。Dropout简述为每个连接设置一个probability的属性，以这个概率让其
刘知昊·2019-03-28 19:05

【PyTorch学习笔记】14：划分训练-验证-测试集,使用正则化项

划分训练-验证-测试集简述测试集一般都是客户用来验收模型的，是拿不到的，在Kaggle比赛里就是用来计算选手模型的score的集合。而训练集拿到以后要划分成训练集和验证集，只用训练集来训练，验证集用来以一定的频率对模型的performance做验证，也就是用来防止over-fitting的，在训练过程中可以得到验证集的Loss或者acc.的曲线，在曲线上就能大致判断发生over-fitting的点
刘知昊·2019-03-27 17:54

PyTorch学习笔记——pytorch图像处理（transforms）

原始图像2、图像处理、转不同格式显示importtorchimporttorchvisionimporttorchvision.transformsastransformsimportcv2importnumpyasnpfromPILimportImageimg_path="./data/timg.jpg"#transforms.ToTensor()transform1=transforms.Co
c2a2o2·2019-03-27 09:22

【PyTorch学习笔记】15：动量(momentum),学习率衰减

动量(momentum)简述之前学习的用梯度更新参数www的公式：wk+1=wk−α⋅∇f(wk)w_{k+1}=w_k-\alpha\cdot\nablaf(w_k)wk+1​=wk​−α⋅∇f(wk​)其中α\alphaα是学习率。现用zk+1=β⋅zk+∇f(wk)wk+1=wk−α⋅zk+1z_{k+1}=\beta\cdotz_k+\nablaf(w_k)\\w_{k+1}=w_k-\a
刘知昊·2019-03-27 00:00

【PyTorch学习笔记】13：使用Visdom可视化训练-测试过程

在PyTorch的可视化中，相比tensorboardX，Visdom更简洁方便一些（例如对image数据的可视化可以直接使用Tensor，而不必转到cpu上再转为numpy数据），刷新率也更快。安装Visdom直接用pip安装的话在windows上面可能出现问题，先从Github上下载Visdom的源码，进入解压后的目录，执行：pipinstall-e.即从当前目录下的setup.py安装了Vi
刘知昊·2019-03-26 15:46

pytorch学习笔记系列（6）：循环神经网络和双向循环神经网络---MNIST数据集

Pytorch中LSTM的定义如下：classtorch.nn.LSTM(*args,**kwargs)参数列表input_size：x的特征维度hidden_size：隐藏层的特征维度num_layers：lstm隐层的层数，默认为1bias：False则bih=0b_{ih}=0bih=0和bhh=0b_{hh}=0bhh=0.默认为Truebatch_first：True则输入输出的数据格式
BruceWu1234·2019-03-25 15:11

【PyTorch学习笔记】9：感知机,链式法则,对Himmelblau函数的优化实例

感知机单层感知机的例子importtorchfromtorch.nnimportfunctionalasFx=torch.randn(1,10)w=torch.randn(1,10,requires_grad=True)#对输出用sigmoid激活o=torch.sigmoid([email protected]())print("输出值:",o)#计算MSEloss=F.mse_loss(torch.ones(1,1)
刘知昊·2019-03-21 23:00

【PyTorch学习笔记】8：激活函数,损失函数,使用PyTorch求导

激活函数在PyTorch的老版本里这些激活函数在torch.nn.functional下，现在大多已经改到了torch下。Sigmoid数据将被映射到0到1之间。f(x)=σ(x)=11+e−xf(x)=\sigma(x)=\frac{1}{1+e^{-x}}f(x)=σ(x)=1+e−x1importtorcha=torch.linspace(-100,100,10)print(torch.si
刘知昊·2019-03-20 22:12

pytorch学习笔记-数据加载与处理

前言初学pytorch，计划边学边做做笔记。深度学习的问题中，经常要处理数据，pytorch自带一些数据集，对于普通的数据集，需要我们自己进行处理。1、头文件介绍os:python处理文件和目录的模块torch:pytorch1.0,深度学习库pandas:用于更好的处理csv数据skimage:scikit-image,用于图像输入输出和转换numpy:一个运行速度很快的数学库matplotli
浪翼·2019-03-14 10:46

莫烦python学习笔记

莫烦pytorch学习笔记PyTorch是一个比较新的模块，比Tensorflow能更好地诠释神经网络的性能。
qq_32955607·2019-03-13 20:11

pytorch学习笔记1：nn.Conv2d

我们需要使用torch.nn包中的工具来构建神经网络首先明确构建一个神经网络需要以下几步：定义神经网络的权重,搭建网络结构遍历整个数据集进行训练遍历整个数据集进行训练将数据输入神经网络计算loss计算网络权重的梯度更新网络权重weight=weight+learning_rate*gradientnn.Conv2d的功能是：对由多个输入平面组成的输入信号进行二维卷积输入信号的形式为(N,Cin,H
H轩轩轩轩哥哥·2019-03-06 16:38

pytorch学习笔记（更新中）

pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/notes/autograd/https://ptorch.com/docs/8/一、动态图https://blog.csdn.net/qjk19940101/article/details/79557866二、变量tensor的建立：随机创立tensor：https://blog.cs
snowleafzf·2019-03-03 19:32

（十二）pytorch学习笔记---内容为学习资源摘录整合の梯度下降方法--反向传播算法

反向传播算法前面我们介绍了的模型，整个处理的基本流程都是定义模型，读入数据，给出损失函数ff，通过梯度下降法更新参数。PyTorch提供了非常简单的自动求导帮助我们求解导数，对于比较简单的模型，我们也能手动求出参数的梯度，但是对于非常复杂的模型，比如一个100层的网络，我们如何能够有效地手动求出这个梯度呢？这里就需要引入反向传播算法，自动求导本质是就是一个反向传播算法。反向传播算法是一个有效地求解
weixin_40245436·2019-03-02 13:30

PyTorch学习笔记（一）

PyTorch学习笔记（一）PyTorch学习笔记PyTorch中的数据类型自动求梯度未完待续……来自https://pytorch.org/tutorials/beginner/deep_learning
「已注销」·2019-02-27 20:07

【PyTorch学习笔记】5：对Tensor的变换

对Tensor的变换改变shape调整Tensor的shape（通过返回一个新的Tensor），在老版本中这个函数是view()，功能上都是一样的。importtorcha=torch.rand(4,1,28,28)print(a.shape)print(a.reshape(4*1,28,28).shape)print(a.reshape(4,1*28*28).shape)运行结果：torch.S
刘知昊·2019-02-22 00:08

Pytorch学习笔记（一）常用变量

本文主在记录学习使用Pytorch过程中的一些常用变量的含义，帮助学习记忆。1.batch_size：批处理大小，即为每次训练在训练集中采取的样本个数。2.iteration：迭代，表示一个batchsize的样本全部训练一次，一个迭代等于一个正向通过+一个反向通过。3.epoch：迭代次数，表示训练集中的全部样本训练一次；一个epoch=所有样本正想通过+反向通过。4.in_channel:输入
有理想的熊猫·2019-02-21 15:40

【PyTorch学习笔记】4：在Tensor上的索引和切片

在Tensor上的索引和切片一般索引从前往后提供的索引，会依次在每个维度上做索引。importtorcha=torch.rand(4,3,28,28)print(a[0].shape)print(a[0,0].shape)print(a[0,0,2,4])#具体到某个元素运行结果：torch.Size([3,28,28])torch.Size([28,28])tensor(0.3690)普通的切片
刘知昊·2019-02-20 22:24

pytorch学习笔记(反向传播)

反向传播算法是一个有效求解梯度的算法,本质上是一个链式求导的法则的应用。链式法则考虑一个简单的函数,比如,我们可以直接求出这个函数的微分,但是这里我们要使用链式法则,令q=x+y,那么f=qz,对于这两个式子来说,分别求出他们的微分,,,同时q是x和y的求和,所以可以得到,。关心的问题是,链式法则告诉我们如何求得它们的值。通过链式法则可以知道,如果对其中的元素求导,那么可以一层一层的求导,然后将结
eilot_c·2019-02-09 00:08

pytorch学习笔记(各种优化算法的变式)

梯度下降法梯度下降法的更新公式：梯度下降法的变式1.SGD随机梯度下降法是梯度下降法的一个小变形,就是每次使用一批(batch)数据进行梯度的计算,而不是计算全部的数据的梯度,因为现在深度学习使用的数据量都特别的大,所以每次计算所有的梯度都是不现实的,这样会导致运算时间过长,同时每次都计算全部的梯度还失去了一些随机性,容易引入一些局部误差,所以使用随机梯度下降法可能每次都不是朝着真正的最小的方向,
eilot_c·2019-02-04 14:43

pytorch学习笔记(激活函数)

下面介绍五种激活函数:SigmoidSigmoid非线性激活函数的数学表达式是,其图形如下.sigmoid函数是将一个实数输入转化到0-1之间的输出,负数越大转化越靠近于0,越大的正数越靠近1.sigmoid函数有两大缺点:sigmoid函数会造成梯度消失,当它靠近1和0的时候,梯度基本上会变为0,如果用梯度下降法的话,如果梯度接近0,那么没有任何信息来更新参数,这样会造成模型的不收敛。另外在初始
eilot_c·2019-02-04 14:46

pytorch学习笔记(分类模型)

问题介绍机器学习中的监督学习主要分为分类问题和回归问题,回归问题希望预测的结果是连续的,而分类问题所预测的结果就是离散的类别.这个时候输入的变量可以是离散的,也可以是连续的,监督学习从数据中学习一个分类模型或者分类决策函数,被称之为分类器(classifer).分类器对新的输入进行预测,这个过程称之为分类(classfication).例如:判断邮件是否为垃圾邮件,病人是否生病,明天是否下雨等等.
eilot_c·2019-02-04 13:06

pytorch学习笔记(线性模型)

线性模型问题介绍线性模型,通俗来讲就是给定很多个数据点,希望能够找到一个函数来拟合这些数据点令它的误差最小,比如简单的一元函数就可以来表示给出一系列的点，找一条直线，使得直线尽可能与这些点接近，也就是这些点到直线的距离之和尽可能小。用数学语言来严格表达，即给定由d个属性描述的示例x=(x1，x2，x3，...，xd)'其中Xi表示X在第i个属性上面的取值，线性模型就是试图学习一个通过属性的线性组合
eilot_c·2019-01-30 21:53

pytorch学习笔记(Tensor,Variable,nn.Module,optim)

Tensor(张量)torch.Tensor默认的是torch.FloatTensor数据类型,也可以定义我们自己想要的数据类型当然也可以创建一个全是0的空的Tensor或者取一个正态分布作为随机初始值可以像numpy一样通过索引的方式取得其中的元素,同时改变它的值除此之外可以在Tensor和numpy.ndarray之间相互转换:判断是否支持GPU,如果想把tensor放到GPU上,只要a_cu
eilot_c·2019-01-30 20:04

【pytorch】pytorch学习笔记（一）

原文地址：https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html什么是pytorch？pytorch是一个基于python语言的的科学计算包，主要分为两种受众：能够使用GPU运算取代NumPy提供最大灵活度和速度的深度学习研究平台开始TensorsTensors与numpy的ndarray相似，且Tensors能使
diejingbu1567·2019-01-26 16:00

pytorch之dataloader深入剖析

PyTorch学习笔记(6)——DataLoader源代码剖析-dataloader本质是一个可迭代对象，使用iter()访问，不能使用next()访问；-使用iter(dataloader)返回的是一个迭代器
weixin_33709590·2018-12-16 21:00

pytorch之dataloader深入剖析

PyTorch学习笔记(6)——DataLoader源代码剖析-dataloader本质是一个可迭代对象，使用iter()访问，不能使用next()访问；-使用iter(dataloader)返回的是一个迭代器
ranjiewen·2018-12-16 21:00

Pytorch学习笔记_1_尝试自己搭建一个AlexNet用来分类，并进行训练

一、关于AlexNetAlexNet的结构论文中的结构如下：Input(224x224x3)（1）Conv1(96x55x55)（2）MaxPool1(96x27x27)（3）Conv2(256x27x27)（4）MaxPool2(256x13x13)（5）Conv3(384x13x13)（6）Conv4(384x13x13)（7）Conv5(256x13x13)（8）MaxPool3(256x6
MortimerLi·2018-12-12 17:35

Pytorch学习笔记1--自定义数据读取

最近在学习deeplearning,另外呢对pytorch框架感觉还不错,所以作为自己的入门框架进行学习,今天总结一下如何使用pytorch进行自定义数据读取.在解决深度学习问题中,往往需要花费大量的时间和精力去处理数据,包括图像,文本,语音数据等.数据的处理对于训练神经网络来说十分重要,良好的数据不仅会加速模型训练,也会提高模型效果.考虑到这一点,pytorch提供了几个高效便捷的工具,以便使用
小熊猫3·2018-11-28 21:54

PyTorch学习笔记(13)——强力的可视化工具visdom

今天，让我们来放松一下大脑，学习点轻松的东西————可视化工具Visdom，它可以让我们在使用PyTorch训练模型的时候，可视化中间的训练情况，无论是loss变化还是中间结果比较。相比干呆呆的瞪着命令行，Visdom让我们的调参之路变得更加生动和活泼了.~0.前言对于一些任务，尤其是难以收敛以及情况复杂的，如果在训练过程中，实时可视化训练情况，将会让我们对训练手段进行及时调整，更好的达到目标，避
sooner高·2018-11-27 18:24

Pytorch学习笔记（5）RNN-分类|莫凡Python

importtorchfromtorchimportnnimporttorchvision.datasetsasdsetsimporttorchvision.transformsastransformsimportmatplotlib.pyplotasplt#torch.manual_seed(1)#reproducible#HyperParametersEPOCH=1#trainthetrain
jlooking·2018-11-08 11:04
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他