Pytorch框架学习(6)——transforms与normalize

图像预处理Transforms与normalize

@[toc]

1. transforms运行机制

在这里插入图片描述

torchvision工具包中包含三个主要模块,今天主要学习transforms

  • torchvision.transforms:常用的数据预处理方法,提升泛化能力
    • 包括:数据中心化、数据标准化、缩放、裁剪、旋转、翻转、填充、噪声添加、灰度变换、线性变换、仿射变换、亮度、饱和度及对比度变换等
在这里插入图片描述

2. 数据标准化——transforms.normalize

  • transforms.Normalize()
  • 功能:逐channel的对图像进行标准化(均值变为0,标准差变为1),可以加快模型的收敛
    • output = (input - mean) / std
    • mean:各通道的均值
    • std:各通道的标准差
    • inplace:是否原地操作

3. transforms数据增强

3.1 数据增强

  • 数据增强又称为数据增广,数据扩增,它是对训练集进行变换,使训练集更丰富,从而让模型更具泛化能力。


    在这里插入图片描述

3.2 transforms——裁剪

  1. transforms.CenterCrop

    • 功能:从图像中心裁剪图片
    • size:所需裁剪图片尺寸
  2. transforms.RandomCrop

    • 功能:从图片中随机裁剪出尺寸为size的图片
    • size:所需裁剪图片尺寸
    • padding:设置填充大小。当为a时,上下左右均填充a个像素,当为(a,b)时,上下填充b个像素,左右填充a个像素。当为(a,b,c,d)时,左上右下分别填充abcd
    • pad_if_need:若图像小于设定size,则填充
    • padding_mode:填充模式:(1)constant像素值由fill设定(默认模式);(2)edge像素值由图像边缘像素决定(3)reflect镜像填充,最后一个像素不镜像,eg,[1,2,3,4]->[3,2,1,2,3,4,3,2];(4)symmetric镜像填充,最后一个像素镜像,eg,[1,2,3,4]->[2,1,1,2,3,4,4,3]
    • fill:constant时,设置填充的像素值
  3. RandomResizedCrop

    • 功能:随机大小、长宽比裁剪图片
    • size:所需裁剪图片尺寸
    • scale:随机裁剪面积比例,默认(0.08,1)
    • ratio:随机长宽比,默认(3/4,4/3)
    • interpolation:插值方法,PIL.Image.NEAREST最近邻,PIL.Image.BILINEAR双线性,PIL.Image.BICUBIC
  4. FiveCrop

    • 在图片的左上角、左下角、右上角、右下角和中心裁剪出尺寸为size的5张图片
    • size:所需裁剪图片尺寸
    • 注意:返回的数据为tuple格式,需要转换为张量形式或者PIL.Image形式
  5. TenCrop

    • 在图像的上下左右以及中心裁剪出尺寸为size的5张图片,TenCrop对着5张图片进行水平或者垂直镜像获得10张图片
    • size:所需裁剪图片尺寸
    • vertical_flip:是否垂直翻转

3.3 transforms——翻转和旋转

  1. RandomHorizontalFlip水平翻转

    • p:翻转概率
  2. RandomVerticalFlip垂直翻转

    • p:翻转概率
  3. RandomRotation

    • 功能:随机旋转图片
    • degrees:旋转角度。当为a时,在(-a, a)之间选择旋转角度;当为(a, b)时,在(a, b)之间选择旋转角度
    • resample:重采样方法,一般不需要设置,使用默认值
    • expand:是否扩大图片,以保持原图信息
    • center:旋转点设置,默认中心旋转。如果设置为(0,0),则为左上角旋转


      在这里插入图片描述

4. transforms方法扩展

4.1 图像变换

  1. Pad

    • 功能:对图片边缘进行填充
    • padding:设置填充大小。当为a时,上下左右均填充a个像素,当为(a,b)时,上下填充b个像素,左右填充a个像素。当为(a,b,c,d)时,左上右下分别填充abcd
    • padding_mode:填充模式。(1)constant像素值由fill设定(默认模式);(2)edge像素值由图像边缘像素决定(3)reflect镜像填充,最后一个像素不镜像,eg,[1,2,3,4]->[3,2,1,2,3,4,3,2];(4)symmetric镜像填充,最后一个像素镜像,eg,[1,2,3,4]->[2,1,1,2,3,4,4,3]
    • fill:constant时,设置填充的像素值,(R, G, B)或者(Gray)
  2. ColorJitter

    • 功能:调整亮度、对比度、饱和度和色相
    • brightness:亮度调整因子。当为a时,从[max(0, 1-1), 1+a]中随机选择;当为(a, b)时,从[a, b]中随机选择。
    • contrast:对比度参数,同brightness
    • saturation:饱和度参数,同brightness
    • hue:色相参数,当为a时,从[-a, a]中选择参数,注:0<= a <=0.5;当为(a, b)时,从[a, b]中选择参数-0.5 <= a <= b <= 0.5
  3. Grayscale

    • 是RandomGrayscale的特例,概率为1。
  4. RandomGrayscale

    • 功能:依概率将图片转换为灰度图
    • num_output_channels:输出通道数,只能设1或3
    • p:概率值,图像被转换为灰度图的概率


      在这里插入图片描述
  5. RandomAffine

    • 功能:对图像进行仿射变换,仿射变换是二维的线性变换,由五种基本原子变换构成,分别是旋转、平移、缩放、错切和翻转。
    • degrees:旋转角度设置
    • translate:平移区间设置,如(a, b),a设置宽(width),b设置高(height),图像在宽维度平移的区间为-img_width * a < dx < img_width * a
    • scale:缩放比例(以面积为单位),0到1之间
    • fill_color:填充颜色设置,默认为黑色(0)
    • shear:错切角度设置,有水平错切和垂直错切。若为a,则仅在x轴错切,错切角度在(-a,a)之间;若为(a,b),则a设置x轴角度,b设置y的角度;若为(a,b,c,d),则a,b设置x轴角度,c,d设置y轴角度
    • resample:重采样方式,有NEARSET,BILINEAR,BICUBIC


      在这里插入图片描述
  6. RandomErasing

    • 功能:对图像进行随机遮挡
    • p:概率值,执行该操作的概率
    • scale:遮挡区域的面积
    • ratio:遮挡区域长宽比
    • value:设置遮挡区域的像素值,(R,G,B)或(Gray)。如果value值设置为字符串,则填充随机的像素


      在这里插入图片描述

      在这里插入图片描述
  7. transforms.Lambda

    • 功能:用户自定义lambda方法
    • lambd:lambd:lambda匿名函数 lambda [arg1 [, arg2, ..., argn]] : expression


      在这里插入图片描述

4.2 transforms方法操作

  1. transforms.RandomChoice
    • 功能:从一系列transforms方法中随机挑选一个
transforms.RandomChoice([transforms1, transforms2, transforms3])
  1. transforms.RandomApply
    • 功能:依据概率执行一组transforms操作
transforms.RandomApply([transforms1, transforms2, transforms3], p=0.5)
  1. transforms.RandomOrder
    • 功能:对一组transforms操作打乱顺序
transforms.RandomOrder([transforms1, transforms2, transforms3])

4.3 自定义transforms方法

在这里插入图片描述

transforms方法是在Compose类的call方法中被调用的,对一组transforms方法进行for循环,每次循序的挑选并执行transforms方法

  • 自定义transforms要素:
    1. 仅接收一个参数,返回一个参数
    2. 注意上下游的输出和输入,数据类型必须匹配

通过类实现多参数传入,下图为自定义transforms的基本参数,一个init,一个call


在这里插入图片描述
  • 椒盐噪声
    • 椒盐噪声又称为又称为脉冲噪声,是一种随机出现的白点或者黑点,白点称为盐噪声,黑点称为椒噪声。
    • 信噪比(SNR):衡量噪声的比例,图像中为图像像素的占比
      下图为不同信噪比的椒盐噪声效果图:


      在这里插入图片描述
class AddPepperNoise(object):
    def __init__(self, snr, p):
        self.snr = snr
        self.p = p
    
    def __call__(self, img):
        '''
        添加椒盐噪声具体实现过程
        '''
        return img

5. 数据增强策略

在这里插入图片描述
  • 原则:让训练集与测试集更接近
    • 空间位置:平移
    • 色彩:灰度图,色彩抖动
    • 形状:仿射变换
    • 上下文场景:遮挡,填充
    • ......

你可能感兴趣的:(Pytorch框架学习(6)——transforms与normalize)