Pytorch框架学习（6）——transforms与normalize

图像预处理Transforms与normalize

1. transforms运行机制

torchvision工具包中包含三个主要模块，今天主要学习transforms

• torchvision.transforms:常用的数据预处理方法，提升泛化能力
  • 包括：数据中心化、数据标准化、缩放、裁剪、旋转、翻转、填充、噪声添加、灰度变换、线性变换、仿射变换、亮度、饱和度及对比度变换等

2. 数据标准化——transforms.normalize

• transforms.Normalize()
• 功能：逐channel的对图像进行标准化（均值变为0，标准差变为1），可以加快模型的收敛
  • output = (input - mean) / std
  • mean:各通道的均值
  • std：各通道的标准差
  • inplace：是否原地操作

3. transforms数据增强

3.1 数据增强

• 数据增强又称为数据增广，数据扩增，它是对训练集进行变换，使训练集更丰富，从而让模型更具泛化能力。
  

3.2 transforms——裁剪

1. transforms.CenterCrop

   • 功能：从图像中心裁剪图片
   • size：所需裁剪图片尺寸

2. transforms.RandomCrop

   • 功能：从图片中随机裁剪出尺寸为size的图片
   • size：所需裁剪图片尺寸
   • padding：设置填充大小。当为a时，上下左右均填充a个像素，当为（a,b）时，上下填充b个像素，左右填充a个像素。当为（a,b,c,d）时，左上右下分别填充abcd
   • pad_if_need：若图像小于设定size，则填充
   • padding_mode：填充模式：（1）constant像素值由fill设定（默认模式）；（2）edge像素值由图像边缘像素决定（3）reflect镜像填充，最后一个像素不镜像，eg，[1,2,3,4]->[3,2,1,2,3,4,3,2];(4)symmetric镜像填充，最后一个像素镜像，eg，[1,2,3,4]->[2,1,1,2,3,4,4,3]
   • fill：constant时，设置填充的像素值

3. RandomResizedCrop

   • 功能：随机大小、长宽比裁剪图片
   • size：所需裁剪图片尺寸
   • scale：随机裁剪面积比例，默认（0.08,1）
   • ratio：随机长宽比，默认（3/4,4/3）
   • interpolation：插值方法，PIL.Image.NEAREST最近邻，PIL.Image.BILINEAR双线性，PIL.Image.BICUBIC

4. FiveCrop

   • 在图片的左上角、左下角、右上角、右下角和中心裁剪出尺寸为size的5张图片
   • size：所需裁剪图片尺寸
   • 注意：返回的数据为tuple格式，需要转换为张量形式或者PIL.Image形式

5. TenCrop

   • 在图像的上下左右以及中心裁剪出尺寸为size的5张图片，TenCrop对着5张图片进行水平或者垂直镜像获得10张图片
   • size：所需裁剪图片尺寸
   • vertical_flip：是否垂直翻转

3.3 transforms——翻转和旋转

1. RandomHorizontalFlip水平翻转

   • p：翻转概率

2. RandomVerticalFlip垂直翻转

   • p：翻转概率

3. RandomRotation

   • 功能：随机旋转图片
   • degrees：旋转角度。当为a时，在（-a, a）之间选择旋转角度；当为（a, b）时，在（a, b）之间选择旋转角度
   • resample：重采样方法，一般不需要设置，使用默认值
   • expand：是否扩大图片，以保持原图信息
   • center:旋转点设置，默认中心旋转。如果设置为（0,0），则为左上角旋转
     

4. transforms方法扩展

4.1 图像变换

1. Pad

   • 功能：对图片边缘进行填充
   • padding：设置填充大小。当为a时，上下左右均填充a个像素，当为（a,b）时，上下填充b个像素，左右填充a个像素。当为（a,b,c,d）时，左上右下分别填充abcd
   • padding_mode：填充模式。（1）constant像素值由fill设定（默认模式）；（2）edge像素值由图像边缘像素决定（3）reflect镜像填充，最后一个像素不镜像，eg，[1,2,3,4]->[3,2,1,2,3,4,3,2];(4)symmetric镜像填充，最后一个像素镜像，eg，[1,2,3,4]->[2,1,1,2,3,4,4,3]
   • fill：constant时，设置填充的像素值，（R, G, B）或者（Gray）

2. ColorJitter

   • 功能：调整亮度、对比度、饱和度和色相
   • brightness：亮度调整因子。当为a时，从[max(0, 1-1), 1+a]中随机选择；当为（a, b）时，从[a, b]中随机选择。
   • contrast：对比度参数，同brightness
   • saturation：饱和度参数，同brightness
   • hue：色相参数，当为a时，从[-a, a]中选择参数，注：0<= a <=0.5；当为(a, b)时，从[a, b]中选择参数-0.5 <= a <= b <= 0.5

3. Grayscale

   • 是RandomGrayscale的特例，概率为1。

4. RandomGrayscale

   • 功能：依概率将图片转换为灰度图
   • num_output_channels：输出通道数，只能设1或3
   • p：概率值，图像被转换为灰度图的概率
     

5. RandomAffine

   • 功能：对图像进行仿射变换，仿射变换是二维的线性变换，由五种基本原子变换构成，分别是旋转、平移、缩放、错切和翻转。
   • degrees：旋转角度设置
   • translate：平移区间设置，如(a, b)，a设置宽（width），b设置高（height），图像在宽维度平移的区间为-img_width * a < dx < img_width * a
   • scale:缩放比例（以面积为单位），0到1之间
   • fill_color：填充颜色设置，默认为黑色（0）
   • shear：错切角度设置，有水平错切和垂直错切。若为a，则仅在x轴错切，错切角度在（-a，a）之间；若为（a，b），则a设置x轴角度，b设置y的角度；若为（a，b，c，d），则a，b设置x轴角度，c，d设置y轴角度
   • resample：重采样方式，有NEARSET，BILINEAR，BICUBIC
     

6. RandomErasing

   • 功能：对图像进行随机遮挡
   • p：概率值，执行该操作的概率
   • scale：遮挡区域的面积
   • ratio：遮挡区域长宽比
   • value：设置遮挡区域的像素值，（R，G，B）或（Gray）。如果value值设置为字符串，则填充随机的像素
     
     

7. transforms.Lambda

   • 功能：用户自定义lambda方法
   • lambd：lambd：lambda匿名函数 lambda [arg1 [, arg2, …, argn]] : expression
     

4.2 transforms方法操作

1. transforms.RandomChoice
   • 功能：从一系列transforms方法中随机挑选一个

transforms.RandomChoice([transforms1, transforms2, transforms3])

2. transforms.RandomApply
   • 功能：依据概率执行一组transforms操作

transforms.RandomApply([transforms1, transforms2, transforms3], p=0.5)

3. transforms.RandomOrder
   • 功能：对一组transforms操作打乱顺序

transforms.RandomOrder([transforms1, transforms2, transforms3])

4.3 自定义transforms方法

transforms方法是在Compose类的__call__方法中被调用的，对一组transforms方法进行for循环，每次循序的挑选并执行transforms方法

• 自定义transforms要素：
  1. 仅接收一个参数，返回一个参数
  2. 注意上下游的输出和输入，数据类型必须匹配

通过类实现多参数传入，下图为自定义transforms的基本参数，一个init，一个call

• 椒盐噪声
  • 椒盐噪声又称为又称为脉冲噪声，是一种随机出现的白点或者黑点，白点称为盐噪声，黑点称为椒噪声。
  • 信噪比（SNR）：衡量噪声的比例，图像中为图像像素的占比
    下图为不同信噪比的椒盐噪声效果图：
    

class AddPepperNoise(object):
	def __init__(self, snr, p):
		self.snr = snr
		self.p = p
	
	def __call__(self, img):
		'''
		添加椒盐噪声具体实现过程
		'''
		return img

5. 数据增强策略

• 原则：让训练集与测试集更接近
  • 空间位置：平移
  • 色彩：灰度图，色彩抖动
  • 形状：仿射变换
  • 上下文场景：遮挡，填充
  • …