数据读取机制Dataloader和Dataset和Transforms
人民币二分类模型
数据-模型-损失函数-优化器-迭代训练
- 数据收集 img label
- 数据划分 train valid test
- 数据读取 Dataloader [sampler-生成索引 dataset-img，label]
- 数据预处理 transforms
DataLoader
import torch
torch.utils.data.DataLoader()
- 功能：构建可以可迭代的数据装载器
- 参数：
datasetDataset类，决定数据从哪里读取和如何读取
batchsize批大小
num_works是否多进程读取数据
shuffle每个epoch是否乱序
drop_last当样本数不能被batchsize整除时，是否舍弃最后一批数据
torch.utils.data.Dataloader(
dataset,
batch_size=1,
shuffle=False,
sampler=None,
batch_sampler=None,
num_workers=0,
drop_last=False
)
Epoch:训练样本都输入到模型中，称为一个Epoch
Iteration：一批样本输入到模型中，称之为一个Iteration
Batchsize：批大小，决定一个Epoch有多少个Iteration
例子：
样本总80，batchsize 8 ,1Epoch = 10 Iteration
1 Epoch = 10 Iteration ? drop_last = True
1 Epoch = 11 Iteration ? drop_last = False
# 功能Dataset抽象类，所有自定义的Dataset需要基础它，并且复写
# __getitem__()
# getitem:接收一个索引，返回一个样本
class Dataset(object):
def __getitem__(self, index):
raise NotImplementedError
def __add__(self, other):
return ConcatDataset([self,other])
import os
dir_test = os.path.join('..','..','data')
print(dir_test)
..\..\data
Transforms
常见的处理方法有：
- 数据中心化
- 数据标准化
- 缩放
- 剪裁
- 旋转
- 翻转
- 填充
- 噪声添加
- 灰度变换
- 线性变换
- 仿射变换
- 亮度、饱和度和对比度变换
transforms.Normalize(mean,std,inplace=False)
数据标准化，能加速模型收敛
数据增强方法
import os
import numpy as np
import torch
import random
from torch.utils.data import DataLoader
import torchvision.transforms as transforms
from PIL import Image
import matplotlib.pyplot as plt
1.tranforms–CenterCrop
transforms.CenterCrop()中心裁剪
参数 size:所需要的尺寸
2.tranforms–RandomCrop
transforms.RandomCrop()随机裁剪
参数
size:所需要的尺寸
padding:填充大小
pad_if_need:如图像小于设定的size，则填充
padding_mode:填充模式，constant像素值fill设定，edge像素值由边缘图像决定，reflect镜像填充，最有个像素不镜像，symmertric镜像填充，最有一个像素镜像
fill:constant设置填充的像素值，如图像小于设定的size，则填充
3.tranforms–RandomResizedCrop
transforms.RandomResizedCrop()中心裁剪
参数 size:所需要的尺寸
参数 scale:随机裁剪面积比例（0.08,1）
参数 ratio:随机长宽比(3/4,4/3)
参数 interpolation:插值方法
* PIL.Image.NEAREST
* PIL.Image.BILINEAR
* PIL.Image.BICUBIC
4.tranforms–FiveCrop
transforms.FiveCrop()在图像的上下左右以及中心裁剪出尺寸为size的10张图片
参数 size:所需要的尺寸
5.tranforms–TenCrop
transforms.TenCrop()在图像的上下左右以及中心裁剪出尺寸为size的10张图片
参数 size:所需要的尺寸
参数 vertical_flip:是否翻转
6.tranforms–RandomHorizontalFlip
transforms.RandomHorizontalFlip()依概率水平翻转【左右】
参数 p:翻转概率
7.tranforms–RandomVerticalFlip
transforms.RandomVerticalFlip()依概率水平垂直【上下】
参数 p:翻转概率
8.tranforms–RandomRotation
transforms.RandomRotation()依概率旋转
参数 degresss:旋转角度
参数 resample:重采样
参数 expand:扩大图片，保持原图信息
参数 center:旋转中心
9.tranforms–Pad
transforms.Pad()对图片边缘填充
参数 padding:设置填充大小
参数 padding_mode:填充模式，分别是constant、edge、reflect、symmetric
参数 fill:为constant时填充像素值
10.tranforms–ColorJitter
transforms.ColorJitter()调节亮度、对比度、饱和度和色相
参数 brightness:调节亮度因子
参数 constrast:调节对比度参数
参数 saturation:调节饱和度
参数 hue:调节色相参数
11.tranforms–Grayscale
transforms.Grayscale()依概率图片转换为灰度
参数 num_output_channels:输出通道数智能设1或3
参数 p:转化为灰度的概率
11.tranforms–RandomGrayscale
transforms.RandomGrayscale()依概率图片转换为灰度
参数 num_output_channels:输出通道数智能设1或3
参数 p:转化为灰度的概率
12.tranforms–RandomAffine
transforms.RandomAffine()对图像进行仿射变换，仿射变换是二维的线性变换，有五种基本原子变换构成，分别是旋转、平移、缩放、错切、翻转
参数 degrees:旋转角度设置
参数 translate:平移区间设置 a设置宽width，b设置高height
参数 scale:缩放比例
参数 fill_color:填充颜色设置
参数 shear:错切角度设置，有水平错切和垂直错切。（a=X轴角度，b=Y轴角度）
参数 resample:重采样
13.tranforms–RandomErasing
transforms.RandomErasing()对图像进行随机遮挡
参数 p:执行遮挡的概率
参数 scale:遮挡区域面积
参数 p:遮挡区域长宽比
参数 p:设置遮挡区域的像素值
14.tranforms–Lambda
transforms.Lambda()用户自定义Lambda方法
表达式：
lambda[arg1[,arg2,…,argn]]:expression
transforms.Tencrop(200,vertical_filp=True)
transforms.Lambda(lambda crops:torch.stack([transforms.Totensor()(crop) for crop in crops]))
15.tranforms–RandomChoice
transforms.RandomChoice()随机选择一个transforms方法
transforms.RandomChoice([方法1，方法2，方法3])
16.tranforms–RandomApply
transforms.RandomApply()依概率执行一组transforms方法
transforms.RandomChoice([方法1，方法2，方法3],p=0.5)
17.tranforms–RandomOrder
transforms.RandomOrder()对一组transforms操作打乱顺序
transforms.RandomChoice([方法1，方法2，方法3])
18 自定义transforms方法
- 1.仅接收一个参数，返回一个参数
- 2.注意上下游的输出与输入
class Compose(object):
def __call__(self,img):
for t in self.transforms:
img = t(img)
return img
通过类实现多参数传入
class YourTransforms(object):
def __init__(self,...):
...
def __call__(self,img):
...
return img
- 椒盐噪声：又叫做脉冲噪声，是一种随机出现的白点或者黑点，白点叫盐噪声，黑点叫椒噪声
- 信噪比(Signal-Noise Rate,SNR)是衡量噪声的比例，图像中为图像像素的占比
一个例子
Class AddPepperNoise(object):
"""
Args:
snr(float):signal noise rate
p(float):概率值，依概率执行操作
"""
def __init__(self,snr,p=0.9):
assert isinstance(snr,float) or (isinstance(p,float))
self.snr = snr
self.p = p
def __call__(self,img):
if random.uniform(0,1) < self.p:
img_ = np.array(img).copy()
h ,w ,c = img_.shape
signal_pct = self.snr
noise_pct = (1 - self.snr)
mask = np.random.choice((0,1,2),size = (h,w,1),p=[signal_pct,noise_pct/2.,noise_pct/2])
mask = np.repeat(mask,c,axis=2)
img_[mask == 1] = 255 # 盐噪声
img_[mask == 1] = 0 # 椒噪声
return Image.fromarray(img_.astype('utf-8')).convert('RGB')
else:
return img