CV task2:数据读取及数据增强

1.数据增强

1.1 CV中的数据增强

• 1.图片数据易于做扩充，只要加以旋转，缩放，剪切，滤波，色彩空间变换，就可以得到同一主体的不同视图。
• 2.数据扩充提高模型准确度，由于输入数据的特殊性，图片识别主体为三维，在现实世界中不同方向会造成不同的视图，为了学习器能从多个角度学习主体，提高泛化能力，使用增强数据可以模拟现实中物体多角度多环境下的情况。
• 3.深度学习涉及到的参数众多，需要大量训练样本，数据集增强可以解决其样本数不足的问题。

总结来说，数据增强就是为了提高模型的泛化性能！

不做数据增强，学习器学到的特征可能很片面。如下图，从这种数据中，学习到的只是从车头方向来判断车辆类型，而不是从车本身特点来判断。

1.2 数据增强的常用方法

数据扩增方法可以从颜色空间、尺度空间到样本空间来分类。对于图像分类，数据增强一般不会改变标签，只是改变同一物体不同视角下的图像；对于物体检测，数据扩增会改变物体坐标位置；对于图像分割，数据扩增会改变像素标签。

常见的数据扩增方法：基本方法从图像颜色、尺寸、形态、空间和像素等角度进行变换。将这几种方式自由进行组合，可以得到更加丰富的数据扩增方法。

1.3 常见的数据增强库

1.3.1 torchvision

库简介：
torchvision独立于pytorch。也是常有的数据转换增强库。安装时要注意版本，不然很容易版本不匹配。torchvision包由流行的数据集（torchvision.datasets）、模型架构(torchvision.models)和用于计算机视觉的常见图像转换组成(torchvision.transforms)。Github地址

pytorch官方提供的数据扩增库，提供了基本的数据数据扩增方法，可以无缝与torch进行集成；但数据扩增方法种类较少，且速度中等；

torchvision常见的数据扩增方法

transforms.CenterCrop 对图片中心进行裁剪
transforms.ColorJitter 对图像颜色的对比度、饱和度和零度进行变换
transforms.FiveCrop 对图像四个角和中心进行裁剪得到五分图像
transforms.Grayscale 对图像进行灰度变换
transforms.Pad 使用固定值进行像素填充
transforms.RandomAffine 随机仿射变换
transforms.RandomCrop 随机区域裁剪
transforms.RandomHorizontalFlip 随机水平翻转
transforms.RandomRotation 随机旋转
transforms.RandomVerticalFlip 随机垂直翻转

1.3.2 imgaug

库介绍：
This python library helps you with augmenting images for your machine learning projects. It converts a set of input images into a new, much larger set of slightly altered images.GIthub地址

这个python的库可以帮助你在你的机器学习项目中增强你的数据。它可以将你的输入图片转换成很多新的、更大数据量的轻微变动的图片，这对于数量比较小的数据集来说简直是福音！！

1.3.3 albumentations

库简介：
albumentations是深度学习中网络训练时图片数据增强常用库之一，功能十分丰富。该库有以下特点：

• 基于高度优化的 OpenCV 库实现图像快速数据增强.
• 针对不同图像任务，如分割，检测等，超级简单的 API 接口.
• 易于个性化定制.
• 易于添加到其它框架，比如 PyTorch.

Albumentations官方手册

安装方法：

pip install albumentations # 或 sudo pip install -U git+https://github.com/albu/albumentations

2.数据读取

2.1 Pillow读取图片

效果	代码
	from PIL import Image # 导入Pillow库 # 读取图片 im =Image.open(cat.jpg’)]
	from PIL import Image, ImageFilter im = Image.open(‘cat.jpg’) # 应用模糊滤镜: im2 = im.filter(ImageFilter.BLUR) im2.save(‘blur.jpg’, ‘jpeg’)
	from PIL import Image # 打开一个jpg图像文件，注意是当前路径: im = Image.open(‘cat.jpg’) im.thumbnail((w//2, h//2)) im.save(‘thumbnail.jpg’, ‘jpeg’)

当然上面只演示了Pillow最基础的操作，Pillow还有很多图像操作，是图像处理的必备库。
Pillow的官方文档：https://pillow.readthedocs.io/en/stable/

2.2 Opencv读取图片

OpenCV是一个跨平台的计算机视觉库，最早由Intel开源得来。OpenCV发展的非常早，拥有众多的计算机视觉、数字图像处理和机器视觉等功能。OpenCV在功能上比Pillow更加强大很多，学习成本也高很多。

效果	代码
	import cv2 # 导入Opencv库 img = cv2.imread(‘cat.jpg’) # Opencv默认颜色通道顺序是BRG，转换一下 img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
	import cv2 # 导入Opencv库 img = cv2.imread(‘cat.jpg’) img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 转换为灰度图
	import cv2 # 导入Opencv库 img = cv2.imread(‘cat.jpg’) img =cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 转换为灰度图 # Canny边缘检测 edges = cv2.Canny(img, 30, 70) cv2.imwrite(‘canny.jpg’, edges)

OpenCV包含了众多的图像处理的功能，OpenCV包含了你能想得到的只要与图像相关的操作。此外OpenCV还内置了很多的图像特征处理算法，如关键点检测、边缘检测和直线检测等。
OpenCV官网：https://opencv.org/
OpenCV Github：https://github.com/opencv/opencv
OpenCV 扩展算法库：https://github.com/opencv/opencv_contrib

3.使用pytorch读取数据

在Pytorch中数据是通过Dataset进行封装，并通过DataLoder进行并行读取。所以我们只需要重载一下数据读取的逻辑就可以完成数据的读取。

import os, sys, glob, shutil, json
import cv2

from PIL import Image
import numpy as np

import torch
from torch.utils.data.dataset import Dataset
import torchvision.transforms as transforms

class SVHNDataset(Dataset):
    def __init__(self, img_path, img_label, transform=None):
        self.img_path = img_path
        self.img_label = img_label 
        if transform is not None:
            self.transform = transform
        else:
            self.transform = None

    def __getitem__(self, index):
        img = Image.open(self.img_path[index]).convert('RGB')

        if self.transform is not None:
            img = self.transform(img)
        
        # 原始SVHN中类别10为数字0
        lbl = np.array(self.img_label[index], dtype=np.int)
        lbl = list(lbl)  + (5 - len(lbl)) * [10]
        
        return img, torch.from_numpy(np.array(lbl[:5]))

    def __len__(self):
        return len(self.img_path)

train_path = glob.glob('../input/train/*.png')
train_path.sort()
train_json = json.load(open('../input/train.json'))
train_label = [train_json[x]['label'] for x in train_json]

data = SVHNDataset(train_path, train_label,
          transforms.Compose([
              # 缩放到固定尺寸
              transforms.Resize((64, 128)),

              # 随机颜色变换
              transforms.ColorJitter(0.2, 0.2, 0.2),

              # 加入随机旋转
              transforms.RandomRotation(5),

              # 将图片转换为pytorch 的tesntor
              # transforms.ToTensor(),

              # 对图像像素进行归一化
              # transforms.Normalize([0.485,0.456,0.406],[0.229,0.224,0.225])
            ]))

通过上述代码，可以将赛题的图像数据和对应标签进行读取，在读取过程中的进行数据扩增，效果如下所示：

接下来我们将在定义好的Dataset基础上构建DataLoder，这里需要注意Dataset和DataLode是两个不同的概念，是为了实现不同的功能。

• Dataset：对数据集的封装，提供索引方式的对数据样本进行读取
• DataLoder：对Dataset进行封装，提供批量读取的迭代读取

加入DataLoder后，数据读取代码改为如下：

import os, sys, glob, shutil, json
import cv2

from PIL import Image
import numpy as np

import torch
from torch.utils.data.dataset import Dataset
import torchvision.transforms as transforms

class SVHNDataset(Dataset):
    def __init__(self, img_path, img_label, transform=None):
        self.img_path = img_path
        self.img_label = img_label 
        if transform is not None:
            self.transform = transform
        else:
            self.transform = None

    def __getitem__(self, index):
        img = Image.open(self.img_path[index]).convert('RGB')

        if self.transform is not None:
            img = self.transform(img)
        
        # 原始SVHN中类别10为数字0
        lbl = np.array(self.img_label[index], dtype=np.int)
        lbl = list(lbl)  + (5 - len(lbl)) * [10]
        
        return img, torch.from_numpy(np.array(lbl[:5]))

    def __len__(self):
        return len(self.img_path)

train_path = glob.glob('../input/train/*.png')
train_path.sort()
train_json = json.load(open('../input/train.json'))
train_label = [train_json[x]['label'] for x in train_json]

train_loader = torch.utils.data.DataLoader(
        SVHNDataset(train_path, train_label,
                   transforms.Compose([
                       transforms.Resize((64, 128)),
                       transforms.ColorJitter(0.3, 0.3, 0.2),
                       transforms.RandomRotation(5),
                       transforms.ToTensor(),
                       transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
            ])), 
    batch_size=10, # 每批样本个数
    shuffle=False, # 是否打乱顺序
    num_workers=10, # 读取的线程个数
)

for data in train_loader:
    break

在加入DataLoder后，数据按照批次获取，每批次调用Dataset读取单个样本进行拼接。此时data的格式为：
torch.Size([10, 3, 64, 128]), torch.Size([10, 6])
前者为图像文件，为batchsize * chanel * height * width次序；后者为字符标签。

参考

• 一个很有用的数据增强的库——imgaug（附安装过程）
• torchvision简介
• Albumentations数据增强方法
• 本博客内容来自DataWhale CV项目学习