2020-05-23Datawhale 零基础入门CV赛事-Task2 数据读取与数据扩增

import sys
print(sys.executable)

D:\Programs\anaconda3\envs\py37_torch15_cpu\python.exe

import torch
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print(device)

cpu

1 Pillow

'''
pillow教程参考：https://www.liaoxuefeng.com/wiki/1016959663602400/1017785454949568
'''
%matplotlib inline
import matplotlib.pyplot as plt
from PIL import Image,ImageFilter
# 打开一个jpg图像文件，注意是当前路径:
im = Image.open('cat.jpg')
# 获得图像尺寸:
w, h = im.size
print('Original image size: %sx%s' % (w, h))
# 缩放到50%:
im.thumbnail((w//2, h//2))
print('Resize image to: %sx%s' % (w//2, h//2))
# 把缩放后的图像用jpeg格式保存:
im.save('thumbnail.jpg', 'jpeg')

Original image size: 500x668
Resize image to: 250x334

其他功能如切片、旋转、滤镜、输出文字、调色板等一应俱全。
比如，模糊效果也只需几行代码：

from PIL import Image, ImageFilter

# 打开一个jpg图像文件，注意是当前路径:
im = Image.open('cat.jpg')
# 应用模糊滤镜:
im2 = im.filter(ImageFilter.BLUR)
im2.save('blur.jpg', 'jpeg')

plt.subplot(1,2,1),plt.title('original image: cat.jpg')
plt.imshow(im),plt.axis('off')
plt.subplot(1,2,2),plt.title('blur iamge: blur.jpg')
plt.imshow(im2),plt.axis('off')

(, (-0.5, 499.5, 667.5, -0.5))

image.png

PIL的ImageDraw提供了一系列绘图方法，让我们可以直接绘图。比如要生成字母验证码图片：

from PIL import Image, ImageDraw, ImageFont, ImageFilter

import random

# 随机字母:
def rndChar():
    return chr(random.randint(65, 90))

# 随机颜色1:
def rndColor():
    return (random.randint(64, 255), random.randint(64, 255), random.randint(64, 255))

# 随机颜色2:
def rndColor2():
    return (random.randint(32, 127), random.randint(32, 127), random.randint(32, 127))

# 240 x 60:
width = 60 * 4
height = 60
image = Image.new('RGB', (width, height), (255, 255, 255))
# 创建Font对象:
font = ImageFont.truetype(r'C:/Windows/Fonts/Arial.ttf', 36)
# 创建Draw对象:
draw = ImageDraw.Draw(image)
# 填充每个像素:
for x in range(width):
    for y in range(height):
        draw.point((x, y), fill=rndColor())
# 输出文字:
for t in range(4):
    draw.text((60 * t + 10, 10), rndChar(), font=font, fill=rndColor2())
# 模糊:
image = image.filter(ImageFilter.BLUR)
image.save('code.jpg', 'jpeg')

plt.imshow(image)

image.png

如果运行的时候报错：

IOError: cannot open resource 这是因为PIL无法定位到字体文件的位置，可以根据操作系统提供绝对路径，比如：

'/Library/Fonts/Arial.ttf' 要详细了解PIL的强大功能，请请参考Pillow官方文档：

https://pillow.readthedocs.io/en/stable/

2 OpenCV

# 导入Opencv库
import cv2
 

img = cv2.imread('Goshawk.jpg')
# Opencv默认颜色通道顺序是BRG ， 转换一下
img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)    
# 转换为灰度图
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# Canny 边缘检测
edges = cv2.Canny(img, 30,70)
cv2.imwrite('Goshawk_canny.jpg', edges)

True

import matplotlib.pyplot as plt
plt.figure(dpi=250)
plt.subplot(1,3,1),plt.title('BRG channel ')
plt.imshow(img),plt.axis('off')
plt.subplot(1,3,2),plt.title('RGB channel')
plt.imshow(img_rgb),plt.axis('off')
img_canny = plt.imread('Goshawk_canny.jpg')
plt.subplot(1,3,3),plt.title('edge detection')
plt.imshow(img_canny),plt.axis('off')

(, (-0.5, 819.5, 511.5, -0.5))

image.png

OpenCV包含了众多的图像处理的功能，OpenCV包含了你能想得到的只要与图像相关的操作。此外OpenCV还内置了很多的图像特征处理算法，如关键点检测、边缘检测和直线检测等。
OpenCV官网：https://opencv.org/
OpenCV Github：https://github.com/opencv/opencv
OpenCV 扩展算法库：https://github.com/opencv/opencv_contrib

数据扩增方法

有哪些数据扩增方法？

数据扩增方法有很多：从颜色空间、尺度空间到样本空间，同时根据不同任务数据扩增都有相应的区别。
对于图像分类，数据扩增一般不会改变标签；对于物体检测，数据扩增会改变物体坐标位置；对于图像分割，数据扩增会改变像素标签。

常见的数据扩增方法

在常见的数据扩增方法中，一般会从图像颜色、尺寸、形态、空间和像素等角度进行变换。当然不同的数据扩增方法可以自由进行组合，得到更加丰富的数据扩增方法。

以torchvision为例，常见的数据扩增方法包括：

• transforms.CenterCrop 对图片中心进行裁剪
• transforms.ColorJitter 对图像颜色的对比度、饱和度和零度进行变换
• transforms.FiveCrop 对图像四个角和中心进行裁剪得到五分图像
• transforms.Grayscale 对图像进行灰度变换
• transforms.Pad 使用固定值进行像素填充
• transforms.RandomAffine 随机仿射变换
• transforms.RandomCrop 随机区域裁剪
• transforms.RandomHorizontalFlip 随机水平翻转
• transforms.RandomRotation 随机旋转
• transforms.RandomVerticalFlip 随机垂直翻转

转自：[https://blog.csdn.net/tzj1844400/article/details/106244703](https://blog.csdn.net/tzj1844400/article/details/106244703)

赛题任务是需要对图像中的字符进行识别，因此对于字符图片并不能进行翻转操作。比如字符6经过水平翻转就变成了字符9，会改变字符原本的含义。

下面解释以下各方法的具体含义

transforms.ColorJitter 对图像颜色的对比度、饱和度和零度进行变换
功能：修改亮度、对比度和饱和度

transforms.FiveCrop 对图像四个角和中心进行裁剪得到五分图像
功能：对图片进行上下左右以及中心裁剪，获得5张图片，返回一个4D-tensor
参数：

size- (sequence or int)，若为sequence,则为(h,w)，若为int，则(size,size)
transforms.Resize 对图像进行尺寸缩放
功能：重置图像分辨率
参数：

size- If size is an int, if height > width, then image will be rescaled to (size * height / width, size)，所以建议size设定为h*w
interpolation- 插值方法选择，默认为PIL.Image.BILINEAR
ransforms.Grayscale 对图像进行灰度变换
功能：将图片转换为灰度图
参数：

num_output_channels- (int) ，当为1时，正常的灰度图，当为3时， 3 channel with r == g == b
transforms.Pad 使用固定值进行像素填充
功能：对图像进行填充
参数：

padding-(sequence or int, optional)，此参数是设置填充多少个pixel。
当为int时，图像上下左右均填充int个，例如padding=4，则上下左右均填充4个pixel，若为3232，则会变成4040。
当为sequence时，若有2个数，则第一个数表示左右扩充多少，第二个数表示上下的。当有4个数时，则为左，上，右，下。
fill- (int or tuple)
填充的值是什么（仅当填充模式为constant时有用）。int时，各通道均填充该值，当长度为3的tuple时，表示RGB通道需要填充的值。
padding_mode- 填充模式，这里提供了4种填充模式，
1.constant，常量
2.edge 按照图片边缘的像素值来填充。
3.reflect，
4.symmetric
transforms.RandomAffine 随机仿射变换
功能：仿射变换

transforms.CenterCrop 中心裁剪
功能：以输入图的中心点为中心点做指定size的crop操作，一般数据增强不会采用这个，因为当size固定的时候，在相同输入图像的情况下，N次CenterCrop的结果都是一样的。

transforms.RandomCrop 随机区域裁剪
功能：依据给定的size随机裁剪, crop时的中心点坐标是随机的
参数：

size- (sequence or int)，若为sequence,则为(h,w)，若为int，则(size,size)
padding-(sequence or int, optional)，此参数是设置填充多少个pixel。
当为int时，图像上下左右均填充int个，例如padding=4，则上下左右均填充4个pixel，若为32 32，则会变成40 40。
当为sequence时，若有2个数，则第一个数表示左右扩充多少，第二个数表示上下的。当有4个数时，则为左，上，右，下。 fill-
(int or tuple)
填充的值是什么（仅当填充模式为constant时有用）。int时，各通道均填充该值，当长度为3的tuple时，表示RGB通道需要填充的值。
padding_mode- 填充模式，这里提供了4种填充模式，1.constant，常量。
2.edge 按照图片边缘的像素值来填充。
3.reflect。
symmetric。
transforms.RandomResizedCrop 随机长宽比裁剪
功能：随机大小，随机长宽比裁剪原始图片，最后将图片resize到设定好的size，总的来讲就是先做crop（用到scale和ratio），再resize到指定尺寸（用到size）。做crop的时候，其中心点坐标和长宽是由get_params方法得到的，在get_params方法中主要用到两个参数：scale和ratio，首先在scale限定的数值范围内随机生成一个数，用这个数乘以输入图像的面积作为crop后图像的面积；然后在ratio限定的数值范围内随机生成一个数，表示长宽的比值，根据这两个值就可以得到crop图像的长宽了。至于crop图像的中心点坐标，也是类似RandomCrop类一样是随机生成的，比较常用

size- 输出的分辨率
scale- 随机crop的大小区间，如scale=(0.08, 1.0)，表示随机crop出来的图片会在的0.08倍至1倍之间。
ratio- 随机长宽比设置
interpolation- 插值的方法，默认为双线性插值
transforms.RandomHorizontalFlip 随机水平翻转
功能：依据概率p对PIL图片进行水平翻转，通俗讲就是图像的左右对调
参数：
p- 概率，默认值为0.5

transforms.RandomRotation 随机旋转
功能：依degrees随机旋转一定角度
参数：

degress- (sequence or float or int) ，若为单个数，如 30，则表示在（-30，+30）之间随机旋转， 若为sequence，如(30，60)，则表示在30-60度之间随机旋转 resample- 重采样方法选择，可选
PIL.Image.NEAREST, PIL.Image.BILINEAR, PIL.Image.BICUBIC，默认为最近邻
expand-
center- 可选为中心旋转还是左上角旋转
transforms.RandomVerticalFlip 随机垂直翻转
功能：依据概率p对图片进行垂直翻转，通俗讲就是图像的上下对调
参数：
p- 概率，默认值为0.5

transforms.Normalize 标准化
功能：对数据按通道进行标准化，即先减均值，再除以标准差，注意是 (h w c)

其他方法参考https://blog.csdn.net/u011995719/article/details/85107009
————————————————
版权声明：本文为CSDN博主「tzj1844400」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/tzj1844400/article/details/106244703

常用的数据扩增库

• torchvision

  https://github.com/pytorch/vision
  pytorch官方提供的数据扩增库，提供了基本的数据数据扩增方法，可以无缝与torch进行集成；但数据扩增方法种类较少，且速度中等；

• imgaug

  https://github.com/aleju/imgaug
  imgaug是常用的第三方数据扩增库，提供了多样的数据扩增方法，且组合起来非常方便，速度较快；

• albumentations

  https://albumentations.readthedocs.io
  是常用的第三方数据扩增库，提供了多样的数据扩增方法，对图像分类、语义分割、物体检测和关键点检测都支持，速度较快。

4 Pytorch读取数据

由于本次赛题我们使用Pytorch框架讲解具体的解决方案，接下来将是解决赛题的第一步使用Pytorch读取赛题数据。
在Pytorch中数据是通过Dataset进行封装，并通过DataLoder进行并行读取。所以我们只需要重载一下数据读取的逻辑就可以完成数据的读取。

'''
转自：https://blog.csdn.net/qq_34272713/article/details/106266164

'''

2.5 torch的Dataset和DataLoader

pytorch提供了一个数据读取的方法，其由两个类构成：torch.utils.data.Dataset 和 DataLoader
我们要自定义自己数据读取的方法，就需要继承torch.utils.data.Dataset，并将其封装到DataLoader中
torch.utils.data.Dataset表示该数据集，继承该类可以重载其中的方法，实现多种数据读取及数据预处理方式
torch.utils.data.DataLoader 封装了Data对象，实现单（多）进程迭代器输出数据集
2.5.1 torch.utils.data.Dataset

要自定义自己的Dataset类，至少要重载两个方法，__ len __, __ getitem __
__len__返回的是数据集的大小
__getitem__实现索引数据集中的某一个数据
除了这两个基本功能，还可以在__getitem__时对数据进行预处理，或者是直接在硬盘中读取数据，对于超大的数据集还可以使用lmdb来读取
getitem 就是使得input 和output一一对应的关键

2.5.2 torch.utils.data.Dataloader

Dataloader将Dataset或其子类封装成一个迭代器
这个迭代器可以迭代输出Dataset的内容
同时可以实现多进程、shuffle、不同采样策略，数据校对等等处理过程
————————————————
版权声明：本文为CSDN博主「Teague_DZ」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_34272713/java/article/details/106266164

import os, sys, glob, shutil, json
import cv2

from PIL import Image
import numpy as np

import torch
from torch.utils.data.dataset import Dataset
import torchvision.transforms as transforms

class SVHNDataset(Dataset):
    def __init__(self, img_path, img_label, transform=None):
        self.img_path = img_path
        self.img_label = img_label 
        if transform is not None:
            self.transform = transform
        else:
            self.transform = None

    def __getitem__(self, index):
        img = Image.open(self.img_path[index]).convert('RGB')

        if self.transform is not None:
            img = self.transform(img)
        
        # 原始SVHN中类别10为数字0
        lbl = np.array(self.img_label[index], dtype=np.int)
        lbl = list(lbl)  + (5 - len(lbl)) * [10]
        
        return img, torch.from_numpy(np.array(lbl[:5]))

    def __len__(self):
        return len(self.img_path)

train_path = glob.glob('./input/mchar_train/mchar_train/*.png')
train_path.sort()
train_json = json.load(open('./input/mchar_train.json'))
train_label = [train_json[x]['label'] for x in train_json]

data = SVHNDataset(train_path, train_label,
          transforms.Compose([
              # 缩放到固定尺寸
              transforms.Resize((64, 128)),

              # 随机颜色变换
              transforms.ColorJitter(0.2, 0.2, 0.2),

              # 加入随机旋转
              transforms.RandomRotation(5),

              # 将图片转换为pytorch 的tesntor
              # transforms.ToTensor(),

              # 对图像像素进行归一化
              # transforms.Normalize([0.485,0.456,0.406],[0.229,0.224,0.225])
            ]))

接下来我们将在定义好的Dataset基础上构建DataLoder，你可以会问有了Dataset为什么还要有DataLoder？其实这两个是两个不同的概念，是为了实现不同的功能。

Dataset：对数据集的封装，提供索引方式的对数据样本进行读取
DataLoder：对Dataset进行封装，提供批量读取的迭代读取
加入DataLoder后，数据读取代码改为如下：

import os, sys, glob, shutil, json
import cv2

from PIL import Image
import numpy as np

import torch
from torch.utils.data.dataset import Dataset
import torchvision.transforms as transforms

class SVHNDataset(Dataset):
    def __init__(self, img_path, img_label, transform=None):
        self.img_path = img_path
        self.img_label = img_label 
        if transform is not None:
            self.transform = transform
        else:
            self.transform = None

    def __getitem__(self, index):
        img = Image.open(self.img_path[index]).convert('RGB')

        if self.transform is not None:
            img = self.transform(img)
        
        # 原始SVHN中类别10为数字0
        lbl = np.array(self.img_label[index], dtype=np.int)
        lbl = list(lbl)  + (5 - len(lbl)) * [10]
        
        return img, torch.from_numpy(np.array(lbl[:5]))

    def __len__(self):
        return len(self.img_path)

train_path = glob.glob('./input/mchar_train/mchar_train/*.png')
train_path.sort()
train_json = json.load(open('./input/mchar_train.json'))
train_label = [train_json[x]['label'] for x in train_json]

train_loader = torch.utils.data.DataLoader(
        SVHNDataset(train_path, train_label,
                   transforms.Compose([
                       transforms.Resize((64, 128)),
                       transforms.ColorJitter(0.3, 0.3, 0.2),
                       transforms.RandomRotation(5),
                       transforms.ToTensor(),
                       transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
            ])), 
    batch_size=10, # 每批样本个数
    shuffle=False, # 是否打乱顺序
    num_workers=10, # 读取的线程个数
)

for data in train_loader:
    break

在加入DataLoder后，数据按照批次获取，每批次调用Dataset读取单个样本进行拼接。此时data的格式为：
torch.Size([10, 3, 64, 128]), torch.Size([10, 6])
前者为图像文件，为batchsize * chanel * height * width次序；后者为字符标签。