深度学习第10周，数据增强

• 本文为365天深度学习训练营 中的学习记录博客
• 参考文章：365天深度学习训练营-第10周：数据增强（训练营内部成员可读）
• 原作者：K同学啊|接辅导、项目定制
  第10周：数据增强
  ● 难度：夯实基础⭐⭐
  ● 语言：Python3、TensorFlow2

要求：

1. 学会在代码中使用数据增强手段来提高acc
2. 请探索更多的数据增强手段并记录

一、前期工作

import matplotlib.pyplot as plt
import numpy as np
import tensorflow as tf
from tensorflow.keras import layers,models

import warnings
warnings.filterwarnings('ignore')
gpus = tf.config.list_physical_devices("GPU")

if gpus:
    tf.config.experimental.set_memory_growth(gpus[0], True)  #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpus[0]],"GPU")

data_dir = '/home/mw/input/88559128/dataset/dataset/365-7-data'
img_height = 224
img_width = 224
batch_size = 32

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
        data_dir,
        validation_split=0.3,
        subset='training',
        seed=12,
        image_size=(img_height,img_width),
        batch_size=batch_size)

Found 3400 files belonging to 2 classes.
Using 2380 files for training.

val_ds = tf.keras.preprocessing.image_dataset_from_directory(
        data_dir,
        validation_split=0.3,
        subset='validation',
        seed=12,
        image_size=(img_height,img_width),
        batch_size=batch_size)

Found 3400 files belonging to 2 classes.
Using 1020 files for validation

知识点 ：创建测试集

使用 tf.data.experimental.cardinality(cardinality基数) 确定验证集中有多少批次的数据，然后将其中的 20% 移至测试集。

val_batches = tf.data.experimental.cardinality(val_ds) #,可通过.numpy()获取到批次数量,1020/32=31.875
test_ds = val_ds.take(val_batches//5)
val_ds = val_ds.skip(val_batches//5) #跳过20%

print('Number of validation batches: %d' % tf.data.experimental.cardinality(val_ds))
print('Number of test batches: %d' % tf.data.experimental.cardinality(test_ds))
class_names = train_ds.class_names
print(class_names)

Number of validation batches: 26
Number of test batches: 6
[‘cat’, ‘dog’]

归一化

AUTOTUNE = tf.data.experimental.AUTOTUNE

def preprocess_image(image,label):
    return (image/255.0,label)

train_ds = train_ds.map(preprocess_image,num_parallel_calls=AUTOTUNE) #If the value`tf.data.AUTOTUNE` is used, then the number of parallel
val_ds = val_ds.map(preprocess_image,num_parallel_calls=AUTOTUNE)     #calls is set dynamically based on available CPU.
test_ds = test_ds.map(preprocess_image,num_parallel_calls=AUTOTUNE)

train_ds = train_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
val_ds = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

plt.figure(figsize=(20,10))

for images,labels in train_ds.take(1):
    for i in range(10):
        ax = plt.subplot(5,10,i+1)
        plt.imshow(images[i])
        plt.title(class_names[labels[i]])
        plt.axis('off')

知识点 数据增强

数据增强主要是为了在数据量不够的情况下，仍可以训练出较好的模型

• 那么该如何获得更多数据呢？
  对于一个欠训练的神经网络，对同一张图片进行一些简单操作，它会认为是两个不同的图片
  
  比如下面的对同一网球的位移图像
  一个卷积神经网络，如果能够对物体即使它放在不同的地方也能稳健的分类，就被称为具有不变性的属性。更具体的，CNN可以对移位（translation）、视角（viewpoint）、大小（size）、照明（illumination）（或者以上的组合）具有不变性。

这本质上是数据增强的前提。在现实场景中，我们可能会有一批在有限场景中拍摄的数据集。但是我们的目标应用可能存在于不同的条件，比如在不同的方向、位置、缩放比例、亮度等。我们通过额外合成的数据来训练神经网络来解释这些情况。（参考文章链接https://zhuanlan.zhihu.com/p/41679153）
这里我们只考虑最简单的图片旋转和翻转

我们可以使用 tf.keras.layers.experimental.preprocessing.RandomFlip 与 tf.keras.layers.experimental.preprocessing.RandomRotation 进行数据增强

• tf.keras.layers.experimental.preprocessing.RandomFlip：水平和垂直随机翻转每个图像。
• tf.keras.layers.experimental.preprocessing.RandomRotation：随机旋转每个图像

#这相当于一个数据增强层
data_augmentation = tf.keras.Sequential([
    tf.keras.layers.experimental.preprocessing.RandomFlip('horizontal_and_vertical'),
    tf.keras.layers.experimental.preprocessing.RandomRotation(0.2),
])
#第一个层表示进行随机的水平和垂直翻转，而第二个层表示按照 0.2 的弧度值进行随机旋转。

#将图片扩展一个维度
image = tf.expand_dims(images[i],0)
plt.figure(figsize=(8,8))
for i in range(9):
    augmented_image = data_augmentation(image)#对从train_ds中得到的images进行数据增强处理
    ax = plt.subplot(3,3,i+1)
    plt.imshow(augmented_image[0])
    plt.axis('off')

三、增强方式

方法一、嵌入model中

model = tf.keras.Sequential([
    data_augmentation,
    layers.Conv2D(16，(3,3),padding='same',activation='relu'),
    layers.MaxPool2D((2,2)),
])

这样做的好处是：

• 数据增强这块的工作可以得到GPU的加速（如果你使用了GPU训练的话）
  注意：只有在模型训练时（Model.fit）才会进行增强，在模型评估(Model.evaluate)以及预测(Model.predict)时并不会进行增强操作

方法二、在Dataset数据集中进行数据增强

batch_size = 32
AUTOTUNE = tf.data.experimental.AUTOTUNE
 
def prepare(ds):
    ds = ds.map(lambda x, y: (data_augmentation(x, training=True), y), num_parallel_calls=AUTOTUNE)
    return ds

train_ds = prepare(train_ds)

四、训练模型

model = tf.keras.Sequential([
    layers.Conv2D(32,(3,3),padding='same',activation='relu',input_shape=(224,224,3)),
    layers.MaxPooling2D(),
    layers.Conv2D(64,(3,3),padding='same',activation='relu'),
    layers.MaxPooling2D(),
    layers.Conv2D(128,(3,3),padding='same',activation='relu'),
    layers.MaxPooling2D(),
    
    layers.Flatten(),
    layers.Dense(128,activation='relu'),
    layers.Dense(2,activation='softmax')
])

model.compile(optimizer='adam',
             loss=tf.keras.losses.SparseCategoricalCrossentropy(),
             metrics=['accuracy'])

epochs=20
history = model.fit(
    train_ds,
    validation_data=val_ds,
    epochs=epochs
)

Epoch 20/20
loss: 0.0930 - accuracy: 0.9681 - val_loss: 0.1715 - val_accuracy: 0.9384

loss,acc = model.evaluate(test_ds)
print('Accuracy',acc)

loss: 0.0978 - accuracy: 0.9583
Accuracy 0.9583333134651184

五、自定义增强函数

import random
#这是一个可以自由发挥的地方
def aug_img(image):
    seed = (random.randint(0,9),0)
    #随机改变图像对比度
    stateless_random_brightness =tf.image.stateless_random_contrast(image,lower=0.1,upper=0.1,seed=seed)
    return stateless_random_brightness

同样的可以将该函数作用到训练集数据上以实现数据增强