TensorFlow数据增强——图像预处理

数据增强：当训练数据非常有限时，可以通过一些变换，从已有训练集去生成一些新的数据，来人工扩大训练集样本个数，从而获得更充足的训练集，使模型训练效果更好。通常可采用：水平翻转、改变对比度、随机裁剪等方式。

1. 图像编码处理

一张RGB色彩模式的图像可以看成一个三维矩阵，矩阵中每个数表示图像上不同位置、不同颜色的亮度。但是图像存储不是直接记录这些数字，而是记录压缩编码后的结果。所以要将三维图像还原成三维矩阵，还需要解码。TensorFlow提供了图像编码和解码的函数。

import matplotlib.pyplot as plt
import tensorflow as tf
import numpy as np

#读取图像的原始数据
image_raw_data = tf.gfile.FastGFile('dog.jpg','rb').read()

with tf.Session() as sess:
    #对图像进行jpeg的格式解码从而得到图像对应的三维矩阵
    img_data = tf.image.decode_jpeg(image_raw_data)
    #img_data = tf.image.decode_png(image_raw_data) #对png格式图像解码
    
    #解码后的结果是一个张量
    print(img_data.eval())
    
    #可视化
    plt.imshow(img_data.eval())
    plt.show()

图像编码处理-输出结果

2. 图像缩放

tf.image.resize_images(images, new_height, new_width, method)
神经网络输入的节点个数是固定的，所以在将图像像素作为输入提供给神经网络之前，要将图像大小进行统一。

• 双线性插值法 ResizeMethod.BILINEAR(默认设置)，对应method=0
• 最近邻插值法 NEAREST_NEIGHBOR，对应method=1
• 双立方插值法 BICUBIC，对应method=2
• 像素区域插值法 AREA，对应method=3

#处理后图像差别不大，以method=0为例
with tf.Session() as sess:
    resized1 = tf.image.resize_images(img_data,[256,256],method=0)
    resized1 = np.asarray(resized1.eval(),dtype="uint8")
    plt.imshow(resized1)
    plt.show()

图像缩放

3. 剪裁或填充后缩放

tf.image.resize_image_with_crop_or_pad(image, target_height, target_width)
如果目标图像尺寸小于原始图像尺寸，则在中心位置剪裁，反之则用黑色像素进行填充。

with tf.Session() as sess:
    #对图像进行jpeg的格式解码从而得到图像对应的三维矩阵
    img_data = tf.image.decode_jpeg(image_raw_data)
    croped = tf.image.resize_image_with_crop_or_pad(img_data,200,200)
    plt.imshow(croped.eval())
    plt.show()

在中心位置裁剪

with tf.Session() as sess:
    #对图像进行jpeg的格式解码从而得到图像对应的三维矩阵
    img_data = tf.image.decode_jpeg(image_raw_data)
    croped = tf.image.resize_image_with_crop_or_pad(img_data,800,800)
    plt.imshow(croped.eval())
    plt.show()

黑色像素填充

4. 随机裁剪

tf.image.random_crop(image, size, seed=None, name=None)

with tf.Session() as sess:
    img_data = tf.image.decode_jpeg(image_raw_data)
    random_croped = tf.random_crop(img_data,[200,200,3])
    plt.imshow(random_croped.eval())
    plt.show()

随机裁剪

5. 水平翻转

tf.image.flip_left_right(img_data)

with tf.Session() as sess:
    img_data = tf.image.decode_jpeg(image_raw_data)
    plt.imshow(img_data.eval())
    plt.axis('off')
    plt.show()
    flip_left_right = tf.image.flip_left_right(img_data)
    plt.imshow(flip_left_right.eval())
    plt.axis('off')
    plt.show()

水平翻转

6. 上下翻转

with tf.Session() as sess:
    img_data = tf.image.decode_jpeg(image_raw_data)
    plt.imshow(img_data.eval())
    plt.axis('off')
    plt.show()
    flip_up_down = tf.image.flip_up_down(img_data)
    plt.imshow(flip_up_down.eval())
    plt.axis('off')
    plt.show()

上下翻转

7. 改变对比度

tf.image.random_contrast

with tf.Session() as sess:
    img_data = tf.image.decode_jpeg(image_raw_data)
    plt.imshow(img_data.eval())
    plt.show()
    
    #将图像对比度降低至原来的二分之一
    contrast = tf.image.adjust_contrast(img_data,0.5)
    #将图像对比度提高至原来的5倍
    #contrast = tf.image.adjust_contrast(img_data,5)
    #在[lower,upper]范围随机调整图像对比度
    #contrast = tf.image.random_contrast(img_data,lower=0.2,upper=3)
    
    plt.imshow(contrast.eval())
    plt.show()

对比度减半

8. 白化处理

将图像的像素值转化成零均值和单位方差

with tf.Session() as sess:
    img_data = tf.image.decode_jpeg(image_raw_data)
    plt.imshow(img_data.eval())
    plt.show()
    standardization = tf.image.per_image_standardization(img_data)
    plt.imshow(np.asanyarray(standardization.eval(), dtype='uint8'))
    plt.show()

白化处理