【图像处理】数据增广-平移变换

几何变换

一、简介

在目标检测深度学习中，经常出现数据量较少的情况，常用的扩大数据集的方式分为两种，一种为传统图像算法增广，另一种为深度学习数据增广。这里只记录下传统图像的数据增广。
传统图像算法中，常用几何变换来进行数据增广，其中常用方法有：缩放，平移，旋转，仿射等。

二、平移

从字面意思可以看出来，平移只限于图像在水平或者垂直的方向上移动一段距离。在图像处理中平移变换也是这样。图像可以看做为像素点组成，图像平移可以看做像素点在指定方向上的移动。
若要沿着$$（x,y)$$,方向移动一段距离$$(t_x,t_y)$$,可以构建如下移动矩阵（在python中使用numpy来构建）

$M=\left[\begin{array}{ccc}1& 0& t_x\\ 0& 1& t_y\end{array}\right]$

# -*- coding:utf-8 -*-
import os
import cv2
import numpy as np

if __name__ == '__main__':
	img = cv2.imread("img.jpg")
	h,w,n = img.shape
	print(h,w,n)   #252 250 3
	#使用numpy构建移动矩阵
	M = np.float32([[1,0,20],[0,1,30]])
    #第一个参数为原图像，第二个参数为移动矩阵，可以自定义，第三个参数为输出图像大小
	res = cv2.warpAffine(img,M,(h,w))
	cv2.imshow("img",res)
	cv2.waitKey(0)
	cv2.destroyAllWindows()

原图：
变换后：

三、旋转

旋转是将图像按照一定的角度进行所有像素都参与的旋转操作，和平移一样，需要预先设定一个旋转矩阵，旋转角度的选择也十分重要。

旋转矩阵格式如下：
$$M=\left[\begin{array}{ccc}\alpha & \beta & (1-\alpha )\ast cente{r}_x-\beta \ast certe{r}_y\\ -\beta & \alpha & \beta \ast cente{r}_x-(1-\alpha )\ast certe{r}_y\end{array}\right]$$

# -*- coding:utf-8 -*-
import os
import cv2
import numpy as np

if __name__ == '__main__':
	img = cv2.imread("img.jpg")
	h,w,n = img.shape
	print(h,w,n)   #252 250 3
	#使用opencv自带的方法构建旋转矩阵，第一个参数为旋转中心，
	#第二个参数为旋转角度，逆时针旋转，第三个参数为缩放比例，防止出界
	M = cv2.getRotationMatrix2D((w/2,h/2),-30,0.5)
	#第三个参数为
	res = cv2.warpAffine(img,M,(h,w))
	cv2.imshow("img",res)
	# cv2.imwrite("affine.jpg",res)
	cv2.waitKey(0)
	cv2.destroyAllWindows()

原图：
效果图：

四、仿射变换

仿射变换是一种二维坐标（x，y）到二维坐标（u，v）的线性变换
$$\{\begin{array}{l}u=a_{1}x+b_{1}y+c_1\\ v=a_{2}x+b_{2}y+c_2\end{array}$$
对应的齐次坐标矩阵表示形式为：
$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_1& b_1& c_1\\ a_1& b_2& c_2\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
仿射变换保持了二维图形的“平直性”（直线经仿射变换后依然为直线）和“平行性”（直线之间的相对位置关系保持不变，平行线经仿射变换后依然为平行线，且直线上点的位置顺序不会发生变化）。非共线的三对对应点确定一个唯一的仿射变换。

三个不共线的点可以得到一个平面，在仿射变换中，给定图片上的三个点对应的变换位置，可以得到整个图像的仿射变换结果。由于从是三个点求得矩阵的困难度较大，所以opencv支持给出三个点坐标和变换后的坐标，直接得到整个图像的结果。

# -*- coding:utf-8 -*-
import os
import cv2
import numpy as np

if __name__ == '__main__':
	img = cv2.imread("img.jpg")
	h,w,n = img.shape
	
	# 给出变换前后三个点的坐标值
	pts1 = np.float32([[10,20],[30,50],[50,100]])
	pts2 = np.float32([[20,40],[60,80],[100,150]])
	M = cv2.getAffineTransform(pts1,pts2)
	# 第三个参数依然是结果图的大小，防止变换后出界
	res = cv2.warpAffine(img,M,(h*2,w*2))
	cv2.imshow("img",res)
	cv2.imwrite("affine.jpg",res)
	cv2.waitKey(0)
	cv2.destroyAllWindows()

原图：

结果图：

五、总结

传统的数据增广方式多种多样，可以采取以上一种，也可以多种并用。在目标检测训练中，不仅要对图像进行增广扩充，更需要将其标注结果也进行一定的变换，使结果能够使用变换后的数据，这样才能达到数据增广的目的。标注框的变换其实和图像的变换一致，图像怎么变换，标注坐标就怎么变换，需要注意的时在变换构成中适当的对框进行一定的扩充，才能达到效果。
随着深度学习的发展，越来越多的数据增广方式被提出来，比如cutmix，cutout，mixout等针对像素级的变换，不对图像进行延伸，也能达到增广的效果。GAN网络也常用来进行数据增强的操作。