Datawhale 计算机视觉基础-图像处理（上）-Task02 几何变换
简介
该部分将对基本的几何变换进行学习，几何变换的原理大多都是相似，只是变换矩阵不同，因此，我们以最常用的平移和旋转为例进行学习。在深度学习领域，我们常用平移、旋转、镜像等操作进行数据增广；在传统CV领域，由于某些拍摄角度的问题，我们需要对图像进行矫正处理，而几何变换正是这个处理过程的基础，因此了解和学习几何变换也是有必要的。
思考几个问题，以旋转为例：
- 变换的形式（公式）是什么？
- 旋转中心是什么？毕竟以不同位置为旋转中心得到的结果是不一样的。
- 采用前向映射还是反向映射？(反向映射更为有效)
- 采用反向映射后，采用何种插值算法？最常用的的是双线性插值，OpenCV也是默认如此。
学习目标
- 了解几何变换的概念与应用
- 理解平移、旋转的原理
- 掌握在OpenCV框架下实现平移、旋转操作
内容介绍
- 平移、旋转的原理
- OpenCV代码实践
- 动手实践
算法理论介绍
变换形式
先看第一个问题，变换的形式。与OpencV不同的是这里采取冈萨雷斯的《数字图像处理_第三版》的变换矩阵方式，关于OpenCV的策略可以看它的官方文档。根据冈萨雷斯书中的描述，仿射变换的一般形式如下：
式中的T就是变换矩阵，其中 (v,w)为原坐标，(x,y) 为变换后的坐标，不同的变换对应不同的矩阵，这里也贴出来吧，一些常见的变换矩阵及作用如下表：
也就是说，我们根据自己的目的选择不同变换矩阵就可以了。
坐标系变换
再看第二个问题，变换中心，对于缩放、平移可以以图像坐标原点（图像左上角为原点）为中心变换，这不用坐标系变换，直接按照一般形式计算即可。而对于旋转和偏移，一般是以图像中心为原点，那么这就涉及坐标系转换了。
我们都知道，图像坐标的原点在图像左上角，水平向右为 X 轴，垂直向下为 Y 轴。数学课本中常见的坐标系是以图像中心为原点，水平向右为 X 轴，垂直向上为 Y 轴，称为笛卡尔坐标系。看下图:
因此，对于旋转和偏移，就需要3步（3次变换）：
- 将输入原图图像坐标转换为笛卡尔坐标系；
- 进行旋转计算。旋转矩阵前面已经给出了；
- 将旋转后的图像的笛卡尔坐标转回图像坐标。
图像坐标系与笛卡尔坐标系转换关系：
先看下图：
在图像中我们的坐标系通常是AB和AC方向的,原点为A，而笛卡尔直角坐标系是DE和DF方向的，原点为D。 令图像表示为M×N的矩阵，对于点A而言，两坐标系中的坐标分别是(0，0)和(-N/2,M/2)，则图像某像素点(x’,y’)转换为笛卡尔坐标（x,y）转换关系为，x为列，y为行：
逆变换为：
于是，根据前面说的3个步骤（3次变换），旋转(顺时针旋转)的变换形式就为，3次变换就有3个矩阵：
反向映射
看第3个问题，在冈萨雷斯的《数字图像处理_第三版》中说的很清楚，前向映射就是根据原图用变换公式直接算出输出图像相应像素的空间位置，那么这会导致一个问题：可能会有多个像素坐标映射到输出图像的同一位置，也可能输出图像的某些位置完全没有相应的输入图像像素与它匹配，也就是没有被映射到，造成有规律的空洞（黑色的蜂窝状）。更好的一种方式是采用 反向映射（Inverse Mapping）：扫描输出图像的位置(x,y)，通过 
（T^-1为T的逆矩阵）计算输入图像对应的位置 (v,w)，通过插值方法决定输出图像该位置的灰度值。
插值
第4个问题，采用反向映射后，需通过插值方法决定输出图像该位置的值，因此需要选择插值算法。通常有最近邻插值、双线性插值，双三次插值等，OpencV默认采用双线性插值，我们也就采用双线性插值。
基于OpenCV的实现（python）
原图
1、旋转
import cv2
import numpy as np
img = cv2.imread('miaoa.jpg',cv2.IMREAD_UNCHANGED)
row, col, channel = img.shape
# 旋转
M = cv2.getRotationMatrix2D((col/2,row/3), 90, 0.4)
dst = cv2.warpAffine(img, M, (col, row))
cv2.imshow('img', dst)
cv2.waitKey(0)
cv2.destroyAllWindows()
效果
# 平移
M = np.float32([[1,0,100],[0,1,50]])
dst = cv2.warpAffine(img, M, (col, row))
cv2.imshow('img', dst)
cv2.waitKey(0)
cv2.destroyAllWindows()
效果
相关技术文档、博客、教材、项目推荐
opencv文档
博客：
- 图像的仿射变换原理及c++实现（旋转，平移，缩放，偏移，组合变换）
- 第三章 图像的几何变换
- 图像的几何变换
python版本：图像的几何变换
关于Datawhale：
Datawhale是一个专注于数据科学与AI领域的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员。Datawhale以“for the learner，和学习者一起成长”为愿景，鼓励真实地展现自我、开放包容、互信互助、敢于试错和勇于担当。同时Datawhale 用开源的理念去探索开源内容、开源学习和开源方案，赋能人才培养，助力人才成长，建立起人与人，人与知识，人与企业和人与未来的联结。