用OpenCV（C++/Python）将一个三角形扭曲到另一个三角形上

                               图1：左图中蓝色三角形内的所有像素都已转换为右图中的蓝色三角形。

 

在本教程中，我们将了解如何将图像中的一个三角形扭曲为另一个图像中的另一个三角形。在计算机图形学中，人们总是处理弯曲三角形，因为任何三维曲面都可以用三角形来近似。图像可以分解成三角形并扭曲。但是，在OpenCV中，没有现成的方法可以将三角形内的像素扭曲为另一个三角形内的像素。

在深入研究代码之前，我们需要了解什么是仿射变换。

什么是仿射变换？

仿射变换是将一组三点（即三角形）转换为另一组任意三点的最简单方法。它编码平移（移动）、缩放、旋转和剪切。下图说明了如何使用仿射变换来更改正方形的形状。请注意，使用仿射变换可以在任何方向和比例上将正方形的形状改为平行四边形。然而，仿射变换不够灵活，无法将正方形转换为任意四边形。换句话说，在仿射变换之后，平行线继续是平行的。

在opencv中，仿射变换是一个2×3矩阵。矩阵的前两列编码旋转、缩放和剪切，最后一列编码平移（即移位）。

给定一个点（x，y），上面的仿射变换使用下面给出的公式将其移动到点（x，y，t）

 

使用opencv的三角形扭曲

为了更好地理解下面的描述，请订阅我们的通讯，下载C++和Python代码和图像。

我们现在知道要将一个三角形弯曲到另一个三角形，我们需要使用仿射变换。在opencv中，warpaffine允许将仿射变换应用于图像，但不应用于图像中的三角形区域。为了克服这个限制，我们在源三角形周围找到一个边界框，并从源图像中裁剪矩形区域。然后将仿射变换应用于裁剪后的图像，得到输出图像。前一步非常重要，因为它允许我们将仿射变换应用于图像的一个小区域，从而提高计算性能。最后，我们用白色填充输出三角形内的像素来创建一个三角形遮罩。当与输出图像相乘时，该遮罩将三角形外的所有像素变为黑色，同时保留三角形内所有像素的颜色。

在详细介绍之前，让我们先阅读输入和输出图像，并定义输入和输出三角形。对于本教程，我们的输出图像只是白色的，但是如果您愿意，您可以阅读其他图像。

C++：

// 读入图像，归一化转化为浮点型
Mat img1 = imread("robot.jpg");
img1.convertTo(img1, CV_32FC3, 1/255.0);

// 输出图像设置为白色
Mat imgOut = Mat::ones(imgIn.size(), imgIn.type());
imgOut = Scalar(1.0,1.0,1.0);

// 输入三角形
vector  tri1;
tri1.push_back(Point2f(360,200));
tri1.push_back(Point2d(60,250));
tri1.push_back(Point2f(450,400));

// 输出三角形
vector  triOut;
tri2.push_back(Point2f(400,200));
tri2.push_back(Point2f(160,270));
tri2.push_back(Point2f(400,400));

Python：

# 读入图像并转化为浮点型
img1 = cv2.imread("robot.jpg")

# 输出图像被设置为白色
img2 = 255 * np.ones(img_in.shape, dtype = img_in.dtype)

# 定义输入输出三角形 
tri1 = np.float32([[[360,200], [60,250], [450,400]]])
tri2 = np.float32([[[400,200], [160,270], [400,400]]]

我们的输入和输出现在已经定义好了，我们准备完成将输入三角形内的所有像素转换为输出三角形所需的步骤。

1、计算边界框

在这个步骤中，我们计算三角形周围的边界框。其思想是只弯曲图像的一小部分，而不是整个图像以提高效率。

C++：

// 计算每个三角形的边框
Rect r1 = boundingRect(tri1);
Rect r2 = boundingRect(tri2);

Python：

# 计算每个三角形的边框
r1 = cv2.boundingRect(tri1)
r2 = cv2.boundingRect(tri2)

2、裁剪图像和更改坐标

为了有效地将仿射变换应用于一幅图像而不是整个图像，我们基于上一步计算的边界框裁剪输入图像。三角形的坐标也需要修改，以反映它们在新裁剪图像中的位置。这是通过从三角形的X和Y坐标中减去边界框左上角的X和Y坐标来完成的。

C++：

// 各矩形左上角的偏移点
vector tri1Cropped, tri2Cropped;
vector tri2CroppedInt;

for(int i = 0; i < 3; i++)
{
	tri1Cropped.push_back( Point2f( tri1[i].x - r1.x, tri1[i].y -  r1.y) );
	tri2Cropped.push_back( Point2f( tri2[i].x - r2.x, tri2[i].y - r2.y) );

	// FillConverxpoly需要一个点向量而不是点2f
	tri2CroppedInt.push_back( Point((int)(tri2[i].x - r2.x), (int)(tri2[i].y - r2.y)) );
}

// 将扭曲图像应用于小矩形面片
Mat img1Cropped;
img1(r1).copyTo(img1Cropped);

Python：

# Offset points by left top corner of the 
# respective rectangles

tri1Cropped = []
tri2Cropped = []

for i in xrange(0, 3):
	tri1Cropped.append(((tri1[0][i][0] - r1[0]),(tri1[0][i][1] - r1[1])))
	tri2Cropped.append(((tri2[0][i][0] - r2[0]),(tri2[0][i][1] - r2[1])))

# Apply warpImage to small rectangular patches
img1Cropped = img1[r1[1]:r1[1] + r1[3], r1[0]:r1[0] + r1[2]]

 

3、估计仿射变换：我们刚刚得到了裁剪后的输入输出图像中输入输出三角形的坐标。使用这两个三角形，我们可以使用仿射变换，它将使用以下代码将裁剪图像中的输入三角形转换为输出三角形。

C++：

// 给定一对三角形，进行仿射变换。
Mat warpMat = getAffineTransform( tri1Cropped, tri2Cropped );

Python：

# Given a pair of triangles, find the affine transform.
warpMat = cv2.getAffineTransform( np.float32(tri1Cropped), np.float32(tri2Cropped) )

4、在边界框内扭曲像素

对裁剪后的输入图像进行上一步的仿射变换，得到裁剪后的输出图像。在OpenCV中，可以使用warpAffine将仿射变换应用于图像。

C++：

// 将刚找到的仿射变换应用于源图像
Mat img2Cropped = Mat::zeros(r2.height, r2.width, img1Cropped.type());
warpAffine( img1Cropped, img2Cropped, warpMat, img2Cropped.size(), INTER_LINEAR, BORDER_REFLECT_101);

Python：

# Apply the Affine Transform just found to the src image
img2Cropped = cv2.warpAffine( img1Cropped, warpMat, (r2[2], r2[3]), None, flags=cv2.INTER_LINEAR, borderMode=cv2.BORDER_REFLECT_101 )

5、遮罩三角形外的像素

在前面的步骤中，我们得到了输出矩形图像。然而，我们对矩形区域内的三角形感兴趣。因此，我们使用FillConverExpoly创建一个遮罩，用于消除三角形外的所有像素。使用输出边界矩形的左上角，可以将新裁剪的图像最终放置在输出图像的右位置。

C++：

// 填充三角形获得遮罩
Mat mask = Mat::zeros(r2.height, r2.width, CV_32FC3);
fillConvexPoly(mask, tri2CroppedInt, Scalar(1.0, 1.0, 1.0), 16, 0);

// 将矩形面片的三角形区域复制到输出图像
multiply(img2Cropped, mask, img2Cropped);
multiply(img2(r2), Scalar(1.0,1.0,1.0) - mask, img2(r2));
img2(r2) = img2(r2) + img2Cropped;

Python：

# Get mask by filling triangle
mask = np.zeros((r2[3], r2[2], 3), dtype = np.float32)
cv2.fillConvexPoly(mask, np.int32(tri2Cropped), (1.0, 1.0, 1.0), 16, 0);

# Apply mask to cropped region
img2Cropped = img2Cropped * mask

# Copy triangular region of the rectangular patch to the output image
img2[r2[1]:r2[1]+r2[3], r2[0]:r2[0]+r2[2]] = img2[r2[1]:r2[1]+r2[3], r2[0]:r2[0]+r2[2]] * ( (1.0, 1.0, 1.0) - mask )

img2[r2[1]:r2[1]+r2[3], r2[0]:r2[0]+r2[2]] = img2[r2[1]:r2[1]+r2[3], r2[0]:r2[0]+r2[2]] + img2Cropped

这就结束了本教程。如需源码，私信我。