使用 OpenCV 进行图像投影变换

使用 OpenCV 进行图像投影变换_第1张图片

投影变换(仿射变换)

在数学中,线性变换是将一个向量空间映射到另一个向量空间的函数,通常由矩阵实现。如果映射保留向量加法和标量乘法,则映射被认为是线性变换。

要将线性变换应用于向量(即,一个点的坐标,在我们的例子中——像素的 x 和 y 值),需要将该向量乘以表示线性变换的矩阵。作为输出,你将获得一个坐标转换后的向量。

投影变换可以用以下矩阵表示:

5a6ac1edd18a8f2df1f48c6adb1a1aad.png

其中:

65db3f5ab458c31d509bce8c037e7fa0.png

是一个旋转矩阵。该矩阵定义了将要执行的变换类型:缩放、旋转等。

d126365b4d023058d851b27748222daa.png

是平移向量。它只是移动点。

21702321f0fe3ec2bed8cce47da2562c.png

是投影向量。对于仿射变换,该向量的所有元素始终等于 0。

如果 x 和 y 是一个点的坐标,则可以通过简单的乘法进行变换:

afa5b79aca7e7c752782711b5ba3bdf4.png

这里,x' 和 y' 是变换点的坐标。

这就是仿射变换的全部理论。现在我将深入研究该程序:

步骤 1:读取源图像并获取源图像大小:

# Read source image
img_src = cv2.imread('source_image.jpg')
h, w, c = img_src.shape

# Get source image parameter: 
#[[left,top], [left,bottom], [right, top], [right, bottom]]

img_src_coordinate = np.array([[0,0],[0,h],[w,0],[w,h]])

根据源图像,我们将得到相关坐标如下:

[[左,上],[左,下],[右,上],[右,下]]

使用 OpenCV 进行图像投影变换_第2张图片

好的!现在我们使用 get_paste_position 来获取目标图像中的坐标,源图像将被粘贴到该坐标。

使用 OpenCV 进行图像投影变换_第3张图片
def get_paste_position(event, x, y, flags, paste_coordinate_list):
    
    cv2.imshow('collect coordinate', img_dest_copy)
    
    if event == cv2.EVENT_LBUTTONUP:
    
    # Draw circle right in click position
    
    cv2.circle(img_dest_copy, (x, y), 2, (0, 0, 255), -1)
    
    # Append new clicked coordinate to paste_coordinate_list
    
    paste_coordinate_list.append([x, y])

点击4个点后,我们将4个点保存到paste_coordinate_list:

while True:

    cv2.waitKey(1)
    
    if len(paste_coordinate) == 4:
    
        break

然后,这 4 个点将通过 cv2.findHomography 计算投影变换矩阵。

matrix, _ = cv2.findHomography(img_src_coordinate, paste_coordinate, 0)

得到投影变换矩阵后,我们将使用 cv2.warpPerspective 将源图像转换为具有目标图像大小的透视图像。

perspective_img = cv2.warpPerspective(img_src, matrix, (img_dest.shape[1], img_dest.shape[0]))

这是透视图的样子:

使用 OpenCV 进行图像投影变换_第4张图片

透视图

最后,将透视图像应用于目标图像,这就是最终效果:

使用 OpenCV 进行图像投影变换_第5张图片

完整代码:

import cv2 as cv2
import numpy as np

# This function will get click pixel coordinate that source image will be pasted to destination image

def get_paste_position(event, x, y, flags, paste_coordinate_list):
    cv2.imshow('collect coordinate', img_dest_copy)
    if event == cv2.EVENT_LBUTTONUP:
    
    # Draw circle right in click position
    cv2.circle(img_dest_copy, (x, y), 2, (0, 0, 255), -1)
    
    # Append new clicked coordinate to paste_coordinate_list
    paste_coordinate_list.append([x, y])
if __name__ == '__main__':
    
    # Read source image
    img_src = cv2.imread('woman-1807533_960_720.webp', cv2.IMREAD_COLOR)
    
    # cv2.imwrite('source_image.jpg', img_src)
    h, w, c = img_src.shape
    
    # Get source image parameter: [[left,top], [left,bottom], [right, top], [right, bottom]]
    img_src_coordinate = np.array([[0,0],[0,h],[w,0],[w,h]])
    
    # Read destination image
    img_dest = cv2.imread('billboard-g7005ff0f9_1920.jpg', cv2.IMREAD_COLOR)
    
    # copy destination image for get_paste_position (Just avoid destination image will be draw)
    img_dest_copy = img_dest.copy()#np.tile(img_dest, 1)
    
    # paste_coordinate in destination image
    paste_coordinate = []
    cv2.namedWindow('collect coordinate')
    cv2.setMouseCallback('collect coordinate', get_paste_position, paste_coordinate)
    
    while True:
        cv2.waitKey(1)
        if len(paste_coordinate) == 4:
            break
    paste_coordinate = np.array(paste_coordinate)
    
    # Get perspective matrix
    matrix, _ = cv2.findHomography(img_src_coordinate, paste_coordinate, 0)
    print(f'matrix: {matrix}')
    perspective_img = cv2.warpPerspective(img_src, matrix, (img_dest.shape[1], img_dest.shape[0]))
    cv2.imshow('img', perspective_img)
    cv2.copyTo(src=perspective_img, mask=np.tile(perspective_img, 1), dst=img_dest)
    cv2.imshow('result', img_dest)
    cv2.waitKey()
    cv2.destroyAllWindows()

你可能感兴趣的:(python,计算机视觉,opencv,机器学习,线性代数)