图像配准方法（一）

一：选取ROI与图像进行匹配
openv的aircv库中提供了图像匹配的方法：
以下是demo:

import cv2
import aircv as ac

def draw_rectangle(img, pos_1, pos_4, color, line_width):
    cv2.rectangle(img, pos_1, pos_4, color, line_width)
    cv2.imshow('objDetect', imsrc) 
    cv2.waitKey(0)
    cv2.destroyAllWindows()

if __name__ == "__main__":
    imsrc = ac.imread('D:\\python_opencv\\source_image\\image_match\\1.jpg')
    imobj = imsrc[248:328, 187:261] #第一个参数代表y方向，第二个参数代表x方向，因此在这里取的是(224±37, 288±40)
    imsrc = ac.imread('D:\\python_opencv\\source_image\\image_match\\2.jpg')

    # find the match position
    pos = ac.find_template(imsrc, imobj)
    print(pos)

    circle_center_pos = pos['result']
    color = (0, 255, 0)
    line_width = 3

    # draw rectangle
    draw_rectangle(imsrc, (int(circle_center_pos[0])-50, int(circle_center_pos[1])-50), (int(circle_center_pos[0])+ 50, int(circle_center_pos[1])+50), (0, 255, 0), 2)

结果为：

以下是拍摄的一组照片，其中7、8、9为特意偏移一段距离后拍摄的。 可以得知对于照片1中所取的ROI(Region Of Interest)，图片1-10所对应的坐标为：
1: (224.0, 288.0)
2: (228.0, 291.0)
3: (232.0, 292.0)
4: (228.0, 289.0)
5: (230.0, 291.0)
6: (232.0, 290.0)
7: (230.0, 292.0)
8: (259.0, 290.0)
9: (259.0, 286.0)
10: (265.0, 284.0)
但是假如所取区域为特征不明显区域结果会怎么样呢？
假如取的区域如下图所示：

那么得到的1-10图像匹配结果为：
1: (310.0, 240.0)
2: (314.0, 243.0)
3: (350.0, 229.0)
4: (313.0, 241.0)
5: (316.0, 242.0)
6: (339.0, 232.0)
7: (345.0, 248.0)
8: (35.0, 425.0)
9: (376.0, 233.0)
10:(384.0, 202.0)
容易出现很明显的误匹配,如图8与ROI匹配结果为：

因此ROI的选取是非常重要的。这是需要关注的一个点。

后面在怎么选取ROI区域是一个需要深究的重点问题。

二：直接图像融合

将image 1-7 进行直接求和平均：

import cv2
import numpy as np

'''
def add(a,b,c,d,e,f,g):
        # 迭代输出行
    result = np.zeros((640,480))
    for i in range(len(a)):
       # 迭代输出列
        for j in range(len(a[0])):
            result[i][j] = a[i][j] + b[i][j] + c[i][j] + d[i][j] + e[i][j] + f[i][j] + g[i][j]
    return result
'''
def add(a,b):
        # 迭代输出行
    result = np.zeros((640,480))
    for i in range(len(a)):
       # 迭代输出列
        for j in range(len(a[0])):
            result[i][j] = a[i][j] + b[i][j]
    return result

def typeconvert(a):
    for i in range(len(a)):
       # 迭代输出列
        for j in range(len(a[0])):
            a[i][j] = a[i][j] * (256)
    return a

def f(x):
    return np.float(x)

def g(x):
    return np.int(x)


if __name__ == "__main__":
    imsrc_1 = cv2.imread('D:\\python_opencv\\source_image\\image_match\\1.jpg')
    imsrc_2 = cv2.imread('D:\\python_opencv\\source_image\\image_match\\2.jpg')
    imsrc_3 = cv2.imread('D:\\python_opencv\\source_image\\image_match\\3.jpg')
    imsrc_4 = cv2.imread('D:\\python_opencv\\source_image\\image_match\\4.jpg')
    imsrc_5 = cv2.imread('D:\\python_opencv\\source_image\\image_match\\5.jpg')
    imsrc_6 = cv2.imread('D:\\python_opencv\\source_image\\image_match\\6.jpg')
    imsrc_7 = cv2.imread('D:\\python_opencv\\source_image\\image_match\\7.jpg')
    imsrc_8 = cv2.imread('D:\\python_opencv\\source_image\\image_match\\8.jpg')

    print(imsrc_1.dtype)

    '''
    imsrc_8 = cv2.imread('D:\\python_opencv\\source_image\\image_match\\8.jpg')
    imsrc_9 = cv2.imread('D:\\python_opencv\\source_image\\image_match\\9.jpg')    
    imsrc_10 = cv2.imread('D:\\python_opencv\\source_image\\image_match\\10.jpg')
    '''
    #imsrc_sum = add(imsrc_1, imsrc_2, imsrc_3, imsrc_4, imsrc_5, imsrc_6, imsrc_7)
    f2 = np.vectorize(f)#让函数矩阵化，解决只能一对一强制性变换这一要求
    imsrc_1 = f2(imsrc_1)
    imsrc_2 = f2(imsrc_2)
    imsrc_sum = imsrc_1 + imsrc_2 + imsrc_3 + imsrc_4 + imsrc_5 + imsrc_6 + imsrc_7
    imsrc_average = imsrc_sum/7
    #imsrc_sum = add(imsrc_1, imsrc_2)


    g2 = np.vectorize(g)#让函数矩阵化，解决只能一对一强制性变换这一要求
    #imsrc_average = g2(imsrc_average)
    #imsrc_average = np.unit8(imsrc_average)
    print(g2(imsrc_average))
    cv2.imshow('merge', typeconvert(g2(imsrc_average)))         
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    '''
    imsrc_sum = cv2.addWeighted(imsrc_1, 0.5, imsrc_4, 0.5, 0)
    print(imsrc_sum)
    imsrc_average = imsrc_sum/7
    #print(imsrc_average)

    cv2.imshow('merge', imsrc_sum) 

    cv2.waitKey(0)
    cv2.destroyAllWindows()
    '''

结果为：

可以得知图片有些糊了。

三：将图像匹配与直接融合结合起来：

import cv2
import aircv as ac
import numpy as np

def draw_rectangle(img, pos_1, pos_4, color, line_width):
    cv2.rectangle(img, pos_1, pos_4, color, line_width)
    cv2.imshow('objDetect', imsrc) 
    cv2.waitKey(0)
    cv2.destroyAllWindows()

def translate(img, x, y):
    H = np.float32([[1,0,x],[0,1,y]])
    rows,cols = img.shape[:2]
    res = cv2.warpAffine(img,H,(cols,rows)) #需要图像、变换矩阵、变换后的大小
    return res

def findposition(img):
    imsrc = ac.imread('C:\\opencv_python\\img_source\\img\\1.jpg')
    imtemplate = imsrc[248:328, 187:261] #第一个参数代表y方向，第二个参数代表x方向
    imsrc = img
    # find the match position
    pos = ac.find_template(imsrc, imtemplate)
    center_pos = pos['result']
    return center_pos

def add(a,b):
        # 迭代输出行
    result = np.zeros((640,480))
    for i in range(len(a)):
       # 迭代输出列
        for j in range(len(a[0])):
            result[i][j] = a[i][j] + b[i][j]
    return result

def typeconvert(a):
    for i in range(len(a)):
       # 迭代输出列
        for j in range(len(a[0])):
            a[i][j] = a[i][j] * (256)
    return a

def f(x):
    return np.float(x)

def g(x):
    return np.int(x)

if __name__ == "__main__":
    imsrc_1 = cv2.imread('C:\\opencv_python\\img_source\\img\\1.jpg')
    imsrc_2 = cv2.imread('C:\\opencv_python\\img_source\\img\\2.jpg')
    imsrc_3 = cv2.imread('C:\\opencv_python\\img_source\\img\\3.jpg')
    imsrc_4 = cv2.imread('C:\\opencv_python\\img_source\\img\\4.jpg')
    imsrc_5 = cv2.imread('C:\\opencv_python\\img_source\\img\\5.jpg')
    imsrc_6 = cv2.imread('C:\\opencv_python\\img_source\\img\\6.jpg')
    imsrc_7 = cv2.imread('C:\\opencv_python\\img_source\\img\\7.jpg')
    imsrc_8 = cv2.imread('C:\\opencv_python\\img_source\\img\\8.jpg')

    position_1 = findposition(imsrc_1)
    print(position_1[0])
    print(position_1[1])
    position_2 = findposition(imsrc_2)
    position_3 = findposition(imsrc_3)
    position_4 = findposition(imsrc_4)
    position_5 = findposition(imsrc_5)
    position_6 = findposition(imsrc_6)
    position_7 = findposition(imsrc_7)

    print(imsrc_1.shape)
    print(position_1[0] - position_2[0])
    print(position_1[1] - position_2[1])
    imsrc_1 = translate(imsrc_1, position_1[0] - position_1[0], position_1[1] - position_1[1])
    imsrc_2 = translate(imsrc_2, position_1[0] - position_2[0], position_1[1] - position_2[1])
    imsrc_3 = translate(imsrc_3, position_1[0] - position_3[0], position_1[1] - position_3[1])
    imsrc_4 = translate(imsrc_4, position_1[0] - position_4[0], position_1[1] - position_4[1])
    imsrc_5 = translate(imsrc_5, position_1[0] - position_5[0], position_1[1] - position_5[1])
    imsrc_6 = translate(imsrc_6, position_1[0] - position_6[0], position_1[1] - position_6[1])
    imsrc_7 = translate(imsrc_7, position_1[0] - position_7[0], position_1[1] - position_7[1])


    '''
    imsrc_8 = cv2.imread('D:\\python_opencv\\source_image\\image_match\\8.jpg')
    imsrc_9 = cv2.imread('D:\\python_opencv\\source_image\\image_match\\9.jpg')    
    imsrc_10 = cv2.imread('D:\\python_opencv\\source_image\\image_match\\10.jpg')
    '''
    #imsrc_sum = add(imsrc_1, imsrc_2, imsrc_3, imsrc_4, imsrc_5, imsrc_6, imsrc_7)
    print(imsrc_1.shape)
    f2 = np.vectorize(f)#让函数矩阵化，解决只能一对一强制性变换这一要求
    imsrc_1 = f2(imsrc_1)
    imsrc_2 = f2(imsrc_2)
    imsrc_sum = imsrc_1 + imsrc_2 + imsrc_3 + imsrc_4 + imsrc_5 + imsrc_6 + imsrc_7
    imsrc_average = imsrc_sum/7
    #imsrc_sum = add(imsrc_1, imsrc_2)


    g2 = np.vectorize(g)#让函数矩阵化，解决只能一对一强制性变换这一要求
    #imsrc_average = g2(imsrc_average)
    #imsrc_average = np.unit8(imsrc_average)
    #print(g2(imsrc_average))
    cv2.imshow('merge', typeconvert(g2(imsrc_average)))         
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    '''
    imsrc_sum = cv2.addWeighted(imsrc_1, 0.5, imsrc_4, 0.5, 0)
    print(imsrc_sum)
    imsrc_average = imsrc_sum/7
    #print(imsrc_average)

    cv2.imshow('merge', imsrc_sum) 

    cv2.waitKey(0)
    cv2.destroyAllWindows()
    '''

所得到的结果为：

可以看到，图像没有糊掉，但是边缘处由于没有填充像素而呈现出一些黑色。当然这是对于已知的1-7图片（抖动不大）合成的结果。

当加上8-10时（抖动偏移很大的情况），合成结果为：

可见偏移量大的图片对于最后生成的图片还是有很坏的影响的。

总结以上可知，采用图像匹配的方法对准图像以优化流瀑模式的效果是可行的，但是有两点要注意的地方（也是难点）。
(1)寻找合适的ROI(Region Of Interest)，以实现图像的精确配准。
(2)去除偏移量较大的图像的方法（上例中的8-10图像）。