【计算机视觉实战 3】、基于SIFT特征、单应性变换矩阵、RANSA、图最小割的图像拼接

---

前言

SIFT特征：
上篇博客已经介绍了SIFT特征点的尺度不变性，提取出两幅图片的SIFT特征点，将相同部分进行匹配，为图像拼接提供可能。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、图像拼接的想法？

二、如何计算图像之间的变化结构

1.变换结构

基于特征点的匹配，可以找到两幅图像的可拼接区域，然后将两幅图像头用到共同的拼接平面上，在拼接平面上进行融合

但是由于两幅图像相同内容存在如位移、旋转、相似、仿射、透视的变换关系，所以需要计算两个图像的变换结构

对于每种变化关系原坐标可与参数计算得到映射坐标，如位移对于x，y坐标分别需要一个，在xy坐标系下一共就需要两个

可知存在透视关系时，需要8个参数才可由原坐标计算出映射坐标，八个参数对应的就是单应性矩阵，那么如何求解

2.单应性矩阵求解

前面已经提到可以通过SIFT匹配到的两幅图像对应匹配的点，那么有了匹配点对，就可以反向求解出单应性矩阵的八个参数。
显然至少需要四对匹配点，才可以求出八个参数

以平移变化结构为例，如下很容易就可以算出两个参数，但存在问题

问题一、错误匹配的干扰
采用最小二乘法或者平均残差（所有匹配点坐标差求和平均）的方法，无法排除错误匹配对参数的影响
问题二、方程数远远大于参数量

3.RAndom SAmple Consensus 参数求解

解决错误匹配的噪声问题

4.图像插值

在进行坐标变换还会出现变换后的坐标并不能准确落在一个像素点，而是落在几个像素点上

可以采用近邻插值、线性插值方法解决

5.最小图割方法选取拼接缝

两幅图像根据匹配区域完成叠加之后，又面临叠加区域显示左图还是右图的问题。
采用寻找图最小割的方法解决

6.Multi band blend

两幅图像进行拼接后会出现，明显的拼接痕迹，这是需要进行特定的处理

总结

三、实验

在寝室楼道拍了五张图片进行拼接，明显的看到曝光不同，天的颜色不同，以及存在飘移的问题