基于SIFT特征的图像拼接融合（matlab+vlfeat实现）

基于SIFT特征的图像拼接融合（matlab+vlfeat实现）

piccolo，之前做的东西，简单整理下，不是做图像方向的，写的不好轻喷
主要原理参看SIFT算法详解和SIFT特征匹配算法介绍——寻找图像特征点的原理

相应源码在基于SIFT特征的图像拼接融合（matlab+vlfeat实现）

下面简单说下：

SIFT算子特点

主要思想：一种基于图像梯度分布的特征描述子。
特点：具备尺度不变性，抗干扰性好。但维数高，计算复杂度大。

SIFT算法数学原理(简析)

Step.0:建立高斯金字塔（向下降采样图像）

图像$I(x,y)$在不同尺度空间下的表示可以由图像与高斯核卷积得到Gaussian图像：
高斯金字塔建立方程:
$L(x,y,\delta )=G(x,y,\delta )\times I(x,y)$

$G(x,y,\delta )=\frac{1}{2\pi {\delta }^2}{e}^{-\left(x^2+y^2\right)/\left(2a^2\right)}$

其中，$L$—尺度空间，$G(x,y,\delta )$—二维高斯滤波函数

Step.1:建立高斯差分DOG

$D(x,y,\delta )=L(x,y,k\delta )-L(x,y,\delta )$

其中，$\delta$—尺度空间因子，$k$—同一阶相邻两个层次建的尺度因子比例

Step.2:建立子八度

对于一幅图像I,建立其在不同尺度(scale)的图像，也称为子八度（octave），这是为了让其在任何尺度都能够有对应的特征点。第一个子八度的scale为原图大小，后面每个octave为上一个octave降采样的结果，即原图的1/4（长宽分别减半），构成下一个子八度（高一层金字塔）。

Step.3:极点值检测

为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。如下图所示，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。 一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。

Step.4:特征点判定

DOG算子会产生较强的边缘响应
高斯差分算子的极值在横跨边缘处有较大的主曲率，而在垂直边缘的方向有较小的主曲率。在这里，我们利用海森边缘检测方法求主曲率，并去除边缘点

$H=\left[\begin{array}{ll}{D}_{xx}& D_{xy}\\ D_{xy}& D_{yy}\end{array}\right]$

$\begin{array}{r}\mathrm{tr}(H)=D_{xx}+D_{yy}=\alpha +\beta \\ \det (H)=D_{xx}{D}_{yy}-D_{xy}^2=\alpha \beta \end{array}$

选取合适的主曲率阈值，去除不稳定的边缘响应点，如果满足

$\frac{\mathrm{tr}(H)}{\det (H)}=\frac{(\alpha +\beta {)}^2}{\alpha \beta }=\frac{(r+1{)}^2}{r}$

$\alpha =r\beta$

则将该关键点判定为特征点

具体实现(vlfeat+matlab)

Vlfeat工具箱安装

• 先下载vlfeat-home，解压到某位置，这个地方可以是任意的，尽量目录不带中文。
• 命令行输入edit startup.m创建启动文件startup.m，尽量创建在你的当前project目录下。比如我的E:\matlabzyf\sift\startup.m

  %vlfeat工具箱的导入，运行前准备工作
  run('E:\matlabzyf\vlfeat-0.9.20\toolbox\vl_setup')
  

• 运行project前，先运行startup.m，有时候他没有自动加载（可能是我的bug）

待拼接的实拍照片：

拼接融合过程中的匹配：(仅展示图1、2之间)

融合过程展示：

融合最终结果：

整个过程示意：