【Matlab】基于特征点的全景图像拼接

http://cn.mathworks.com/examples/matlab-computer-vision/mw/vision_product-FeatureBasedPanoramicImageStitchingExample-feature-based-panoramic-image-stitching

概述

在机器视觉应用领域里特征检测和匹配是一个很重要的算法，比如图像配准、跟踪和目标检测。这个例子里，我们用基于特征的方法完成图像拼接。处理的方法是先用图像配准特征点。不同于单图像对配准，这里是多图像对的配准完成图像拼接。

步骤一 加载图片

% 以图像集的方法加载图片
buildingDir = fullfile(toolboxdir('vision'), 'visiondata', 'building');
buildingScene = imageSet(buildingDir);

% 显示要拼接的所有图片
montage(buildingScene.ImageLocation)

步骤二 图像配准

使用下面的步骤来进行图像对配准操作。

1. 在I(n)和I(n-1)之间检测和匹配特征点
2. 估算从I(n)映射到I(n-1)上的几何变换T(n)

3. 计算I(n)在全景图里的变换T(1)*…*T(n-1)*T(n).

   % 从图片集中读取第一幅图像
   I = read(buildingScene, 1);

   % 将图像转为灰度图，再提取I(1)的特征点，用的是surf算法。
   grayImage = rgb2gray(I);
   points = detectSURFFeatures(grayImage);
   [features, points] = extractFeatures(grayImage, points);

   % 初始化所有变换的恒等矩阵。
   tforms(buildingScene.Count) = projective2d(eye(3));

   % Iterate over remaining image pairs
   for n = 2:buildingScene.Count

   % Store points and features for I(n-1).
   % 存储前一图像的特征点坐标和值。
   pointsPrevious = points;
   featuresPrevious = features;

   % Read I(n).
   % 读取第n张图片。
   I = read(buildingScene, n);

   % Detect and extract SURF features for I(n).
   %检测和提取surf特征值。
   grayImage = rgb2gray(I);
   points = detectSURFFeatures(grayImage);
   [features, points] = extractFeatures(grayImage, points);

   % 匹配I(n)和I(n-1)之间对应的特征点
   indexPairs = matchFeatures(features, featuresPrevious, ‘Unique’, true);

   matchedPoints = points(indexPairs(:,1), :);
   matchedPointsPrev = pointsPrevious(indexPairs(:,2), :);

   % 用MSAC算法计算几何变化。
   tforms(n) = estimateGeometricTransform(matchedPoints, matchedPointsPrev,…
   ‘projective’, ‘Confidence’, 99.9, ‘MaxNumTrials’, 2000);

   % 计算T(1) * … * T(n-1) * T(n)
   tforms(n).T = tforms(n-1).T * tforms(n).T;
   end

这里，所有tforms的变换都是相对于第一幅图像的。主要是为了方便图像配准处理代码，这样就可以对所有图像连续处理。但是，用第一张图像做为全景图配准的起点，不能得到最佳的效果，原因是它会把全景图所有的图像都发生畸变。将变换式用中间的场景可以创建比较好的全景图，畸变也最小。
先用projective2d outputLimits方法查找每个变换输出的极限。输出极限再用来自动查找中间场景图像的轮廓。

imageSize = size(I);  % 所有的图像尺寸都是一样的

% 对每个投影变化找到输出的空间坐标限制值。
for i = 1:numel(tforms)
    [xlim(i,:), ylim(i,:)] = outputLimits(tforms(i), [1 imageSize(2)], [1 imageSize(1)]);
end

接着，计算每个变换X极限的平均值，找到中间的图像。只用X方向上的极限是由于场景为水平方向上的。如果有其他的图像，X和Y方向上的极限都应当用来查找中心图像。

avgXLim = mean(xlim, 2);

[~, idx] = sort(avgXLim);

centerIdx = floor((numel(tforms)+1)/2);

centerImageIdx = idx(centerIdx);

最后，将中心图像的反变换应用到所有的图像变换中。

Tinv = invert(tforms(centerImageIdx));

for i = 1:numel(tforms)
    tforms(i).T = Tinv.T * tforms(i).T;
end

步骤三 初始化全景图

接下来，创建一个空的全景图用来存放所有图像。
用outputLimits方法计算所有变换中最小和最大输出限制。这个值用来计算全景图的大小。

for i = 1:numel(tforms)
    [xlim(i,:), ylim(i,:)] = outputLimits(tforms(i), [1 imageSize(2)], [1 imageSize(1)]);
end

% 找到输出空间限制的最大最小值
xMin = min([1; xlim(:)]);
xMax = max([imageSize(2); xlim(:)]);

yMin = min([1; ylim(:)]);
yMax = max([imageSize(1); ylim(:)]);

% 全景图的宽高
width  = round(xMax - xMin);
height = round(yMax - yMin);

% 生成空数据的全景图
panorama = zeros([height width 3], 'like', I);

步骤四 创建全景图

用imwarp将图像映射到全景图中，再用vision.AlphaBlender将图像重叠起来。

blender = vision.AlphaBlender('Operation', 'Binary mask', ...
                              'MaskSource', 'Input port');

% Create a 2-D spatial reference object defining the size of the panorama.
xLimits = [xMin xMax];
yLimits = [yMin yMax];
panoramaView = imref2d([height width], xLimits, yLimits);

% Create the panorama.
for i = 1:buildingScene.Count

    I = read(buildingScene, i);

    % Transform I into the panorama.
    warpedImage = imwarp(I, tforms(i), 'OutputView', panoramaView);

    % Overlay the warpedImage onto the panorama.
    panorama = step(blender, panorama, warpedImage, warpedImage(:,:,1));
end

figure
imshow(panorama)

总结

这个例子展示了如何使用图像配准方法创建全景图。附录包含了图像融合和对齐的全景图拼接改进方法。

相关论文

[1] Matthew Brown and David G. Lowe. 2007. Automatic Panoramic Image Stitching using Invariant Features. Int. J. Comput. Vision 74, 1 (August 2007), 59-73.