learn openMVG-安装和简介

OpenMVG (open Multiple View Geometry):开源多视角立体几何库,这是一个cv届处理多视角立体几何的著名开源库,信奉“简单,可维护”,提供了一套强大的接口,每个模块都被测试过,尽力提供一致可靠的体验。

  • 地址:github

  • 文档:documents

openMVG能够:

  1. 解决多视角立体几何的精准匹配问题;

  2. 提供一系列SfM需要用到的特征提取和匹配方法;

  3. 完整的SfM工具链(校正,参估,重建,表面处理等);

openMVG尽力提供可读性性强的代码,方便开发者二次开发,核心功能是尽量精简的,所以你可能需要其它库来完善你的系统。openMVG分成了几个大的模块:

  1. 核心库:各个功能的核心算法实现;

  2. 样例:教你怎么用;

  3. 工具链:也就是连起来用咯(乱序图像集的特征匹配,SfM,处理色彩和纹理);


0. 安装(win10+VS2013)

  1. 第一步当然是从github clone代码,然后按照 BUILD 说明操作,需要注意的是:

    • 建议和opencv一起编译,方法是在CMakeLists.txt文件中修改相应选项为 ON,然后在cmake的GUI中添加一个叫OpenCV_DIR的入口,值就是你已经安装好的opencv的路径。

    • openMVG写的非常不错,对Windows也提供了良好的支持,所以cmake之后用VS打开生成的openMVG.sln解决方案就可以进行编译了,编译的时间稍久。我用的VS2013不支持C++新特性:constexpr,所以建议你使用VS2015或更新版本,如果一定要用VS2013,可以这样做:在src/openMVG/cameras/Camera_Common.hpp文件中将有constexpr的地方直接去掉,或者改成模板函数也是可以的:

    template  inline T operator|(T x, T y){
        return static_cast(static_cast(x) | static_cast(y));
    };
  2. 运行样例,这里遇到一个坑:DenseStoraage.h line 86报错:R6010 Assertion failed,这是一个断言错误,在release模式下不会出现,但在debug模式下几乎是必现。原因嘛,打开Eigen给出的网址可以明确:数据结构未对齐(unaligned arrays)。这个问题对于刚接触openMVG的人来说还是很烦人的,openMVG代码很优雅,很多数据类型都是从模板类或函数延伸,通过虚函数扩展各项具体方法,而且非常强烈的依赖Eigen这个库,所以给定位问题带来了阻碍。经过一天的攻坚,最后大概确认了原因:

regions.h这个文件中定义的Regions类包含了fixed-size vectorizable Eigen types的stl容器vector,按照Eigen提供的解决方法,需要做的是:

//原来
typedef std::vector FeatsT;
//改成
typedef std::vector> FeatsT;
//其它类似的地方都要改,包括返回vector的函数,最好也加上 EIGEN_MAKE_ALIGNED_OPERATOR_NEW

1. 核心库

1.1 图像

Image Container

openMVG提供一个基本的类用作图像容器:Image,T代表像素类型,这个类可以处理灰度RGBRGBA或者自定义类型的图像。用法很简单:

// A 8-bit gray image:
Image grayscale_image_8bit;

// Multichannel image: (use pre-defined pixel type)

// A 8-bit RGB image:
Image rgb_image_8bit;

// 8-bit RGBA image
Image rgba_image_8bit;
Image > rgba_image2_8bit;

这里的 RGBColorRGBAColor等是openMVG基于Eigen定义好的类型,具体是定义在pixel_types.hpp中。

Image I/O

openMVG支持ppm/pgm,jpeg,png,tiff格式的图片文件,例子:

Image rgb_image_gray;
bool bRet = ReadImage("Foo.imgExtension", &rgb_image);

Drawing operations

用于在图像上画圆,椭圆,直线等。

1.2 数值

openMVG重新包装了Eigen的基本类型和算法,以便更简单的调用。比如 Vec2代表一个二维点(char型)。

1.3 特征

这个模块主要是提供特征容器的封装,包括特征特征描述关键点集等,基本都是模板类,比如顶一个sift特征描述子可以这样做:

// SIFT like descriptor
typedef Descriptor siftDescriptorData;

1.4 相机

此模块提供不同的相机模型的抽象类,包括:

小孔相机模型

最简单的相机模型,如图:
learn openMVG-安装和简介_第1张图片

相机模型包括内参外参,关键词也就是大家熟悉的几样:投影矩阵旋转、平移矩阵焦距、主点等,具体参见说明。
看一个例子:openMVG提供的PinholeCamera类:

/// Pinhole camera P = K[R|t], t = -RC
struct PinholeCamera
{
  //构造函数
  PinholeCamera(
    const Mat3 & K = Mat3::Identity(),
    const Mat3 & R = Mat3::Identity(),
    const Vec3 & t = Vec3::Zero())
    : _K(K), _R(R), _t(t)
  {
    _C = -R.transpose() * t;
    P_From_KRt(_K, _R, _t, &_P);
  }
  
  PinholeCamera(const Mat34 & P)
  {
    _P = P;
    KRt_From_P(_P, &_K, &_R, &_t);
    _C = -_R.transpose() * _t;
  }

  /// Projection matrix P = K[R|t]
  Mat34 _P;
  /// Intrinsic parameter (Focal, principal point)
  Mat3 _K;
  /// Extrinsic Rotation
  Mat3 _R;
  /// Extrinsic translation
  Vec3 _t;
  /// Camera center
  Vec3 _C;
};

1.5 多视角几何

这部分是比较基础和重要的模块之一,包括了:

  • 多视角集几何中n(>=2)视角的求解算法;

  • 将这些求解算法综合起来以便进行鲁棒估计的通用框架——Kernel

文档中讲解了单应矩阵本征矩阵本质矩阵位置矩阵等的概念,讲得非常好,建议仔细阅读文档。
简单的解释一下:

  • 单应矩阵:描述两个投影平面之间的关系;

  • 本征矩阵:同一个场景在两个相机成像下的关系,也就是物体上的点A在两个视角下成像位置的关系;

  • 本质矩阵:基于本征矩阵和内参矩阵建立,描述相机和本征矩阵位置之间的相对关系;

  • 位置矩阵:估计相机的绝对位置(被转化为一个最小化问题求解);

  • Kernel:一个将求解器、数据、度量方案等结合起来的类,这个类将用于鲁棒的估计以上的参数和矩阵;

1.6 线性规划

  • 一个用于求解多视角几何中线性优化(参数估计)的工具集,文档。

1.7 鲁棒估计

提供一些列鲁棒估计方法,比如:Max-ConsensusMax-ConsensusAC-Ransac A Contrario Ransac等。

1.7 匹配

提供的接口包括:NNSK-NNFLANNKVLDCascade hashing Nearest Neighbor等。这些接口可用于在二维或三维点集,以及更高维的特征描述集中。

1.8 追踪

多视几何里的追踪是指在一系列的图片中找到对应的特征点(同一点在不同视角下的位置)。

1.9 sfm

openMVG提供的sfm模块包含了处理SfM问题的一系列方法个数据存储接口,例如相机位置估计,结构测量,BA等。
SfM_Data类包含了SfM所有的输入:

struct SfM_Data
{
  /// Considered views
  Views views;  // 包含图像文件名,id_view,id_pose,id_intrinsic,image size。

  /// Considered poses (indexed by view.id_pose)
  Poses poses;  // 相机的三维位置

  /// Considered camera intrinsics (indexed by view.id_cam)
  Intrinsics intrinsics;  // 相机内参

  /// Structure (3D points with their 2D observations)
  Landmarks structure;  // 二维视图特征关联的3D点
}

我的codepen链接:codepen

你可能感兴趣的:(开源项目介绍,三维建模,计算机视觉,c++)