使用LF-Net进行三维重建

LF-Net就是"LF-Net: Learning Local Features from Images"一种端到端的深度学习局部特征子．
基于OpenMVG稍微对特征提取部分进行改造即可使用深度学习特征点进行重建

主要内容：

• OpenMVG代码修改
• 重建实验对比
• 结论

一. 代码修改

主要修改代码如下：
１．在regions_factory_io.hpp注册下新的特征点，用来序列化

CEREAL_REGISTER_TYPE_WITH_NAME(openMVG::features::LFNET_Float_Regions , "LFNET_Float_Regions");
CEREAL_REGISTER_POLYMORPHIC_RELATION(openMVG::features::Regions, openMVG::features::LFNET_Float_Regions)

２．在region_factory.hpp声明新的特征点类型：

using LFNET_Float_Regions = Scalar_Regions;
EIGEN_DEFINE_STL_VECTOR_SPECIALIZATION_INITIALIZER_LIST(openMVG::features::LFNET_Float_Regions)

３．最后写一下怎么读取特征点，我直接写了新的app实现这个功能．

class LFNET_Image_describer : public Image_describer
{
public:
    using Regions_type = LFNET_Float_Regions;

    LFNET_Image_describer() : Image_describer() {}
    ~LFNET_Image_describer() {}

    bool Set_configuration_preset(EDESCRIBER_PRESET preset){
        return true;
    }

    std::unique_ptr Describe(
            const image::Image& image,
            const image::Image * mask = nullptr
    ) override
    {
        return Describe_LFNET(image, mask);
    }

    std::unique_ptr Describe_LFNET(
            const image::Image& image,
            const image::Image* mask = nullptr
    )
    {
        std::string filename_=filename;
        auto regions = std::unique_ptr(new Regions_type);
        std::ifstream infile_feat(filename_);
        std::string feature;

        float feat_onePoint;  //存储每行按空格分开的每一个float数据
        std::vector lines; //存储每行数据
        std::vector> lines_feat; //存储所有数据
        lines_feat.clear();
        while(!infile_feat.eof())
        {
            getline(infile_feat, feature); //一次读取一行数据

            stringstream stringin(feature); //使用串流实现对string的输入输出操作
            lines.clear();
            while (stringin >> feat_onePoint) {      //按空格一次读取一个数据存入feat_onePoint
                lines.push_back(feat_onePoint); //存储每行按空格分开的数据
            }
            if(lines.size() != 0){
                lines_feat.push_back(lines); //存储所有数据
            }
        }
        infile_feat.close();
        regions->Features().reserve(lines_feat.size());
        regions->Descriptors().reserve(lines_feat.size());

        // Copy keypoints and descriptors in the regions
        int cpt = 0;
        for (auto i_kp = lines_feat.begin();
             i_kp != lines_feat.end();
             ++i_kp, ++cpt)
        {
            SIOPointFeature feat((*i_kp)[0], (*i_kp)[1], 0, 0);
            regions->Features().push_back(feat);

            Descriptor desc;
            //
            for (int j = 0; j < 256; j++)
            {
                desc[j] = (*i_kp)[j+2];
            }
            //
            regions->Descriptors().push_back(desc);
        }
        return regions;
    };
    /// Allocate Regions type depending of the Image_describer
    std::unique_ptr Allocate() const override
    {
        return std::unique_ptr(new Regions_type);
    }
    template
    void serialize( Archive & ar )
    {
    }
};
#include 
#include 
CEREAL_REGISTER_TYPE_WITH_NAME(LFNET_Image_describer, "LFNET_Image_describer");
CEREAL_REGISTER_POLYMORPHIC_RELATION(openMVG::features::Image_describer, LFNET_Image_describer)

二. 重建实验对比

对于重建的结果如下：

轨迹投影

XYZ

APE

看起来效果还是可以的，对比下SIFT的方法结果，由于我只是更改了pipline特征提取的一层，后面优化流程是一样的，所以可以很好的进行对比研究．

image1.png

image2.png

SIFT里面中间有四帧重建失败了．．．．．导致看起来不太好，还需要再试试，一次性重建一千多张图片还是很费时间的

每隔五帧重建对比：

中间有两帧失败了，导致误差比较大，分别是"1305031938.769073.png"和"1305031938.936828.png"连续两帧，这样导致的误差就比较大了
这相邻四帧如下：

1305031938.601007.png

1305031938.769073.png

1305031938.936828.png

1305031939.101368.png

看起来是中间无纹理区域导致匹配失败
而且图片比较模糊
不过实际比较下发现其实在这相邻几帧匹配效果是不错的：

所以还是重建过程中在这一段累积的误差最后导致在这里失败了．．．．．．
同时还有问题就是，边缘的特征点形成画框一样的分布都不是好的特征点

每隔十帧重建对比：

初看效果出奇的好，不过要考虑到，其中只成功了70帧，本来130帧的，也就是因为overlap太大直接崩了．

image4.png

image.png

看看哪块崩来？

match_screenshot_09.06.2019.png

外点还是蛮多的
不过应该不至于ransac都找不到正确匹配吧．．