关键点匹配——商汤LoFTR源码详解

源码地址见文末

1.项目与参数配置解读

        首先，进入目录，使用pip install -r requirements.txt配置环境。

        首先，对于demo的运行，首先需要准备好需要用于关键点匹配的数据，提供的代码中置于了image文件夹下，然后是训练的权重，代码中下载了室内场景和室外场景的训练权重。

 配置参数指定：

--weight outdoor_ds.ckpt
--save_video
--input ./images/
--output_dir ./output/

 

2.Backbone特征提取

        每次输入为两张图像，首先，使用卷积对两张图像进行特征提取。获得1/8和1/2尺度的粗粒度和细粒度特征图。源码中这部分使用的是resnet

class ResNetFPN_8_2(nn.Module):
    """
    ResNet+FPN, output resolution are 1/8 and 1/2.
    Each block has 2 layers.
    """

    def __init__(self, config):
        super().__init__()
        # Config
        block = Bas