论文阅读:Scale-aware and High Quality Monocular Depth Estimation Without Real World Labels

CVPR2022

主要贡献

  • 通过引入虚拟数据集将尺度信息解耦并估计。
    论文阅读:Scale-aware and High Quality Monocular Depth Estimation Without Real World Labels_第1张图片

方法

  • 包含两个训练网络: A MDE network Φ : I → d \Phi: I \rightarrow d Φ:Id, a Pose Estimation Network Ω : I a , I b → T ^ a → b \Omega: {I_a , I_b} \rightarrow \hat{T}_{a \rightarrow b} Ω:Ia,IbT^ab; A ScaleNet δ : f Φ → s \delta:f_{\Phi} \rightarrow s δ:fΦs。s 为场景估计深度的尺度。
  • 训练步骤:Stage1: 预训练一个 Φ \Phi Φ. Stage2:联合训练(红和蓝线)使得 Φ \Phi Φ 适应真实以及模拟数据集。Stage3: 用模拟数据集训练 ScaleNet δ \delta δ, { Φ \Phi Φ, Ω \Omega Ω}固定下来。
  • 损失函数
    在这里插入图片描述
  • L s s , L s y n L_{ss}, L_{syn} Lss,Lsyn分别指代自监督损失以及合成数据集损失。 L s y n L_{syn} Lsyn是一阶范数。
    -论文希望从自监督与训练模型中学习定性的深度,从合成数据集中学习sharp and smooth的深度,所以设置了以下的s domain specific 损失。
    在这里插入图片描述
    论文阅读:Scale-aware and High Quality Monocular Depth Estimation Without Real World Labels_第2张图片

你可能感兴趣的:(论文阅读)