【小白深度教程 1.5】手把手教你用立体匹配进行双目深度估计,以及 3D 点云生成(含 Python 代码解读)

【小白深度教程 1.5】手把手教你用立体匹配进行双目深度估计,以及 3D 点云生成(含 Python 代码解读)

  • 1. 立体匹配的原理
  • 2. 块匹配算法(Block Matching Algorithm)
    • 2.1 代码中的立体匹配过程概述
    • 2.2 代码原理及公式
      • 2.2.1. 窗口匹配和代价函数(SAD)
      • 2.2.2. 匹配过程
      • 2.2.3. 视差图生成
    • 2.3 代码的整体算法流程
    • 2.4 性能与优化
  • 3. 加载双目图像计算视差
  • 4. 读取相机参数并计算深度,并映射到 3D 点云
    • 4.1 深度计算的公式
    • 4.2 代码详解
    • 4.3 映射到点云并存储到本地

在上两节中,我们展示了如何将从激光雷达获取的稀疏点云并进行补全:

【小白深度教程 1.4】手把手教你复现 CompletionFormer 深度补全网络(含代码解读)

【小白深度教程 1.3】使用 BP-Net 深度补全网络,进行 KITTI 稠密点云和图像融合(Depth Completion 实战)

但是,单目毕竟包含模糊性,例如这张广告牌,应当在平面有平滑的深度,但是单目深度往往失败(认为人像是有非平滑深度):

因此这次我们尝试使用立体匹配技术,来进行准确的双目深度估计,并将场景转换成 3D 点云:

【小白深度教程 1.5】手把手教你用立体匹配进行双目深度估计,以及 3D 点云生成(含 Python 代码解读)_第1张图片

你可能感兴趣的:(从零开始的深度补全和深度估计,3d,python,人工智能,计算机视觉,自动驾驶,深度学习,笔记)