科学规划，全栈学习！《三维视觉：原理与实践》课程重磅上线

3D视觉开发者社区重磅推出：《三维视觉：原理与实践》在线课程！！！

由算法专家和资深工程师倾力打造的3D视觉全栈学习路线！

一、课程简介

如今，三维视觉技术已经深入大众的生活。在智能手机端，3D相机被用于支付、人脸解锁、照片美颜等；在移动机器人和无人机领域，3D视觉被用于避障和定位导航；在汽车行业，3D视觉被用于自动驾驶或辅助驾驶；在AR/VR、元宇宙领域，3D视觉被用于人机交互、内容创作、数字人创作等。

为了帮助3D视觉爱好者和开发者更好地掌握三维视觉技术，十余位算法专家和资深工程师合力打造了一门三维视觉在线课程 ——《三维视觉：原理与实践》。

本课程系统地介绍了三维视觉基本原理及应用实践，内容包括：基础的二维图像处理算法、深度学习方法，相机模型与标定、双目立体视觉、散斑结构光、飞行时间法（TOF）等三维成像原理与算法，基于点云的三维重建算法，基于RGBD相机和LiDAR的SLAM算法，3D人脸识别算法，RGBD图像分割算法，基于RGBD图像人体姿态估计等。

课程链接：

https://developer.orbbec.com.cn/v/lecture?tid=26

（注：百度APP访问页面画质会自动降低，请切换其他渠道）

二、课程目录

基础原理篇

1 数字图像处理基础

1.1 图像的形成、颜色模型和图像质量评价

1.2 图像灰度变换

图像对比度和亮度的调节、对数变换、伽马变换、直方图均衡化等

1.3 图像空间滤波

卷积的概念，均值滤波，高斯平滑，双边滤波，中值滤波，图像锐化

1.4 图像阈值化

全局二值化，Otsu自动阈值算法，多阈值处理，局部阈值处理，区域生长

1.5 图像几何变换

刚性变换，相似变换，仿射变换，透视变换，图像插值方法，应用举例（图像拼接）

1.6 图像频域滤波

傅里叶变换基础（傅里叶级数，傅里叶变换，离散傅里叶变换），快速傅里叶变换，二维傅里叶变换，频域滤波

2 深度学习方法基础

2.1 什么是卷积神经网络

2.2 发展历程

2.3 CNN的主要构成

卷积层，激活函数，池化层，全连接层

2.4 CNN如何优化

损失函数，反向传播，梯度下降，优化器

2.5 注意事项

3 相机模型与标定

3.1 相机模型

相机成像模型，坐标系定义及转换，镜头畸变，标定建模

3.2 标定算法

张正友标定法，最小几何误差，双目标定

3.3 标定实践

标定板介绍，标定步骤，标定精度评估

3.4 标定应用

双目极线校正，D2C对齐，图像去畸变

4 双目立体视觉原理

4.1 双目视觉三维测量原理

视差的概念，三角测距原理，双目立体视觉精度分析，极线校正的概念

4.2 立体匹配的难点

4.3 块匹配

SAD块匹配，自适应权重块匹配

4.4 基于代价空间的立体匹配

匹配代价计算，代价空间的概念，视差计算方法（WTA，PatchMatch），代价聚合（盒滤波，自适应权重滤波，自适应窗口形状滤波，SGM算法等）

4.5 视差图后处理（Speckle Filter，LRC，亚像素拟合）

5 散斑结构光三维成像

5.1 3D结构光介绍

2D成像的局限性，结构光系统分类及其原理

5.2 散斑结构光系统

硬件组成，深度计算流程，关键系统参数

5.3 深度质量评估

精度评估，面向应用的深度评估

6 间接飞行时间法测距原理

6.1 概述

2D成像到3D成像，常见3D成像技术

6.2 飞行时间测距原理

DTOF简介，ITOF介绍，ITOF分类与测距原理

6.3 ITOF系统特性

精度特性，系统误差，数据滤波，飞点现象，反射率差异，多路径效应

7 基于点云的三维重建

7.1 三维表面数据的表达方式

显式表达（点云和多边形网格），隐式表达（体数据和符号距离场）

7.2 RGBD点云数据配准算法

两视角点云刚体配准（ICP方法：point-point error和point-plane error），多视角全局刚体配准（全局ICP求解）

7.3 三维网格重建的方法

带法线点云重建（泊松重建），基于体数据隐式重建（TSDF Fusion, Marching Cube）

应用实践篇

8 基于RGBD相机的SLAM算法

8.1 深度相机简介

8.2 为什么要用深度相机

8.3 在SLAM中如何使用深度相机

ORB-SLAM，ORB-SLAM RGBD模式，FlashFusion，R3LIVE

9 基于LiDAR的SLAM算法

9.1 LiDAR SLAM概述

激光SLAM原理，LiDAR传感器，开发环境及数据集

9.2 LiDAR SLAM前端里程计

特征点法点云匹配，直接法点云匹配（NDT方法），非线性优化求解

9.3 LiDAR SLAM后端位姿优化

回环检测方法，全局图优化（Global Graph Optimization,GGO）

9.4 经典SLAM算法介绍

LOAM，NDT-LOAM，LIO-SAM

10 3D人脸识别算法

10.1 人脸识别概述

人脸识别应用场景，人脸识别流程，人脸识别细分领域，人脸识别的挑战

10.2 基本概念

特征提取，损失函数，常见评价指标

10.3 3D人脸数据

3D人脸数据的表示方法，3D相对于2D的优势，常见的depth人脸预处理

10.4 经典3D识别算法

11 RGBD图像分割算法

11.1 图像分割背景

应用场景，图像分割分类（语义分割，实例分割，全景分割）

11.2 基本概念

问题数学定义，评估标准（PA，mPA，IoU，mIoU，F1 score，Dice等）

11.3 数据集

NYUv2，SUN-RGBD，SceneNet RGBD，Stanford-2D-3D-S等

11.4 典型算法

Depth as input，Depth as operation，Depth as output

12 基于RGBD图像的人体姿态估计

12.1 2D人体姿态估计经典算法

背景，2D多人人体姿态估计分类，AlphaPose，OpenPose，轻量化人体姿态估计算法

12.2 3D人体姿态估计算法

背景，3D数据集与评价指标，判别型（model-free）方法，生成型（model-based）方法，RGB-D人体姿态估计算法

三、活动设置

1、学习分享奖
学习完一节或多节课程后，可整理所学内容或心得体会，并将学习笔记发到博客，过审后视为参加博客创作活动，可获取阳光普照奖和参选优质博文奖。

2、课程结业奖
完成《三维视觉：原理与实践》系列全部课程的学习，并至少发布一篇已过审的学习笔记至博客，即可申请发放课程结业证书。

活动时间：学习分享奖从即日起至9月9日；课程结业奖长期有效。
以上奖项均可叠加。

四、其他Q&A

✦Q：课程有门槛吗？

社区小助手：感兴趣即可，本课程分为基础原理篇和应用实践篇，对于有基础的同学会更容易吸收。

✦Q：课程去哪里可以学习？

社区小助手：进入3D视觉开发者社区，点击首页大讲堂，进入“三维视觉：原理与实践”板块，就可以学习啦。

✦Q：课程是全部免费吗？

社区小助手：是的。全系列课程免费开放给所有人学习与参考。

✦Q：课程有多少节课？

社区小助手：课程分为12大主题，总计21节课，后续讲师们会持续更新更多课程。

✦Q：课程中遇到不懂的问题，怎么办？

社区小助手：如果学习过程中遇到问题，可以在视频下方点击“去论坛”，在论坛发帖即可！届时会有专业人士为你解答！