LabVIEW实现深度相机与三维定位实战（上）

‍‍博客主页： virobotics的CSDN博客：LabVIEW深度学习、人工智能博主
所属专栏：『LabVIEW深度学习实战』
上期文章： LabVIEW中使用opencv快速实现视频的读写
如觉得博主文章写的不错或对你有所帮助的话，还望大家多多支持呀！ 欢迎大家✌关注、点赞、✌收藏、订阅专栏

前言

Hello，大家好，这里是virobotics。今天给大家分享在LabVIEW中实现深度相机与三维定位相关理论知识。

---

一、多种深度相机及原理

1.双目摄像机：获取左右两个RGB图像，通过机器视觉算法，进行“同源点”匹配，从而得到“视差”，计算深度。

2.双目+结构光相机：在双目相机的基础上，主动向物体投射编码激光，并接收发射。这样可以更快、更准确地进行匹配。（因为左右画面中，相同的反射点，就是同源点）经常用于3D人脸识别。

3.ToF深度相机：ToF（Time of flight），即飞行时间法，是一种深度测量的方法，精度为厘米级。其测距原理是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。

---

二、环境搭建

2.1 部署本项目时所用环境

• 操作系统：Windows10
• python：3.6及以上
• LabVIEW：2018及以上 64位版本
• AI视觉工具包：techforce_lib_opencv_cpu-1.0.0.98.vip
• onnx工具包：virobotics_lib_onnx_cuda_tensorrt-1.0.0.16.vip【1.0.0.16及以上版本】

2.2 LabVIEW工具包下载及安装

• AI视觉工具包下载与安装参考：
  https://blog.csdn.net/virobotics/article/details/123656523
• onnx工具包下载与安装参考：
  https://blog.csdn.net/virobotics/article/details/124998746

---

三、双目相机采集图像及原理

3.1 双目相机结构

双目相机，是由两个相对位置固定的单目摄像头构成。通常，两个摄像头位于同一个拍摄平面，且光轴（Z轴）平行。左右摄像头中心连线称为“基线”。基线与X轴平行，如下图。两个摄像头，除了安装位置不一样，其余相机参数（焦距、分辨率、视角范围等等）均应相同。

3.2 双目图像采集

任意选取一款市面上流行的“USB免驱”双目摄像机进行实验。其他参数，如：基线长度、镜头焦距、像素数等，请根据实际应用场景进行选型。

本实验以深圳金乾象生产的 KS4A418-D 型号双目相机为例。其基线在38~167mm之间可调。实验前，先固定一种基线长度。

1、第一步： 通过USB数据线，将双目摄像机连到电脑的任意一个USB接口。
2、第二步：打开“范例\StereoVideo.vi”

3、第三步：切换到程序框图，修改cameraID为双目相机对应的ID号。
通常电脑自带的摄像头ID为0，其他外接摄像头ID依次+1。如果电脑没有自带摄像头，那么外接的双目相机的ID就是0。

4、第四步：设置分辨率。通常单目摄像头的分辨率的宽高比为16:9或4:3，那么对应的双目分辨率的宽高比应为32:9或8:3，即宽度增加一倍。 为了方便与后面章节的ACVNet模型对接，这里推荐使用分辨率640*240。

（本实验所用的双目摄像头，可以根据用户设置的分辨率，自动切换单目和双目模式。单目模式只采集Left摄像头画面，双目模式采集Left和Right摄像头拼接的画面）

5、第五步：切换到前面板，运行VI。可以观察到采集的双目画面。VI通过一定的算法，将双目画面分离成Left和Right两张图。（有些型号的双目相机，画面是左右颠倒的，可以将Switch设为“左右交换”予以修正）

6、第六步：点击“OK”，可以将当前的Left和Right画面保存成图片文件。点击“Stop”退出程序。

3.3 双目深度测量原理

一个小实验

理想双目模型（上）

下图所示为点P在理想双目相机模型中的成像原理。

粗体蓝线代表两个相机图像传感器上的靶面（成像平面）；
B为基线，即两个相机中心点之间的距离；
FL与FR分别为左右相机的焦距，理想FL=FR=F；
CL与CR分别为左右相机的光心的横坐标（指到靶面左边缘的实际距离，下同），理想CL=CR；
XL与XR分别为点P在左右相机靶面上成像点的横坐标；
设点P到双目相机基线的距离（深度）为Z，根据相似三角形定理，可得：

整理后为：Z = B*F/(XL - XR)

理想双目模型（下）

深度计算公式：Z = B*F/(XL - XR)
其中（XL – XR）称为视差，即空间中相同一点在左右相机的靶面上成像点的横坐标之差。可以看出，视差与深度成反比。

注意上述的视差是个实际尺寸，而不是像素横坐标之差，但是在相同的分辨率下，二者成正比。

视差 = 像素横坐标之差 * 像元尺寸

像元尺寸就是单个像素在靶面上的实际尺寸，所以：

像元尺寸 = 靶面尺寸/分辨率

综上，像素横坐标之差 也与深度成反比。我们可以通过固定点的标定实验，直接确定 像素横坐标之差 与深度之间的系数，从而为将来计算深度提供方便。

以左目中心为坐标原点，
则P点空间坐标估算为：

Z = B*F/(XL - XR)

X = Z*(XL - CL)/F

Y = Z*(YL - CL)/F

(YL-CL代表投射点与左中心的纵坐标之差，下图中未画出，但原理类似)

分析小实验

由双目相机的深度计算公式可知，视差与深度成反比。也就是说，远处物体的视差小，近处物体的视差大。所以，当从左眼换到右眼时，月亮在画面中的横坐标几乎没变化，而手指的横坐标却有较大的移动，因而无法继续维持“手捏月亮”的视觉效果。

---

四、项目源码

如需源码，请在一键三联并订阅本专栏后评论区留下邮箱

---

总结

以上就是今天要给大家分享的内容，希望对大家有用。下一篇文章将给大家介绍LabVIEW中实现AVC算法，实现三维定位。我是virobotics,我们下篇文章见~

如果文章对你有帮助，欢迎✌关注、点赞、✌收藏、订阅专栏

推荐阅读

LabVIEW图形化的AI视觉开发平台（非NI Vision），大幅降低人工智能开发门槛
LabVIEW图形化的AI视觉开发平台（非NI Vision）VI简介
LabVIEW AI视觉工具包OpenCV Mat基本用法和属性
手把手教你使用LabVIEW人工智能视觉工具包快速实现图像读取与采集

技术交流 · 一起学习 · 咨询分享，请联系