1 - VR/AR/车舱内深度感知系统应用探讨

因工作需要，近期整理了一份当前市场下已量产的深度感知解决方案（已经模组化）,也想借此机会和大家探讨一下当前现状和未来发展方向。

深度感知方案现状及展望讨论

当前深度感知的方案有itof， dtof，结构光，双目，激光雷达/毫米波雷达等多种方案！而在不同的使用需求下，对深度模组的需求不同，常规评估深度模组是否满足实际使用需求可以分为如下几个维度来分析：

- FOV较大

- 帧率

- 分辨率

- 测量距离范围, 精度

- 模组是否已标定好，算法已优化在模组侧SoC内

- 是否包含linux/Window/Android SDK，至少支持C/C++（这个也可能会在使用者SoC侧开发其算法及软件）

对于上述方案，Stereo相对精度会低一些，且baseline往往后相对大，导致最小测距较大。因此本次调研主要关注主流itof/dtof/结构光/雷达方案！ 而对其优劣分析文章很多，小编嗟来供大家和自己参考便是：深度相机：结构光、TOF、双目相机_图像算法AI的博客-CSDN博客_结构光相机

另外补充几点：

itof -- 调制光，在距离远时候精度会降低，需要加大调制光功耗；

dtof -- 属于脉冲激光，距离远时候精度不会降低，所以功耗相比较itof会降低一些；

结构光 -- 散斑易受外界环境光干扰，所以测距短；

从上面表格看去，不难发现itof/dtof/结构光的分辨率较低，比较大的算是640x480， 其主要原因还是这些sensor更多是面向消费级，对成本敏感。 所以当itof的调制光成本可以降低，dtof的感光器件技术和成本都能降低，结构光的光斑点数可以增加，都可以使得其分辨率提高！

但对于量比较小的使用者而言，需要等待索尼，安森美等大厂可以批量发布性能更高的sensor，再考虑将其算法和软件集成到SoC上。但因要获得平滑，准确的深度图， 算法上往往需要包含 时/频域滤波、解码、 畸变校正、飞像素剔除、 填充、插值 、双边滤波等算法过程 ，届时肯定对SoC算力需求也要提升了，最好可以把算法浮点运算跑在硬件上！