【综述】机器视觉中的3D传感器

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

近年来，机器视觉技术变得越来越复杂，工业领域的图像处理更多的专注于3D传感器，而且越来越多的技术已经完善并且投入到实际应用中，包括焊缝的检测，以及在生产过程中对未分类部件进行仓拣或精确测量金属板。可以说，机器视觉已经转向了3D。

在过去的几年里，点云评估和测量软件也得到了快速的发展：从单一的图像数据转换成点云数据，对点云数据进行测量，计数和点云匹配。

正如图像处理行业的大多数玩家所知道的，获得3D图像有几种不同的方式。 

3D成像

正如图像处理行业的大多数玩家所知道的，获得3D图像有几种不同的方式。

激光三角测量法

最传统的激光三角测量法，这种方法可用于木材，橡胶和轮胎等垂直领域，以及汽车和轴的测量，金属和铸铁工业或其他应用如道路表面的测量。

对于激光三角测量，需要在结构化光源（如激光线投影）上精确校准相机，以确保即使在高环境温度下也能获得高于1 kHz的高采样率。通常测试对象在3D传感器下方移动以捕获3D点云。这意味着摄像机将检测投射到物体上的激光线，并根据激光线轮廓计算高度信息。在相机下移动物体时，会创建多个配置文件，用于完成三维图像。典型的设置包含一个激光器，它直接位于测试对象和相机之间，相机与激光器成30°角安装。但是激光和相机的其他角度组合也是可以的。例如，为了获得更准确的高度分辨率，相机和激光之间的角度可以加宽。但必须注意的是，角度越小，进入照相机的光就越多，评估结果就会更稳定。

现在有越来越多的软件可以处理3D图像数据。该软件可以将捕获的数据转换为点云，可以直接进行比较，使分析变得更加容易。

条纹投影法

除了激光三角测量方法之外，还有一种称为“条纹投影”的方法。基本原理也是三角测量，但是测试对象的整个表面都是用一次拍摄捕捉的。激光将光投射到条纹图案中，因此物体不必在传感器下方移动。光线从30°角投射到物体上，相机正对下方物体。

测量范围可以从不到一毫米缩放到一米以上，但分辨率也可以相应地变化。由于其测量速度快，分辨率高，条纹投影可以用于小型和大型测试物体，在工业检查中，应用于包括形状偏差检查，完整性检测，组件部件位置或体积测量等。但需要注意的是，条纹投影对周围的光很敏感。

3D立体相机

3D立体相机是另一种方法。它已经存在多年，越来越多地用于机器人或调试应用。立体图像处理使用与人眼相同的原理即立体偏移。为了获得3D图像，该方法采用两台相机。但由于测试对象并不总是具有相同的特定特征，因此经常使用随机模式投影。

ToF（time-of-flight）

几年前，据说在所有的方法中，ToF（time-of-flight）方法由于其分辨率有限而不适用于工业用途。大多数ToF相机的分辨率低于VGA，z分辨率相对较低，重复精度以厘米为单位。但是市场上已经有一些像素为百万像素的相机。ToF（time-of-flight）相机使用类似于雷达工程的技术。集成照明发送一个红外脉冲，传感器测量反射光所需的时间。近来越来越多的用于3D物体检测，但不能用于精确的测量。越来越多的应用领域是装载和卸载机器人托盘。 

深度学习

处理机器视觉的软件，在3D视觉中扮演着重要角色，它就像3D的“大脑”一样，但它是否像人脑一样学习？如何训练它？

传统的方法当然是以这样的方式对软件进行编程，即检查程序检测不良部件，每个偏离编程的特点是一个坏的部分，然后就是用软件对好坏部分的图像进行训练。

我们也可以用深度学习的方式来处理。深度学习只是人工神经网络（简称ANN）的另一个名称，但却是一个更精致，更简单的化身。他们已经存在了40多年。

人工神经网络通常表示为互相交换信息的相互连接的“神经元”系统。这些连接具有可根据经验进行调整的数字权重，使神经网络适应输入并能够学习。

由于它在目标函数非常复杂且数据集很大的应用程序中的表现令人满意，它已经成为机器学习的一个发展趋势。

在深度学习中，人工神经网络可以自动提取特征。我们不需要拍摄图像和手动计算如颜色分布，图像直方图，不同的颜色计数等，我们只需要在ANN中提供原始图像。

机器视觉行业对3D成像以及人工神经网络和深度学习的新可能性寄予厚望，让我们拭目以待。

好消息！

小白学视觉知识星球

开始面向外开放啦

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~