三维点云体素滤波python_秦学英三维物体的识别与跟踪记录笔记

关注CV视觉网，并设为星标，更新不错过

-------------------------------------------

简介

秦学英, 山东大学软件学院教授，博士生导师。主要从事增强现实中的计算机视觉、图像视频分析和处理等智能算法的研究。2001年12月获广岛大学工学博士学位，2003年初至浙江大学CAD&CG国家重点实验室工作，2008年至山东大学计算机学院，2009年获山东省自然科学杰出青年基金资助。近年来从事的主要研究工作包括，三维模板跟踪、物体的检测、识别与跟踪、深度图矫正和修复、虚实融合与场景重绘、肢体动态语义分析及虚实交互等。研究成果在SIGGRAPH Asia (ACM TOG), IEEE TIP, IEEE TVCG, VR, IEEE CVPR, ACM MM,Eurographics国际期刊和国际会议上发表。

网址 http://vr.sdu.edu.cn/info/1051/1140.htm

为什么要进行物体的识别与跟踪

增强现实的要素

•实时三维空间注册是增强现实的灵魂

•但是，实时性与空间注册的鲁棒性与精确性是非常困难的

•尤其是基于视觉的技术，面临了极具挑战性的计算问题

•摄像机跟踪、SLAM等技术解决了静态场景的空间注册问题

•在动态场景中或者需要采用实体驱动虚拟物体，应该怎么办呢？

对动态物体的实时空间注册，可以驱动物体进行交互

•空间的高精度注册能够产生良好的虚实混合的体验，但是对于具有柔性的物体，建立帧与帧之间的严格对应是非常困难的

•刚性物体是增强现实技术空间注册的首选，更容易实现实时鲁棒的三维注册效果

三维空间注册技术

•基于平面标志的空间注册技术：预知标志图案

•人工标志：人工设计图案，一般为黑白图案

•自然标志：自然图像作为图案，一般具有丰富特征

•基于三维物体的空间注册技术：预知三维物体为刚体

•三维模型未知：利用表面纹理实现注册

•三维模型预知：利用三维模型的约束实现注册

动态物体的三维空间注册是通过识别与跟踪来实现的，因为物体的动态性常常是不可以预测的

•识别：在画面上检测到目标物体的位置，并识别其具体的类别，主要在初始帧以及跟踪失败时迅速恢复跟踪

•跟踪：在连续帧画面上，确定三维物体的位姿参数

空间3D实时注册是增强现实的核心技术

•增强现实是实时在线的技术

•不仅实时性很重要，时间延迟也要尽量缩减

主要的三维空间注册方式

•基于硬件的方式

•基于标志点空间坐标的方式

•基于平面标志的实时三维注册技术

•基于三维模板的实时三维注册技术

•基于视频的摄像机实时定标方式(SfM)

•同时定位与地图构建

基于平面标志的空间注册技术

应用

•人工标志

•自然标志

人工标志的定义

•人工标志是一种具有特别图案的预制二维标志物

•人工标志一般采用黑白图案

•人工标志物可以定义一个二维正交坐标系，通过左手或者右手法则，定义一个三维空间坐标系

•人工标志自动定义了一个二维平面

人工标志的识别与跟踪流程

•获取灰度图：图像二值化

•预处理：获取潜在的标志边框

•快速识别和快速丢弃

直接拒绝仅有几个像素的小型区域

通过测试候选区域的颜色分布是否具有两极性来判断

通过对物体中的“洞”进行计数来判断

通过候选区域内颜色跳变的次数来判断

•计算标志位姿

•图案匹配

自然标志的定义

•自然标志是一幅具有丰富特征的自然图像

•自然标志物同样可以定义一个二维正交坐标系，通过左手或者右手法则，定义一个三维空间坐标系

自然标志的识别与跟踪

•基于特征点的识别

•特征点提取

•特征点匹配

•单应性矩阵计算

•基于特征点的跟踪

•在局部空间上进行搜索匹配

三维物体的识别与跟踪

•三维物体是真实世界物体存在的方式，由于比二维平面多了一个维度，因此其识别与跟踪变得更为复杂

•如果已知三维模板，这也定义了一个局部三维坐标空间

•在增强现实领域，三维物体的识别与跟踪是在生产实践中非常重要的组成

•该技术也是人机交互和机器人领域的核心技术

•三维物体检测是要从图像中定位兴趣物体的位置区域

•三维物体识别是从检测到的区域中识别具体的物体类别

•与一般的物体检测与识别问题的差异是，三维物体的检测与识别技术的区别主要体现在已知条件(常常已知三维物体的三维模型)，或者检测与识别的目标(三维的包围盒，以及物体的大致姿态)

•主要的方法

•从图像的检测与识别算法中发展而来

•LineMod

•基于深度学习算法目前具有最佳的性能表现

•Fast RCNN，Faster RCNN, Mask RCNN; Yolo, SSD

•SSD-6D

•在增强现实应用中的主要目的

•初始化三维跟踪位姿

•从失败的三维跟踪中恢复

•由三维模板生成训练数据

•数据由不同视角下的渲染图像构成

•三维模板在渲染时的位姿提供了标签

三维物体的实时跟踪

三维物体的跟踪

•现有方法的分类

基于特征点的方法[Lepetit2009]

利用判别性强的特征点

不适用于无纹理或弱纹理物体

基于边缘的方法[Drummond2002, Wang2015]

利用物体的边缘轮廓

背景复杂时易受干扰

基于区域的方法[Prisacariu2012, Tjaden2017 ]

利用前背景颜色统计信息

前背景颜色统计信息相似时易受干扰

基于特征点的方法

•在三维物体为刚体的情形，等价于SfM问题，只是需要将问题局限在三维物体上，剔除背景的影响

•随着SLAM技术的进步，在三维物体的特征非常丰富的情况下，目前已经有较好的解决方案

•相对来说，算法比较成熟

算法特点

•三维物体的识别通过特征点匹配来实现，例如基于词袋的方法

•如果三维物体有丰富的特征，那么几何形状的先验信息不是必须的，因为通过SfM或者SLAM，可以重建物体的几何形状

•如果给出了三维物体形状的先验信息，那么可以预知三维物体上特征点的空间坐标，从而在特征匹配的过程中，直接确定特征点对应的三维空间坐标，这样，在位姿估计中计算更为简捷，鲁棒性更好

弱纹理或者无纹理三维物体

•有一类物体表面仅有非常微弱的纹理，或者根本缺乏纹理信息，会导致特征的缺失，无法进行特征的匹配，特别是人造物体

•为了提高算法的鲁棒性，一般给出三维物体的几何模型，以其作为先验条件，可以提高识别与跟踪的鲁棒性

基于三维模板的物体识别

•基于特征学习的方法：LineMod

•基于深度学习的方法：SSD-6D

基于三维模板的物体跟踪

•基于边缘的方法

•基于区域的方法

基于边缘的三维模板跟踪

基于边缘的三维模板跟踪：边缘距离场

基本想法

利用目标物体的边缘形状与三维物体的边缘匹配

利用距离场获得求导的解析性

优势

不用显式搜索3D-2D对应点

不用一维搜索线

基于边缘距离场的全局能量函数+粒子滤波+鲁棒估计

挑战性

物体自身的物理属性：缺少纹理、物体表面反光等

物体所处的环境：背景复杂、光照变化和遮挡等

基于边缘距离场的无纹理三维物体跟踪方法

新的基于边缘距离场的姿态优化算法

粒子滤波框架处理大的帧间运动

鲁棒估计算子处理部分遮挡

基于姿态验证和错误恢复的无纹理三维物体跟踪方法

边缘方向一致性验证与三维跟踪过程融合

错误检测与错误恢复

实时无纹理三维物体跟踪系统

利用前景背景颜色信息去除嘈杂边缘干扰

多尺度优化和运动模型，提升处理速度

总体流程

•原始图像中进行边缘提取，生成距离场

•三维物体预设一个三维位姿，按照预设姿态获得轮廓

粒子滤波

初始姿态远离真实姿态时，迭代优化收敛到局部最小值

特别是帧间运动较大时，因此使用粒子滤波增加初始姿态的分布范围

基于快速模板匹配的错误恢复

三维物体跟踪的应用：装配指导

讨论

•技术的成熟度

•平面标志的识别与跟踪技术已经成熟，广泛地应用于增强现实系统中

•基于模板的三维跟踪技术则尚需进一步的研究，尤其是无纹理的三维模板跟踪，在迅速移动和快速转动时，跟踪效果不佳

•技术应用的趋势

•无论是二维的跟踪还是三维的跟踪，都可以实现三维空间的实时注册，从而实现虚实物体的三维融合

•三维识别与跟踪在交互技术中有重要性

•三维识别与跟踪在机器人抓取等问题中有重要性

-------------------------------------------

觉得有价值，点击在看，并分享，大家共同学习