无人机视频图像运动目标检测算法综述------2019年-------------

本篇为该综述阅读笔记

论文出处：

 

国内外研究：

目前，国内外学者利用无人机视频图像开展运动目标检测大多将研究重点放在典型运动目标——车辆上,例如美国[3]德国[4]等,我国也开展了利用无人机检测运动车辆的研究[5]。

1997年，美国设立VSAM视觉监控项目。将摄像机固定在高处或搭载在飞行器上对地面实施视频监控，并利用机载摄像机获得的数据进行车辆检测[6];

2005 年,中央佛罗里达大学设计了COCOA系统,该系统对无人机拍摄的视频进行处理，进行运动目标检测,并复现目标的运动轨迹[7];

Shastry A.C等[8]为消除直升机自身运动造成的视频图像不稳定,运用特征跟踪自动确定控制点对应关系的配准方法，提高了配准精度，并在此基础上运用帧差法进行运动目标检测，但只有 65%的检测精度;

Abdelwahab等[9]提出一种适用于机载和固定摄像机的视频图像运动车辆检测技术,该技术提取特征点并进行跟踪，通过测量每个特征点周围像素的直方图变化以除去背景，从而获得属于前景的特征点,再根据运动特性将特征点分为不同车辆目标;

董晶[10]等提出一种无人机视频图像运动目标实时检测算法，利用配准结合帧差法获取运动区域，实现了低复杂度场景下的运动目标快速提取，但对所占像素较少、运动速度较慢的目标在检测上存在局限性;

彭博蔡晓禹等[11-12]针对无人机视频图像的运动车辆检测，提出对称帧差结合分块背景建模法，将检测出的车辆用矩形框出,并建立了算法评价体系，算法正确检测率较高,基本不会将同一辆车重复检测，但不能完整检测出部分车体颜色与路面灰度较为接近的车辆，如黑、灰色车辆。

研究对象：无先验，利用算法直接处理数据

运动估计算法：

运动补偿：

1.空间运动估计方法：光流法、像素递归法...

2.频域运动估计方法：傅里叶变换、小波变换、WHT变换、DCT变换

特征法：

钟平等[17]提出了一种利用特征点匹配进行运动矢量估计的算法。算法首先将点特征与边缘特征相结合,提取出的明显且稳定性好的特征;然后利用均值滤波确定运动参数，实现对图像平移和旋转的运动补偿，实验表明，算法对于提高动态图像的稳定性有较好的效果;

武艳美等[18]改进块匹配算法，利用圆形块进行匹配以解决图像发生大角度旋转时运动估计不精确的问题。实验表明,算法能在大角度旋转或平移下得到准确的运动参数,但无法处理图像尺度变化;

宋宇等[19]根据航拍视频的成像特点,计算相邻之间全局运动的六参数近似变换模型并采用角点特征提取出有效的匹配点，实现图像的运动补偿

运动补偿依赖于图像配准精度，对于无人机视频图像，高精度图像配准存有很大难度。首先，无人机本身存在无规律的抖动，这使得视频中光照,形状等发生改变,选择基于特征点的匹配如灰度,纹理等，均会受到干扰，难以准确匹配;同时由于画面中存在运动目标，而运动目标不可以当做配准的特征点,故当视频中运动目标较多时也会造成较大匹配误差。对于图像配准的研究结果表明,现有配准模型众多,但大都具有局限性，对使用场景和数据类型要求很高，无法实现普遍适用目前对图像进行配准通常需要具体问题具体分析,结合场景特点进行特定处理，这会使得算法运算量巨大，同时增加运动目标的检测时间。

运动目标检测算法：

主流： 帧间差法、背景建模法、光流法 ----------------------近几年改进------------------------>

帧间差法：该算法比较图像序列中连续两顿所有对应位置的像素点,按照一定的规则计算对应点之间的差值，若其大于某设定的阈值,则认为该位置有运动目标,并加以提取。

→ →

 

Gang 等[23]将canny 边缘检测引人三帧差法，使检测出的目标更加完整。该方法可以抑制帧差法产生的重影、目标内部及边缘缺失等现象，但无法改善强光个明显阴影造成的影响，对动态场景的适应能力也较差。

→

谢红等[24] 提出一种结合边缘检测的改进三帧差算法,该算法在提取完整运动目标的同时不会增添冗余的边缘信息;然后将算法与 Vibe算法相结合，消除了 Vibe 算法可能导致的“拖影”现象，算法对光照突变具有一定的适应性;

→

陈宝远等[25]提出一种改进的三帧差分运动目标检测算法。该算法改进之处在于,用自适应阈值代替传统三顿差分法的固定闽值对图像进行二值化,减少噪声;算法抗干扰性较好,但当运动目标颜色与背景较为接近时会出现漏检、运动目标提取不完整的现象。

背景建模法：该算法通过对当前图像与背景图像做差来检测运动区域。具体来说,算法先得到场景的静态背景初始化模型，然后与当前进行对比,剔除其中的背景,得到运动目标。 

实际情况中，背景经常发生变化，这便需要对静态背景模型不断更新，以得到更准确的结果

 

 

难点：背景建模

方法：非回归递推（根据数据样本建立背景模型）：均值法、中值法

  回归递推（不需预先输入数据样本;自适应）：运动平均法、高斯背景建模法

Vibe算法[28-29]（背景建模法的特例，19年最优）：使用单幅图像建立背景模型，更新时只随机选取像素及其邻域进行更新，计算速度快，占用内存小。

光流法：

1981最早提出[31]：运动目标在图像平面上进行二维投影,得到运动场,当目标运动时,其灰度的瞬时变化率反应在运动场上,形成的变化率的集合称为光流场。

此种光流可以反应出图像的变化,因此可以用于运动目标检测[32]。

 

 

 

光流法可以在相机等设备发生移动的情况下检测出物体的运动状况，但是由于运算过程需要不断迭代,导致算法运行时间长,实时性较差[33]。

后续为克服算法运算量大的缺点出现了计算稠密光流的 Lucas-Kanade算法[34]。

Barrir 等[35]通过添加动量项使算法的收敛速加快;

刘洪彬等[36]同样为缩短光流法运行时间,提出了权重自适应的光流算法，检测出的运动目标明显,噪音少，且可以满足光流法的最优次优性能

其他方法[37-46]：略

分析与讨论：

无人机的飞行状态除去起飞和降落之外，大致可分为悬停状态与巡航状态,在这两种状态下获得的视频图像具有不同的特点[47]。

无人机在悬停状态可以基本实现稳定的拍摄视频，但机翼旋转和外界风力影响会使画面出现抖动，导致视频背景存有不规律运动;

无人机巡航状态指的是无人机进行前飞、后飞等平移飞行状态,在此时拍摄的视频图像中，图像在短时间内偏移量很大，除运动目标外，背景也存在大幅变化和运动，适用于固定摄像机的传统图像处理方法均不能很好的解决无人机视频图像的运动目标检测问题。

 

结论：

当处理无人机拍摄的数据时，需要根据无人机的运动信息和图像特点仔细选取合适的算法,才能获得较好的检测结果。后续出现的新型算法(19年)只对无人机视频图像存在的某方面干扰因素有一定的鲁棒性。而在真实场景中,干扰因素通常是复杂和多方面的。如何能将这些手段融合,以便可以同时应对场景中多个干扰因素,将是进一步研究的重要关注点。