论文研究 | 机器视觉下的普通国省干线公路落物识别
看了一篇机器视觉检测技术在公路落物识别中的应用文章，论文发表在《数字技术与应用》，介绍了机器视觉对普通国省干线公路落物识别的算法设计，对主要内容作了摘抄和整理，分享给大家~
0 引言
普通国省干线公路运行过程中，受到客观因素与主观因素影响会存在各种落物，包括从车辆上掉落的轮胎、钢管、生活垃圾以及其他物品等。为了降低此类落物的影响，提高管理效率，需要增强对此类物质的识别。本文以此为出发点，概述了普通国省干线公路落物识别的重要性，剖析了普通国省干线公路落物识别技术流程，并以此为基础，分别从图割法、MOG2 算法、YOLOv5+ 阈值法、KCF 跟踪与识别四个方面，对其具体情况进行了讨论。
2 普通国省干线公路落物识别技术流程
落物识别监测预警是现代普通国省干线公路路网运行安全管理中的重要组成部分，在当前应用的多种识别技术中，主要是应用“传感器 + 人工智能”的基本方案，借助配置适用性较强、适配性较高的技术，实现对路面落物的自动识别 。需要注意的是，在落物识别技术应用时并不是单一的应用一种技术，而是需要配置多种技术，才能达到有效识别、监测、跟踪、预警等。以基于视频的普通国省干线公路落物识别技术为例，其中就需要配置图割法、MOG2 算法、YOLOv5+ 阈值法、KCF跟踪与识别技术等，下面先对其流程进行说明。
（1）在基于视频的普通国省干线公路路面落物识别时，需要按照“道路区域分割—公路落物前景背景分离—道路物体目标检测—道路物体目标跟踪”的基本路线进行操作，四大环节中通常可以分为 6 个基本的流程进行操作 ：
1.利用图割法从整个图像中分割出有效的公路区域 ；
2.采用背景建模及背景差分算法得到所有的运动目标 ；
3.用深度学习算法检测出车辆，以排除车辆目标 ；
4.在排除掉车辆目标后，对剩下的目标采用阈值法筛选、排除掉一些小目标和噪声目标，得到有效目标 ；
5.对筛选出的目标初始化，使用目标跟踪算法跟踪目标，跟踪过程中目标可能会被其他物体短暂性遮挡，所以对跟踪算法进行改进，使其具有目标丢失判别能力，识别丢失的目标 ；
6.根据轨迹信息判断目标是否为落物，当轨迹连续若干帧移动较小，输出落物提醒并报警。
（2）在 6 个基本流程的实践过程中包括若干步骤，具体而言，在确定帧序列后一方面应按照“分割出公路区域并对公路背景建模—背景差分—二值化与形态学处理—运动目标”的顺序进行操作 ；另一方面则需要通过深度学习检测出车辆目标。在此基础上，完成对车辆之外目标的排除后，根据像素点设置阈值。当阈值大于设置好的阈值 T 时，则进入到下一环节，筛选出目标。当阈值等于、小于阈值 T 时，则需要对其中的噪声进行去除，待其符合具体要求后筛选出目标，再初始化跟踪筛选出的目标，借助 KCF/TLD 跟踪、提取轨迹信息，并在计算出等间隔数据帧中目标的欧氏距离后，根据设置好的距离 L，进行落物提醒并报警。当欧氏距离小于距离 L 时，进行落物提醒并报警，反之则需要先进行其他的运动目标处理，再实施落物提醒并报警。基于视频的落实识别技术流程如图 1 所示。
图 1 基于视频的落实识别技术流程示意
Fig.1 Flowchart of implementation recognition technology based on video
3 普通国省干线公路落物识别技术分析
3.1 图割法
该方法旨在分离公路区域，其中应用的 Graph Cut（图形切割）技术看，主要是用于解决计算机视觉领域各种低级计算机视觉问题 。例如 ：图像分割问题、立体对应问题、图像平滑问题等。实践经验表明，应用此类方法时，可以将图像分割问题与图的最小割（Min Cut）问题相关联，借助最小能量（Minimum Energy）方案，对应解决最大后验估计（Maximum Posterior Estimate）等情况。进一步讲，利用最小割最大流算法分割图像，可以将图像分割为前景和背景，进而分离出有效的公路区域。应用图像切割中的最小割最大流算法过程中，要求输入时先在背景与前景中进行画像，再利用该算法构建各像素点，完成相似度方面的“赋权图”，从而实现区分目标。
3.2MOG2 算法
(1)在短时间内围绕某一中心值，于一定距离内进地各像素点的分布时，通常会通过均值取代中心值，利用方差表示距离。因而，分布时会形成一定的规律，并通过统计定律加以处理。例如 ：在足量的数据点确定的前提下可以呈现出高斯分布（具体呈现为正态分布）。因而根据该特点，当像素点的值偏离中心值较远时，可以将该像素值归于前景。当在一定方差范围内此类值比较接近中心值时，可以将该点作为背景之中。从理论上讲，如果不存在任何干扰的条件下，能够实现准确区分前景和背景目标。但是，理想状态并不能实现，当画面中光线存在变化的情况下，高斯分布的中心位置往往会发生改变，因此，需要应用混合高斯模型。
(2)在描述背景的单一模式方面，单高斯模型具有较大优势，然而当背景中存在树叶晃动等多模态的情况后，应用该模型容易发生检错的现象。因此，在这种情况下，应该采用推广单高斯模型的办法，先获取混合高斯模型再利用多个新模型，从而满足多模态背景中每一个像素位置的监测并满足其鲁棒性，达到对缓慢移动物体的有效检测。进一步讲，背景本身作为一个高斯分布，在停车的状态下，如果聚集一定的前景数据会得到新的高斯分布。此时，停车时的实际前景与背景重合，由此导致停车状态与运行状态车辆的混淆 。需要说明的是，当车缓慢行驶时，形成高斯分布的时间相对较长，并不能立即实现分布，所以应用混合高斯分布可以实现对缓慢行驶车辆的有效检测。高斯混合背景建模流程如下 ：
1.通过初始化完成对多个高斯模型的预先定义，再对模型参数实施初始化并求将用参数 ；
2.处理每一帧中的每一个像素，查看匹配情况。在匹配的情况下归入匹配模型，并根据新像素值更新参数。反之，则以该像素建立高斯模型并对参数进行初始化处理 ；
3.选出背景模型所用的高斯模型，做好提取准备工作。
(3)MOG2 算法结合不同输入场景自动选择高斯分量的个数，建立背景像素模型并进行权重设置（如使用颜色存在时间的长短进行设置）。考虑到权重中的颜色具有持续时间长的特点与静止属性，而且在具体操作时以时间序列为基础，因此，可以将时间序列中每个像素占有的位置，通过时间与空间的基本形式完成分布构建。
3.3 YOLOv5+ 阈值法
图像目标检测方面深度学习具有较大优势，从实践经验看，YOLOv5 技术不仅名列前茅，而且学者们将它应用于不同对象的检测时，可以选择不同的改进方案进行应用。在高斯背景建模识别并输出全部运动目标 ID 标号条件下，应用 YOLOv5 识别技术，能够识别每一帧图像中的车辆目标，达到排除目标。同时计算剩余运动目标的像素数，采用阈值法筛选掉小目标及噪声目标。
3.4 KCF 跟踪与识别
目标跟踪的任务在于，找出被关注目标在每帧视频图像中的位置。从功能上看，与目标检测相似，旨在寻找目标位置，但是，在“跟踪”时需要配套提升运行速度。实践经验与实验比较结果显示，目标跟踪运行速度往往大于目标检测，然而，在目标位置定位精度方面容易出现偏差。因此，实践过程中，通常会牺牲少量定位精度，以此换取成倍的运行速度。
3.4.1 目标跟踪算法
该算法主要分为生成式（Generative Model）与判别式（Discriminative Model）两种。在前一种方法下，将目标跟踪视为二元分类问题，通过训练关于跟踪目标的分类器来从候选目标中找出正确的目标（如 CSK、KCF算法）。在后一种方法下，采用特征模型描述目标的外观特征，再最小化跟踪目标与候选目标之间的误差来确认目标（如 LK 光流法）。根据跟踪目标的数量看，可以将目标跟踪算法分为单目标跟踪与多目标跟踪。与单目标跟踪相比，多目标跟踪问题相对复杂，操作难度相对较大 [5]。所以，在多目标跟踪时，需要考虑视频图像帧中多个独立目标的不同类别、位置、大小、外观、运动方向、动态光照、相互遮挡等因素（此类因素是目标跟踪领域的研究难点）。经综合考虑公路图像的特点及工程实际情况，可以选用性价比较高的 KCF 算法实现目标跟踪。
3.4.2 KCF 算法
KCF 是英文 Kernel Correlation Filter 的首字母缩写形式，中文翻译为核相关滤波，属于判别式方法。从原理看，主要是通过物体在当前帧的位置，迅速预测物体在下一帧的位置。由于该算法具有循环矩阵和相关滤波这两个特点，因而可以将运行速度提高到 150FPS。具体应用时以循环矩阵与相关滤波为主。分述如下 ：
（1）循环矩阵 ：KCF 算法将图像沿着上下、左右的方向进行平移，以产生更多的样本用于训练。同时这种平移可以通过循环矩阵来表示，循环矩阵可以对角化，计算时仅需关注对角线上的非零元素，因此能够大幅加快矩阵与矩阵的计算速度。
（2）相关滤波 ：相关是衡量两个信号相似值的度量，相关值越高，表示这两个信号越相似。KCF 输入往往通过其他检测手段，得到物体在某一帧图像上的准确位置（如应用 MOG2 算法得到 box）。假定，该准确位置为patch_0，在后续图像帧上， [patch_1, patch_n] 中共有n 个 patch，此时，KCF 预测的位置即为与 patch_0 相关值最高的 patch。由于两个 patch 的相关卷积相当于傅里叶域中的元素乘积（时域卷积 = 频域点积），而乘积计算大大快于卷积运算。因此，在计算 patch_0 与 patch_k(1 ≤ k ≤ n）的相关值时需转换到傅里叶域进行。最后，通过计算不同帧间相同目标中心点坐标的欧氏距离，借助设定阈值的方式判断目标是否为落物。
4 结语
总之，普通国省干线公路落物种类较多，会给公路管理单位与车辆驾驶人员产生较多危害。在新时期交通行业高质量发展阶段，应进一步增强对基于视频的公路落实识别技术应用。通过以上初步分析可以看出，公路落物识别既具有现实意义，也是提升公路管理效率，扩增运营效益的重要途径。因此，建议在“传感器 + 人工智能”的基本应用思路，结合技术要素主导的资源配置方式，合理推进落物识别监测预警技术的实践工作。
文章来源：王宁 1 王静 1 郝贵发 1 汪祝庆 2 倪树新3. 机器视觉下的普通国省干线公路落物识别 [J]. 数字技术与应用, 2022,40(10)
感兴趣的同学可以在知网中下载原文
在这里想推荐一款可以用于落物识别的机器视觉平台—跑码地Coovally，Coovally是一个包含完整AI建模流程、AI项目管理及AI系统部署管理的机器视觉平台。可以把开发周期从月缩短到天，加快AI视觉解决方案的开发、集成、测试和验证。帮助提升企业的AI栈软件开发能力，使先进的AI系统能够以更低成本、更快地普及。“打包自身的AI能力”给业务人员使用，从而实现“授人以渔”。目前跑码地Coovally已覆盖多个应用领域，包含制造业质检、地质灾害监测、电力行业设备监控、医学专病诊断、智慧交通、智慧园区等。
除了常见的落物识别，还可以检测的有：火焰检测、烟雾识别、抽烟识别、安全帽识别、行人检测、人员闯入识别、越界检测、攀爬识别、离岗检测、徘徊检测、聚众识别、人流密度检测、跌倒识别、防疫服识别、口罩识别、护目镜识别、灭火器摆放、别反光衣识别、、焊接缺陷识别、玻璃制品缺陷检测、楼道杂物堆放识别、垃圾桶溢出识别、河道漂浮物识别、夜间老鼠识别、包裹移动识别、电动车进电梯识别、取物放物识别、扶梯大件行李识别、家畜检测、鸟窝检测、农作物病虫害检测、船舶闯入识别、渣土车识别、裸露土堆识别、非机动车识别、车辆违停识别、电动车头盔识别、大货车限行识别、积水识别、井盖识别、路面损坏识别、重型机械车辆检测、交通指示灯识别等超过100种常见AI应用场景。