考虑低能见度条件下基于视觉的混合交通流碰撞检测框架

1、文章信息

《A Vision-Based Video Crash Detection Framework for Mixed Traffic Flow Environment Considering Low-Visibility Condition》。该文是东南大学研究生2020年发在Journal of Advanced Transportation上的一篇文章。

2、摘要

在本文中，提出了一种基于视觉的碰撞检测框架，该框架考虑低能见度条件，快速检测混合交通流环境中的各种崩溃类型。首先，引入Retinex图像增强算法以提高在低能见度条件下（例如，大雨天，大雾天和黑暗的夜晚和光线较暗）收集的图像质量。然后，训练了Yolo v3模型以从图像中检测多个目标，包括跌落的行人/骑自行车的人，车辆侧翻，行驶/停止的车辆，行驶/停止的骑自行车的人/行人等。然后，使用从Yolo模型的输出中获得的一系列特征来训练碰撞检测的决策模型。最后，利用CCTV视频数据集进行实验验证了模型框架。结果表明，所提出的框架实现了92.5％的高检测率，以及相对较低的7.5％的误报率。

3、简介

道路交通事故应急响应是交通管理的重要内容。一方面，在车祸中受伤的人需要被送往最近的医院，以防止他们的健康状况恶化；另一方面，如果没有及时进行应急响应或清理，严重的车祸往往会造成非经常性的拥堵。为了减轻这些负面影响，需要快速检测道路交通事故。

4、创新点

（1）基于Retinex+Yolo v3+决策树搭建碰撞检测框架

（2）本文框架相较以往模型具有相对较低的计算成本

（3）考虑低能见度条件和混合交通流环境下的碰撞检测

5、主体内容

本文提出的用于混合交通流环境的碰撞检测框架包含三个主要部分：①引入Retinex图像增强算法提高图像质量；②使用Yolo v3模型检测运动物体，例如车辆，行人和骑自行车的人/摩托车手；③提出了一种基于决策树的混合交通流环境下各种交通事故场景的判定框架。

（1）Retinex图像增强算法

Retinex是Edwin H. Land提出的一种图像增强算法。理论的基本内容是物体的颜色是由物体对长波（红）、中波（绿）和短波（蓝）光线的反射能力决定的，而不是由反射光强度的绝对值决定的；物体的色彩不受光照非均性的影响，具有一致性，即Retinex是以色感一致性（颜色恒常性）为基础的。传统的线性、非线性的算法只能增强图像某一类特征的方法，而Retinex可以在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，因此可以对各种不同类型的图像进行自适应的增强，是本研究的一个可行的选择。

根据Retinex理论，一张给定的图像可以分解为一张反射图像和一张亮度图像（也称入射图像）。

一张图像可以表示为：

使用对数进行转换：

其中是The surround function

Retinex的流程如下：

（2）Yolo v3算法

Yolo v3是当时最新的实时物体检测系统，其核心思想是将图片用作网络输入，即直接在输出层中返回边界框及其所属类别（例如，车辆，树木或行人等）的位置，流程如下图2。

Yolo v3算法的整体框架可以分为四个阶段：

• 边框预测（Bounding Box Prediction）

 Yolo v3使用平方和距离误差损失来预测坐标值， 通过逻辑回归预测每个边界框的目标分数。每个边界框都需要四个值来表示检测目标的位置：（xi，yi，wi，hi），它们分别考虑：（中心点的x坐标，中心点的y坐标，边界框的宽， 边界框的高），计算公式如下：

• 类别预测（Class Prediction）

为了对不同目标进行分类，使用逻辑回归分类器代替SoftMax。训练时，使用二元交叉熵损失进行类别预测。通过逻辑回归分类器学习后，有一组权重：w0，w1，…，wn，每个样本的n个特征可以写为x1，x2，...，xn，当输入测试样本的数据时，可以将其与权重线性组合：

使用sigmoid函数将其转换为概率（其中公式（8）中的g(x)是公式（6）中的x）

• 跨尺度预测（Predictions Across Scales）

Yolo v3使用三种不同尺寸的网络对边框进行预测，并使用特征金字塔网络(feature pyramid networks)从这三种尺寸网络输出中提取特征，最终预测一个3维张量，其中包含边界框信息，目标信息和类别信息。

• 特征提取器（Feature Extractor）

Yolo v3使用复杂的网络来进行特征提取，该网络具有53个卷积层，称为Darknert-53。这个新网络比Darknet-19强大得多，比ResNet-101或ResNet-152更高效。

损失函数为：

（3）基于决策树的碰撞检测框架

基于从Yolo v3获得的特征，考虑将决策树模型用于碰撞分类。优点：①使用树的成本（即预测数据）是对数级的；②它几乎不需要数据准备，就可以处理数值和分类数据；③易于理解和解释。

给定训练特征Xi和标签 y，决策树递归划分空间为：

可以通过不纯度函数H()计算m处的不纯度，该函数的选择取决于所考虑的任务：

选择参数以使不纯度最小化：

基于视觉的碰撞检测整体框架如下图3所示：

6、实验分析

• 本文实验环境为：

  a computer with specification Intel(R) Core (TM) i5-4200 CPU @ 2.50 GHz (4 CPUs), ~2.5 GHz, 8 GB RAM with NVIDIA Corporation GeForce 840 M.

• 使用数据介绍：

  CCTV 视频数据集。一个视频剪辑会记录碰撞前后的10-20 秒；收集的数据集有127362帧，其中45214帧包含崩溃场景，而剩下的82148帧是正常帧；观察到的各种碰撞类型包括多车碰撞、行人碰撞和骑车碰撞；数据集中还包含许多低能见度条件的图像，例如暗夜、光线不佳、大雨和大雾天。

• 当前视频数据集中观察到三种碰撞类型：

1. 与行人/骑车人有关的撞车：

   如果发生这种情况，可以在现场检测到倒地的人，倒地的骑自行车的人，停下的车辆，停下的人和停下的骑车人。

2. 轻微的车辆碰撞：

   如果发生这种情况，则可以在现场检测到车辆重叠，停下的车辆以及停下的人/骑自行车的人。

3. 严重的车辆碰撞：

   如果发生这种情况，可能会在现场检测到车辆侧翻，停下的车辆以及停下的人/骑自行车的人。

为了检测上述三种碰撞类型，使用CCTV视频数据集对框架算法进行训练，其中框架的结果展示如下：

（1）Retinex处理结果

（2）Yolo v3结果

（3）决策树模型训练结果

（4）多个碰撞检测模型的对比分析

本文开发三个经典的基于规则的检测模型：

Rule 1: 如果在一段时间（例如10秒）内连续检测到倒地的人或非机动车辆，则该状况可以确定为碰撞。

Rule 2: 如果在一段时间（例如10秒）内检测到两辆车辆重叠，并且在车辆周围检测到其他停车人员，则该状况可以确定为碰撞。

Rule 3: 如果在一段时间（例如2 s）内检测到汽车翻车，则该状况可以确定为碰撞。

总体而言，所提出的框架可以正确地检测出测试数据集中92.5％的碰撞， 错误警报率为7.5％。基于上述实验基本能够验证模型框架的有效性。

Attention

如果你和我一样是轨道交通、道路交通、城市规划相关领域的，可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流群！希望我们共同进步！