基于机器视觉的电动汽车充电站火灾火焰实时检测方法

1.文章信息

本次介绍的文章是青岛科技大学发表的一篇基于计算机视觉的火灾检测文章，题目为《A real-time fire and flame detection method for electric vehicle charging station based on Machine Vision》，这篇文章2022年10月份发表在Journal of Real-Time Image Processing上。

2.摘要

在电动汽车（EV）的充电过程中，高压和大电流充电方法被广泛用于缩短充电时间，导致电池严重发热，火灾风险增加。为了提高火灾检测效率，这篇文章提出了一种基于机器视觉的电动汽车充电站火灾和火焰实时检测方法。该算法在GhostNet-YOLOv4模型中引入了Kmeans++算法，重新筛选火焰烟雾目标的锚盒，以优化火焰烟雾目标复杂多变特征的分类质量；并在轻量级骨干网络GhostNet之后引入了协调注意（CA）模块，以提高分类质量。文章采用电动汽车充电站监控视频作为模型检测输入源，实现多对站点的实时检测。实验结果表明，改进算法的模型参数数为11.436M，mAP值为87.70%，视频检测FPS值为75，具有良好的连续目标跟踪能力，满足实时监控的要求，对电动汽车充电站的安全运行和紧急灭火至关重要。

3.介绍

电动汽车彻底改变了全球汽车行业的发展模式，这一趋势将继续推动该行业的未来扩张。到2021年底，中国将拥有784万辆新能源汽车，其中640万辆为全电动汽车。

每年，充电电动汽车引发的火灾数量都在上升。在充电桩和车载电池运行过程中，线路过载、短路、接触不良、充电不当以及高温环境下的散热故障等问题很容易引发火灾。随着电动汽车商业化程度的提高，充电安全性已成为这些电动汽车营销的最重要障碍。

为了对火灾事件做出快速反应，研究人员提出了各种火灾烟雾目标探测系统。识别火灾烟雾的最早方法是基于静态火焰和烟雾特性，如纹理、小波、颜色和边缘方向直方图。这些算法计算量大，难以实现实时检测。近年来，YOLO系列算法在目标检测领域取得了突出成就。并且变得越来越普遍。实验结果表明，YOLO系列算法具有良好的实时性和高精度，能够满足目标检测的要求。轻量级YOLO网络模型在实时目标检测中的应用已成为主要研究领域之一。这是因为轻量级目标检测模型减小了网络模型的大小，减少了计算量，提高了检测的准确性和实时性能。

这篇文章提出了一种基于机器视觉的电动汽车充电站实时火灾和火焰检测方法，考虑到电动汽车充电站内复杂多变的火焰烟雾颜色和形状特征，将GhostNet和Kmeans++添加到YOLOv4聚类算法中。CA模块基于充电站的当前监控设备，通过使用火灾烟雾数据集进行训练来增强神经网络模型，实时发现火灾信息，并配置动态预警和火灾监控。

以下是文章的主要创新点：

⚫ 选择高性能、轻量级的神经网络GhostNet作为骨干特征提取网络。基于线性变换，生成了更丰富的目标多通道特征图，减少了网络模型的参数数量和计算复杂度，保持了检测精度，提高了检测速度。

⚫ 原始算法中包含了Kmeans++聚类算法和CA模块，以增强提取火焰和烟雾特征的能力，解决漏检和错误检测问题，并提高模型的可推广性、复原性、训练效率和检测精度。

⚫ 电动汽车充电站的监控视频被用作神经网络模型检测的输入视频源，能够同时监控多个充电站，并大大缩短了对火灾紧急情况的响应时间。该网络模型可部署在移动嵌入式平台上，如检查机器人，并且在基于视频馈送的移动目标识别应用中具有很好的应用前景。

4.基于改进YOLOv4的火灾探测模型

A. 基于Kmeans++聚类算法的锚箱优化

如上图所示，聚类算法旨在将事物划分为簇，以最小化同一簇内对象之间的距离，从而检测可比较的对象。当电动汽车充电站发生火灾时，火焰和烟雾会迅速受到外部变量的影响，导致形状复杂多变。延迟模型收敛，以避免通过使用火灾数据集上的原始锚帧值生成的正样本和负样本的比例不平衡。使用Kmeans++聚类方法对火灾数据集进行分组，并使用聚类中心数据帧分布得出九个新的锚值。

初始化质心的位置会影响聚类结果和执行时间。随机选择将导致算法非常缓慢的收敛。因此，选择K个合适的质心至关重要。Kmeans++算法优化Kmeans的随机初始化质心，Kmeans++聚类算法需要根据经验确定初始聚类中心，不同的聚类中心可能导致不同的聚类结果。Kmeans++聚类算法的基本思想是初始聚类中心应尽可能远。Kmeans++聚类算法用于重新聚类火焰烟雾数据集，下表显示了锚盒的参数。

B.基于GhostNet-YOLOv4的火灾探测模型

上图以416×416的输入图片大小为例，描绘了YOLOv4的网络结构。必须改进目标检测算法，以满足工业应用中低功耗移动平台的实时检测要求。本研究将CSPDarkNet-53主干网络替换为GhostNet网络。

标准卷积分为两个步骤：用较少的卷积核形成特征图的一部分，通过简单计算生成的部分来获得剩余部分。

两个特征图被组合以减少所需的计算资源的数量。在批量规范化层优化之后，GhostNetYOLOv4方法使模型更加简单，在不影响精度的情况下加快了检测速度。

GhostNet是华为实验室提出的一种独特的网络拓扑结构。基本概念是创建阶段卷积计算模块，并对少量非线性特征图执行线性卷积，以生成额外的特征图。新的特征图是用于减少额外特征并生成更轻模型的初步修订图。如下图（a）所示，当前的卷积技术是用于减少维数的点卷积和用于提取特征的深度卷积。

GhostNet将线性运算与普通卷积相结合，可以将生成的普通卷积特征图线性变换为一些冗余特征图，以获得相似的特征图。GhostNet通过构建Ghost模块大大改进了卷积处理，如上图（b）所示。Ghost模块是GhostNet特征提取器的核心。与常见的卷积神经网络相比，该模块不改变输出特征图的大小，可以大大降低网络模型的参数和计算复杂度。此外，Ghost模块具有即插即用和易于携带的优点。

由于在网络特征提取和融合过程中，小目标的特征点很容易被发现，因此引入CA模块来增强火焰烟雾特征提取能力，以提高模型的精度；升级后的网络模型如下图所示。

C.基于CA模块的特征提取网络优化

数据集中的一些照片分辨率低；图像中的目标很小，火焰和烟雾目标的重合模糊了边缘。在目标特征提取和融合过程中，网络会快速丢失特征。下图说明了文章如何将CA模块添加到特征提取网络中。

通过CA模块，该模型可以更加关注火焰和烟雾的特性，抑制不需要的背景信息元素，如灯光和云，并减少微小目标的漏检次数。如下图所示，该速率提高了模型的精度。

CA模块在频道关注模块中嵌入位置信息，允许网络监控更大的区域。通道关注模块利用二维全局池来将输入转换为许多单个特征向量。如图6所示，CA模块将信道关注模块分解为两个一维特征编码过程，以聚合不同方向的特征。CA模块可以在一个空间方向上获取长距离相关数据，同时在另一个方向上保持准确的位置数据。

它们分别对生成的特征图进行编码，以形成一对方位感知和位置敏感的特征图。协调信息嵌入和产生协调注意力是CA模块过程的两个步骤。

（1） 坐标信息嵌入

全局池方法通常用于信道注意力编码空间信息的全局编码。尽管如此，由于信道描述符压缩了全局空间信息，因此保存位置信息仍然具有挑战性。为了使注意力模块能够记录具有精确位置信息的长距离空间交互，使用以下公式将全局池划分为一对一的一维特征编码操作。

具体地说，当给定输入X时，每个通道分别使用大小为或的池内核沿着水平和垂直坐标进行编码。

因此，通道c的高度h输出可以表示为：，同样，宽度为w的通道c的输出可以写为：，上述变换沿着两个空间方向聚集特征以产生两个方向性特征图。这与创建单个特征向量的SE块不同，因为通道关注方法只生成单个特征向量。这两个修改还使得注意力模块能够记录沿一个空间方向的长期依赖性，并保持沿另一个方向的准确位置信息，这提高了网络精确定位感兴趣对象的能力。

（2） 协调注意力生成

使用上述变换，该方法可以提取全局感受野并编码精确的位置数据。利用所得到的表示需要第二次变换，称为CA生成。在信息嵌入中的变换之后，本节结合了前面描述的变换，然后使用1×1卷积变换函数：

      是沿空间维度的级联操作，是非线性激活函数，中间特征图对水平和垂直方向的空间信息进行编码。这里，用于控制SE块大小减小率。然后沿空间维度将分解为两个独立的张量和。分别使用另外两个1×1卷积变换和将和变换为与输入X具有相同通道数的张量，以获得：

其中是sigmoid激活函数。为了降低模型的复杂度和计算开销，这里通常通过适当减少来减少的信道数。然后将输出和分别扩展为关注权重。

最后，CA块的输出可以写为：。

5.实验结果与分析

A. 实验数据集构建

当电动汽车充电站的电气设备燃烧时，会产生大量灰色烟雾，其中一些烟雾会与火焰结合，改变其亮度和形状。烟雾和火焰很容易受到外部原因的影响，导致形状和色调等复杂多变的特性。在数据集选择和创建中，需要增加数据集图像的数量，尽可能多地在多个阶段标记动态目标特征信息，并提高检测精度。深度学习模型预测的准确性取决于训练集的质量。

在数据分析的训练阶段，数据不足通常会导致过度拟合。数据扩充不仅可以解决数据不足的问题，还可以缓解过度拟合的问题。如下图所示，本文采用了两种几何变换过程：旋转和镜像反转。

YOLOv4被马赛克数据增强欺骗了。如下图所示，目标是随机裁剪四幅图像，然后将它们组合成一幅图像作为训练数据。在背景增强期间，四幅图像拼接在一起以增加批量大小，并且在批量标准化期间还计算四幅图像。由于马赛克数据增强方法的鲁棒数据增强能力，模型参数被任意初始化。火车由于Mosaic生成的一些训练图像偏离了自然图像的实际分布，因此在训练过程中确定了前70%的时期。每个阶段都有50%的机会在混合处理期间使用马赛克数据增强。

在构建阶段，将组装数据集。为了保证图像的质量，宽度或高度设置为至少600像素，并消除重复、模糊和轻度污染的照片。最后，获得了9658个火焰目标和10720个烟雾目标的16862张照片。LabelImg软件用于标记实验图像中的火焰和烟雾图，生成包含火焰和烟雾坐标的XML文件，并根据VOC数据集格式划分文件。验证集与测试集的训练集划分比为0.81:0.9:0.1。

B. 结果分析

损失曲线描述了模型训练期间训练集上的误差，并且误差曲线在前十轮训练中快速下降。经过十次迭代后，当误差在0.03左右波动时，损失曲线稳定。为了评估更新模型的检测性能，从测试集中选择3371张图像进行测试和评估。实验测试结果如下图所示。

测试结果如下：

为GhostNet-YOLOv4的算法模型选择一些EV火灾图像进行实时检测。下图展示了检测结果。火焰和烟雾预测框架对应于目标区域。

修正后的模型对黑烟更敏感，检测精度更高，与实验假设一致。

作为模拟监控设备对YOLOv4算法模型进行实时检测的视频输入，本研究选取了一个电动汽车充电站起火的视频。下图展示了检测结果。该模型的检测速度足以以75FPS的高精度进行连续实时检测。强大的连续跟踪能力可应用于远程动态视频监控，以满足电动汽车充电站的实时监控要求。

C.模型比较分析

为了证明文章提出的GhostNetYOLOv4模型的优越性，将YOLOv4的主干替换为传统的轻量级网络CSPDarkNet53 tiny和MobileNet-v3进行比较。在整个实验中，选择相同的测试数据集，并且设置保持不变。

上表展示了几种模型的性能指标参数，包括mAP、Precision和Recall。从表可以确定，就改进的模型参数的数量而言，增强的GhostNetYOLOv4模型是原始YOLOv4模型的17.77%，模态形状权重减少82.6%，mAP值增加1.4%，FPS提高167.85%。为了证明研究中提出的GhostNet-YOLOv4模型的优势，GhostNet-YOLV4主干被典型的轻量级网络CSPDarkNet53 tiny和MobileNetv3所取代。在整个研究过程中，使用相同的测试数据集，参数保持不变。表3给出了几种模型的性能指标参数，包括mAP、Precision和Recall。上表表明，改进的GhostNet-YOLOv4模型在改进的模型参数的数量方面是原始YOLOv4模型的17.77%，振型权重减少82.60%，mAP值增加1.40%，FPS值增加167.85%，这表明改进的GhostNet-YOLOv4模型更适合部署在移动平台上以实现高精度实时检测。

为了进行横向比较，请选择一些电动汽车点火图像，并将其输入YOLOv4、GhostNetYOLOv4 CA和YOLOv 4 Tiny模型。输入图像尺寸为608×608，置信度设置为0.5。下面三张图分别展示了YOLOv4模型图像检测结果、GhostNet-YOLOV4-CA模型的图像检测结果和YOLOV4微小模型图像检测结果。

文章提出的改进算法的检测精度略低于YOLOv4算法，但YOLOv4算法中的漏检问题已得到解决，如上图所示。与YOLOv4 Tiny模型相比，文章提出的改进模型的检测精度相同。集成CA模块后，漏检问题得到解决，检测帧更适合目标位置，这使得移动系统能够实时检测。

6.结论与未来工作

文章提出了一种基于机器视觉的目标检测算法，用于电动汽车充电站的安全监控，以实现对这种复杂场景的实时火焰烟雾检测。实验对比分析表明，改进的GhostNetYOLOv4 CA模型的mAP为87.70%，FPS（视频）值为75，模型参数数为11.436M，综合性能优于YOLOv4模型，可应用于低算术移动平台的火灾检测，并有助于电动汽车充电站的安全运行。

在未来的工作中，研究将在以下三个方面进行修订：首先，基于电动汽车充电站的特定火灾场景构建数据集，增加着火电动汽车和充电桩的图像数量，提高火灾场景的复杂性，提高检测准确度；第二，进一步优化网络模型，基于火焰和烟雾的特性对GhostNet网络进行修剪，并引入先进的优化算法来提高检测精度和召回率，使改进的模型更符合特定场景的火灾检测要求；第三，在GhostNet网络中嵌入火灾检测模型；最后将火灾检测模型嵌入到GhostNet网络中。电动汽车充电站检测机器人利用机器人自行进行检测和报警，提高检测效率。

Attention

欢迎关注微信公众号《当交通遇上机器学习》！如果你和我一样是轨道交通、道路交通、城市规划相关领域的，也可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流群！希望我们共同进步！