火焰检测的相关步骤及算法综述

引言：随着人类社会的发展进步，火灾成为了不可忽视的多发性问题。火灾一次次展示了其对于人员伤亡和财产的巨大破坏性。火灾的预防和检测一直是人类与火灾斗争过程中关注的焦点[1]。近些年来，随着数字通信技术、计算机技术的发展, 数字图像处理技术获得了广泛的应用。因此,人们提出了利用图像处理技术进行火灾的监控与报警[2]。
基于图像处理的视频火焰检测(Video Fire Detection, VFD)系统较之传统的火灾监控设备具有识别速度快，适应能力强，误报率低，使用方便等优点。但同时如何更加精确的将火焰从复杂的背景及各种干扰光源等中识别出来就显得越发的迫切。一个完整的火焰识别系统主要包括以下六个环节：图像获取、图像预处理、火焰图像分割、火焰图像特征提取、火焰跟踪、火焰识别[3]。完善这其中的一个或者多个环节正是大量算法研究人员的目标，以便借此提高VFD系统的整体识别性能，可以更好的应用到实际生活当中。

1.图像获取及预处理
1.1图像灰度化处理
通过红外相机或者普通的相机可以获取到相关的火焰图像或者视频信息。基于这些图像和视频就可以把它们转化为灰度图像。而所谓的灰度图像(Gray-Scale Image)，是一种像素亮度从黑到白连续变化的单色图像，其像素只含有亮度信息，不含色调和饱和度等色彩信息[4]。图像的灰度化处理就是将彩色图像转化为灰度图像的过程。图像灰度化处理不仅可以降低数据信息的处理量和存储量，而且减少了时间成本，增加了识别精确度。
在进行火焰图像的灰度化处理时可以
通过式（1-1）的线性函数进行变换，得到特征更加明显的灰度图像。除了线性变换以外，还有对数变换（式1-2），伽玛变换（式1-3），阈值变换（式1-4）等方法。图一分别显示了在不同取值下灰度图像的线性变换及其对应的直方图。
（1-1）
（1-2）
（1-3）
（1-4）

原图像 原图像直方图

图一 原图像及线性变换后的灰度图和直方图
Figure1 Original image and it’s grayscale and histogram image after linearly transformed

1.2图像平滑滤波
图像在形成、传输、接收和处理的过程中, 由于通过的传输介质的实际性能和接收设备性能的限制, 不可避免地存在着外部干扰和内部干扰, 因此会产生各种各样的噪声[5]。而火焰在形成的过程当中也会受到天气，光照等噪声影响，因此在进行火焰识别前应当对火焰图像进行平滑滤波处理。图像的平滑滤波方法大致有均值滤波，高斯滤波以及中值滤波。
均值滤波运算简单，对高斯噪声具有良好的去噪能力，但是在抑制噪声的过程中会损失图像的边缘等细节信息从而导致整幅图像模糊的问题[6]。高斯滤波由于对任一像素都采用固定窗口的平滑操作，而没有考虑像素本身的特点及局部纹理区域的相关性，故造成图像边缘被模糊[6]。中值滤波可以有效消除图像中的随机噪声，而且不会使图像边缘变得模糊，能够有效保护原始信号，但是中值滤波需要使用排序找出中值，其计算时间复杂度高，因而不能满足海量、高分辨率图像实时滤波处理的需求[7]。故此，在火焰图像滤波的过程当中，应该根据具体的噪声原因选择效果较好的滤波器做到具体问题具体分析。图2展示了不同的滤波器对于不同噪声的处理效果。

图二 不同滤波器对不同噪声的处理效果
Figure2 Different filters for different noise

2.图像分割
在火焰检测时，图像分割是其关键步骤。将火焰图像完整且准确的从复杂的背景中分割出来为后续的任务提供了保障。其分割的结果往往也决定了整个检测的结果。
2.1阈值分割
阈值分割是图像分割中一类最早被研究和使用的方法，其具有物理意义明确、效果明显、易于实现、实时性良好的特点[8]。阈值分割的基本思想就是根据某一阈值T（式2-1）将图像分为两部分：前景和背景。但是当图像的前景和背景区域的灰度值分布并不均匀时就需要用到多个阈值来提取目标。
（2–1）
2.1.1最大类间方差法
最大类间方差法是运用较多的阈值分割算法之一，由大津展之于1978年提出。该算法以目标类与背景类之间的方差最大化为准则，选取分割阈值。适用于图像中的目标和背景所占面积接近的情况，而当两者所占面积较为悬殊时，这种分割方法将失效[11]。类间方差表示为
（2-2）
其中w0表示属于前景的像素点数占整幅图像的比例，其平均灰度为；表示背景像素点数占整幅图像的比例，平均灰度为。图像的总平均灰度为，类间方差为。图三是经过最大类间方差法处理图二中原图像后的图像。

图三 利用最大类间方差法处理的图像
Figure3 the image processed by Otsu
2.1.2最大熵法
最大熵法的目的是将图像灰度直方图分成独立的类，使得各类熵之和达到最大值。对于灰度图像来说，信息熵越大则表示图像区域的灰度值分布越均匀[12]。要使得信息总熵最大，就是使得阈值t最大。目标类和背景类的熵值分别为：
（2-3）
（2-4）
图像的信息总熵H(t)：
（2-5）
可以得到最佳阈值t*为：
（2-6）

图四 利用最大熵法处理的图像
Figure4 the image processed by maximum entropy method
2.2边缘检测
边缘是不同区域的分界线，是灰度值导数较大或极大的地方。边缘检测的目的就是识别出灰度级变化明显的点。边缘检测通常选择一阶和二阶导数来检测边界，通过求导方法来检测灰度值的不连续效果。边缘检测也可以借助空域微分算子利用卷积实现，常用的微分算子有梯度算子和拉普拉斯算子等[13]。利用边缘检测法分割火焰图像，就是要先检测出图像中的边缘点，然后按一定策略将这些边缘点连接成轮廓，从而构成分割区域[14]。一阶导数的边缘检测算子包括Roberts算子、Sobel算子、Prewitt算子等，二阶导数的边缘算子包括拉普拉斯算子等，以及非微分边缘检测算子Canny算子。
2.2.1Roberts,Sobel及Prewitt算子
Roberts算子采用对角线方向相邻两像素之差近似梯度幅值检测边缘，在检测水平和垂直边缘具有很好的效果，但对噪声敏感[15]。Sobel和Prewitt算子利用像素点上下、左右邻点的灰度加权算法，不同在于平滑部分的权值有些差异。对于噪声有一定的抑制作用，但是在检测的过程中会检测出虚假边缘，检测精度相对较差。Roberts算子，Sobel算子和Prewitt算子的检测模板如图五所示。

Roberts算子模板 Sobel算子模板 Prewitt算子模板
图五 梯度算子模板图
Figure5 the images of gradient operator

2.2.2拉普拉斯算子
拉普拉斯算子是一种二阶边缘检测方法，它通过寻找图像灰度值中二阶微分中的过零点来检测边缘点[16]。使用拉普拉斯算子进行噪声估计时，估计结果受图像中强边缘和复杂纹理的影响较大，会造成噪声方差的过估计[17]。在使用拉普拉斯算子时，一般都使用经过高斯低通滤波处理的高斯-拉普拉斯算子（Laplacian of a Gaussian）。LoG算子有效的抑制了噪声，而且对于强边缘和复杂纹理的图像也可以很好的平滑处理。LoG算子如式（2-7），G(x,y)为高斯函数，为标准差。
（2-7）
2.2.3Canny算子
Canny算子是从不同视觉对象中提取有用的结构信息并减少要处理的数据的一种技术。其算法步骤大致为先用高斯函数对于图像进行一个平滑处理，然后运用一阶微分中函数的极大值来确定边缘上各个点所对应的位置[18]。Canny算子可以有效抑制噪声，而且可以较为精确的定位真实的边缘。下图为Canny算子各个步骤效果图及最终效果图。可以发现Canny算子精确的定位了火焰的边缘信息，通过Canny算子定位的边缘信息可以很清晰的看出火焰形状。

图六 Canny算子图
Figure6 the image handled by Canny
2.3区域分割
区域分割思想就是将具有相似特征的像素连接起来构成一个区域，从而将整幅图像划分为几个不同的区域。区域生长算法和区域分裂与合并算法是较为传统和基础的区域分割方法。此外还有分水岭[14]等算法。
2.3.1区域生长算法
区域生长算法的基本思想是从一组生长点出发，将种子点周围领域与生长点相似的像素点合并，形成新的生长点，然后继续向外生长，重复此过程直到生长停止。区域生长法的优点是计算简单、高效。适用于简单、规律性强的图像。其缺点是需要人工交互以获得种子点，同时对噪声也较为敏感，容易造成过分分割或者欠分割[19]。根据火焰区域的亮度比背景区域亮度高，故此选取下图十字位置，观察其区域生长结果可以发现由于火焰受外部环境干扰存在不连续性，因此火焰分割存在较大的误差。
图七 区域生长图
Figure7 the image disposed by region growing
2.3.2区域分裂与合并算法
区域分裂与合并算法的基本思想是首先将图片分割为很多个区域，然后根据分裂合并的条件对这些区域进行相应的分裂合并处理。在一定程度上区域生长和区域分裂合并算法相辅相成，区域分裂与合并算法可以在较大的相似区域基础上再进行相似合并，而区域生长算法只能从单一像素点出发进行生长。
区域分裂与合并算法中对图像进行分裂操作时，采用的是四叉树算法即将图像划分为4个区域，然后在将得到的子图分割为4个区域，一直到满足相似性准则。其示意图如下。

图八 被分割的图像及其对应的四叉树
Figure8 the divided image and its quaternary tree

2.4基于运动物体检测火焰
火焰特征不仅仅会体现在静态图像的亮度，色调等特征上，而且会在连续图像视频中呈现出变化明显的运动特征。火焰燃烧初期，面积具有明显的增长膨胀趋势；而随着火焰燃烧过程的持续，空气气流的流动导致火焰呈现一定程度的无序闪动[21]。因此，在火焰检测当中可以运用一些基于运动物体的算法来实现。主要有背景差分法、光流法以及帧间差分法等。
2.4.1背景差分法
背景差分法又称减背景法，是一种最简单、最基本的运动目标检测方法。其基本思想是将实时的前景图像与相对稳定的背景图像进行求差运算，提取变化相对较大的区域[21]。但是在实际的火焰检测过程中，背景差分法对图像的背景获取要求比较高，很容易就受到图像采集设备抖动，或者其他运动物体干扰而得不到很好的背景图像。下图中第一幅图均为构建的背景图像，后面的图像则是通过背景差分法检测得到的运动物体。

（a）行人运动检测

（b）闪烁的火焰运动检测
图九 背景差分法检测运动物体
Figure9 the method of background difference for detecting moving objects

2.4.2光流法
光流指的是空间运动物体在观测成像平面上的像素运动的“瞬时速度”。光流法的基本原理是物体运动会引起光流场的变化。当图像中有运动物体时，目标和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置[23]。但是运用光流法进行运动物体检测时，计算量较大，而且火焰在充分燃烧时呈现出闪烁的特性，运用光流法检测精确度并不理想。

图十 光流法检测运动物体
Figrue10 the method of optical flow for detecting moving objects
2.4.3帧间差分法
帧间差分法算法的基本原理是在视频序列中处于不同时刻的两帧或多帧图像间，将相同坐标处像素的灰度值或颜色亮度值进行差分，并且通过阈值处理提取图像中含有运动信息的像素区域[4]。
（2-8）
其中表示离散图像坐标，、表示视频第k和第k-1帧。帧间差分法运算量小，时间复杂度较低，而且可以适应动态环境的变化，有效去除系统误差和噪声影响。此方法比较适用于固定摄像头检测火焰，这样可以避免运动引起的背景运动，以及因背景运动引起的差分图像中较多的伪运动像素的现象[23]。

（a）401帧图像 （b）402帧图像 （c）帧间差分法处理后图像

（d）201帧图像 （e）202帧图像 （f）帧间差分法处理后图像
图十一 帧间差分法检测运动物体
Figure11 the method of inter-frame difference for detecting moving objects

3.火焰特征提取

在火灾早期阶段，火焰图像特征较为独特，在不同的时刻，火焰的的面积、形状、颜色、纹理等都在变化[24]。如果能够精确的通过算法提取出这些火焰特征，就能为后续的火灾识别奠定良好的基础[25]。
3.1火焰颜色特征
火焰颜色是火焰的重要特征。而火焰的颜色也并不是单一的，从火焰焰心到外焰分别为白色、蓝白色、黄色、橙色、红色、暗红色[21][27]。颜色空间有RGB,HSI,Lab,YCbCr等彩色模型，火焰在不同颜色空间下的取值范围如下表[29]所示。
表1 火焰颜色在不同颜色空间下的取值范围
颜色空间 通道1 通道2 通道3
RGB [106,249] [59,234] [39,199]
HSI [0°,15°] [330°,360°] [0.19,0.99] [79,251]
Lab [9,239] [129,179] [129,201]
YCbCr [39,219] [139,189] [49,131]

3.2火焰面积特征
火灾初期火焰的燃烧面积增大，但是之后火势处于相对稳定的状态。火焰在面积增长较快的阶段也是平缓的增长，而不是跳跃性的增大[26]。可以利用帧间差分法计算出火焰面积变化率，在通过此变化率来判定是否含有火源区域[27]。
3.3火焰形状特征
火焰形状的变化主要体现在火焰边缘变化[27]，火焰尖角数目变化[28]，火焰分合等变化上。可以利用这些形状变化将火焰与相对稳定的车灯，手电灯光等干扰光源区分开来。
4.火焰识别
火焰识别是火焰检测的最后一个环节，也是火焰检测前期处理工作的最终目的。通过火焰图像预处理，图像分割，特征提取等处理，最终火焰检测的效果通过火焰识别率来展现。
4.1基于多特征融合的火焰识别
通过单一特征来识别火焰容易忽视一些干扰因素，而多特征融合相互补充可以较好的规避一些干扰。文献[30]提出一种综合运动特征检测，颜色分析和基于层次分析法的火焰多种动态特征融合的火焰检测方法，文献[31]提出一种通过改进RGB空间火焰颜色特征公式，计算火焰LBP特征向量和火焰动态特征图然后将这4幅火焰特征图构成一个四元数得到火焰显著图，这些改进的多特征融合算法较之单一特征识别算法都具有准确率较高，误检率低，鲁棒性强的特点。
4.2基于BP神经网络的火焰识别
BP神经网络（Back-Propagation Neural Network）即反向传播神经网络，广泛应用于模式识别与分类，函数逼近，数据压缩等方面[32]。在火焰识别方面BP神经网络也有着很多应用。
文献[32]以圆形度，颜色一阶矩，颜色二阶矩，面积增长等12个神经元构成输入层，通过25个节点的隐藏层来识别火焰信息，最终达到了良好的识别能力，弥补了传统火灾检测不足的效果。文献[33]以BP神经网络对单一工况和动态火焰模型进行识别测试，得出了BP神经网络具有理论性强，内存要求低，输出结果清晰明了，是实用化程度最高的模型的结论。
4.3基于SVM的火焰识别
SVM（Support Vector Machine）即支持向量机，是一种基于统计学习理论的机器算法，力求在样本有限的条件下寻找最优分类结果[34]。文献[34]提出通过火焰在LBP直方图上分布的特点，将其作为特征向量并用SVM进行分类识别。该方法具有检测率较高，误检率低，速度快等特点。
5.结论
本文参考了大量的参考文献，总结了火焰检测的基本步骤及其相关算法，并通过一些实验展示了相关算法在火焰检测中应用的缺点和长处。给接下来的火焰检测提供了基础帮助。

[1]段悦． 火灾探测中动态火焰的数字图像处理［J］．中国计量学院学报，2009，20( 1) :55-58．
[2]范华忠, 张伯虎, 冯　艳.图像处理技术在火焰目标提取中的应用[ J ] .电光与控制, 2006 , 13(1):99-104 .
[3]刘萍. 基于多特征融合的火焰识别方法研究[ J ]. 西安建筑科技大学, 2012.
[4]江熹. 基于数字图像处理的大空间早期火灾自动检测与识别技术研究[ J ]. 华东交通大学, 2012.
[5]康 牧, 王宝树. 一种基于图像增强的图像滤波方法[ J ]. 武汉大学学报，2009，34（7）：822 -825.
[6]朱士虎, 游春霞. 一种改进的均值滤波算法[ J ]. 计算机应用与软件，2013，30（12）：97-99.
[7]姒绍辉, 胡伏原, 顾亚军, 鲜学丰. 一种基于不规则区域的高斯滤波去噪算法[ J ]. j计算机科学，2014，41（11）：313 -316.
[8]刘海峰, 张 超, 罗 江, 林福良. 一种用于中值滤波的改进均值划分算法[ J ]. 计算机系统应用，2017，26（3）：162 -168.
[9]Sezgin M, Sankur B. Survey over image thresholding techniques and quantitative performance evaluationn[ J ]. Journal of Electroniv Imaging,2014,13(1):146-165
[10]吴一全, 孟天亮, 吴诗婳. 图像阈值分割方法研究进展20年（1994-2014）[ J ].数据采集与处理，2015，30（1）：2-23.
[11]Zhou M. Low SNR infrared weak target image segmentation algorithm[ J ]. Laser and Infrared，2004，34（3）：225-228.
[12]吴鹏. 萤火虫算法优化最大熵的图像分割方法[ J ].计算机工程与应用，2014，50（12）：115-119.
[13]李武. Matlab中图像边缘检测算法研究[ J ].北京测绘，2014，3：65-68.
[14]冷春艳. 基于红外图像处理的森林火灾识别关键技术研究[ J ]，电子科技大学，2012.
[15]贺桂娇. 几种经典的图像边缘检测算子分析比较[ J ].计算机光盘软件与应用，2014.
[16]孙英慧,蒲东兵. 基于拉普拉斯算子的边缘检测研究[ J ].长春师范学院学报（自然科学版），2009，28（6）：4-6.
[17]郭贝贝,易三莉,贺建峰，苗莹，邵党国. 改进的非局部均值滤波算法[ J ].计算机工程，2016，42（7）：227-231.
[18]李杨静,刘艺航,王梓,王迎港,宋琳琳. 基于Matlab的图像分割[ J ].无线互联科技，2018，15：53-54.
[19]吴聪,殷浩,黄中勇,王凯. 基于生长算法的车牌图像分割[ J ].湖北工业大学学报，2017，32（2）：58-61.
[20]王士迪,裴海龙. 基于视频图像的火焰识别算法[ J ].现代电子技术，2011，34（2）：82-86.
[21]张宾. 基于视频的火灾火焰检测[ D ].辽宁科技大学，2012.
[22]荣建忠. 基于多特征的火焰图像探测研究及实现[ D ].中国科学技术大学, 2012.
[23]靳琪琳,段锁林. 基于神经网络与加权融合的火灾火焰识别研究[ J ].计算机工程与应用，2013，49（13）：156-159.
[24]沐小会,陈嘉卿,宋英磊. 火焰特征提取研究在火灾探测中的应用[ J ].电子设计工程，2016，24（21）：188-190.
[25]王凯,冯宪周. 基于红外视频图像的火焰特征提取算法[ J ].舰船电子工程，2018，38（3）：137-140.
[26]田佳霖. 基于火焰特性分析的视频火灾检测[ J ].信息技术与信息化，2015，4：176-177.
[27]李玲. 基于视频图像的火灾识别研究[ D ]. 华南理工大学，2012.
[28]王琳,郭晨,李爱国,姚新. 基于多特征的公路隧道早期火灾火焰视频检测[ J ].公路交通科技，2015，32（6）：103-108.
[29]张莹. 基于复合彩色模型的火焰图像探测技术研究[ J ].消防技术与产品信息，2017，11，30-33.
[30]曾思通,吴海彬,沈培辉. 基于多特征融合的视频火焰检测方法研究[ J .图学学报，2017，38（4）：550-557.
[31]严云洋,杜静,高尚兵,周静波,刘以安. 融合多特征的视频火焰检测[ J ].计算机辅助设计与图学学报，2015，27（3）：433-440.
[32]郭健,张涛. 基于BP神经网络的仓储火灾火焰识别研究[ J ].数学的实践与认识，2015，45（7）：190-198.
[33]杨宏旻,唐晓军,刘勇,顾璠,徐益谦. 人工神经网络用于燃烧火焰状态识别的研究[ J ].工程热物理学报，1997，18（4）:521-524
[34]张霞,黄继风. 结合LBP直方图和SVM的视频火焰检测[ J ].计算机应用与软件，2016，33（8）：216-220.