文摘
作为最常见的严重灾害,火灾可能造成很大的损失。火灾的早期发现和治疗具有重要意义,以确保公共安全和减少火灾造成的损失。然而,传统的火灾探测器正面临一些焦点问题,如低灵敏度和有限的检测场景。为了克服这些问题,一个视频基于随机森林的火灾探测混合方法(RF)特征选择和反向传播(BP)神经网络算法。改进的火焰在RGB、HSI颜色模型空间和视觉背景提取器(氛围)的移动目标检测算法用于段疑似火焰区域。然后,多维特征火焰疑似区域提取,提取这些特征组合和选择根据射频特性分析的重要性。最后,构造BP神经网络模型对multifeature融合和火灾识别。几个实验视频集上的测试结果表明,该方法可以有效地避免特征干扰和有一个良好的识别在各种场景中对火灾的影响。该方法适用于火灾识别应用于视频监控和检测机器人。
1。介绍
随着社会发展的不断进步,火灾与巨额亏损的可能性也在增加。传统的火灾识别方法主要使用探测器,样品温度谱,和烟雾的特定区域,以确定火灾发生(1]。然而,由于探测器的探测范围和灵敏度的限制,很难实现及时发现在开放空间和恶劣的环境。
近年来,基于图像处理技术的火灾识别已成为研究人员关注的焦点。通过分析火焰的静态和动态特性,研究人员可以区分火焰和其他对象。火焰的静态特征主要包括颜色和纹理特征。陈等人。2)提出了一个火焰识别规则在RGB、HSI颜色空间中通过分析火焰的色度和混乱。侯赛因·德米雷尔[3)提出了一个基于YCbCr火焰分类模型颜色空间,这火焰模型可以更好地适应光线变化而RGB颜色模型。小王和任4)提高了图像的亮度进行直方图均衡化在V频道在HSV颜色空间,然后结合火焰像素在RGB和YCbCr颜色空间分布规律进行图像分割。Prema et al。5)基于小波分解提取纹理特征,然后使用一个极端的学习分类器对图像进行分类。他们的方法可以有效地消除红色干扰。盛等。6]研究了颜色、纹理和火焰图像的灰度统计特征和构造深度信念网(DBN)火灾探测。贾玛利et al。7]介绍了基于颜色特征的纹理特征来探测火灾。他们结合不同的特性来提高火灾探测系统的准确性。
火焰的动态特性主要包括运动特性和几何特性变化。Barnich和Van Droogenbroeck [8)提出了一个视觉背景提取器(氛围)算法,它提供了一个新的想法中提取火焰的运动特性。提高火灾探测系统的总体性能,福贾et al。9试图结合颜色信息,运动,和形状变化,以降低系统的误警率。龚et al。10)提出了一个火焰质心稳定算法。他们用颜色和运动功能段疑似火焰区域,进一步判断是否有火焰通过分析它的面积的变化,形状,质心。
火灾识别模型主要包括机器学习分类器和深度学习网络。杨et al。11]分析了火焰的形状特征和使用支持向量机(SVM)识别火灾图像。黄和杜12)提出了一种火灾识别方法结合粗糙集(RS)理论和支持向量机。他们的方法可以减少过度拟合,提高火灾预测的准确性。瞿et al。13)提取的红色和蓝色颜色组件和亮度分量火焰YCbCr颜色空间和使用反向传播(BP)神经网络模型来探测火灾。李,赵14)进行火灾探测基于卷积神经网络(CNN),如Faster-RCNN R-FCN, SSD, YOLO v3意思。盛等。15]改善火焰和烟雾的检测功能结合简单线性迭代聚类(SLIC) density-based空间聚类的应用程序与噪声(DBSCAN)和CNN。默罕默德等。16)提出了火灾探测一个CNN的框架。该框架可以应用于视频监控系统。
上述研究丰富和发展了火灾识别方法,但仍有一些重要的问题。首先,区域分割基于颜色特征将不可避免地与其他对象的颜色空间重叠,这可能会导致不准确的疑似火焰区域分割。其次,提取火焰特性不全面或没有相关的分类和识别模型,这使得它难以实现准确的火灾识别在复杂的场景。第三,深的学习方法需要很高的设备性能,及相关模型的训练和测试是复杂的。
针对当前的火灾识别方法的缺点,火焰颜色模型和氛围算法结合段疑似火焰区域。然后,疑似火焰区域提取,多维特性和随机森林(RF)方法用于分析每个特性的重要性,然后,这些特性相结合,并相应地选择。最后,建立BP神经网络模型对火灾探测。拟议的火灾探测方法是利用几组实验视频验证。
本文的组织结构如下:部分2描述了本研究中采用混合方法。部分3提出了实验,实验结果与讨论。部分4本文总结道。
2。混合法
2.1。区域分割算法基于颜色模型和氛围
区域分割是一个过程,一个图像(处理)划分为多个区域具有不同特点,然后将目标区域的背景。火焰呈现一种特殊颜色分布格局和动态特性的传播和扩散。因此,疑似火焰区域的图像可以通过使用颜色模型和分段移动目标检测方法。
2.1.1。颜色模型的分割
为了描述火焰像素的颜色分布,统计火焰颜色模型可以建立。燕et al。17)建立了一个颜色的火焰在RGB、HSI颜色空间模型。颜色模型克服了腔内火焰在很大程度上,但仍有undersegmentation干扰的高饱和度。研究火焰图像饱和,Horng et al。18)提出了一个火焰的HSI颜色模型,这限制了饱和组件。结合火焰在RGB、HSI颜色空间的特点,我们采用火焰颜色分割规则所示 在哪里 , , 。 , ,和是红色、蓝色和绿色组件的一个图像,分别。是一个图像的红色分量的阈值。的阈值是一个图像的饱和度。较暗的环境, ,和一个明亮的环境, 。 和是红色和绿色的改进阈值组件的一个图像,分别。 , ,和的阈值 , ,和 ,分别。
我们用改进的颜色模型,方程(1分离图像中的区域,满足从背景颜色模型的约束。斜纹棉布裤等收集的图片。19)被用来测试分割的效果。图1显示了一个细分的火焰图像使用不同的火焰颜色模型。
(一)
(b)
(c)
(d)
从图1与方法相比,它可以发现,在17),改进后的颜色模型可以有效地消除褐黄色木头和照亮地面,实现火焰区域的准确分割。
2.1.2。感觉运动目标分割
很难排除对象的颜色非常类似于火焰只使用颜色模型,所以有必要段移动对象动态特性的基础上火焰的视频。在火灾识别的过程中,帧间差分法(20.),光流法(21),或背景减法的方法(22)通常用于移动目标。帧间差分法的计算复杂度很低,但太依赖目标的移动速度。光流法计算复杂,并且对光线很敏感。背景减法的方法很简单,提取的目标完成。背景减法的方法包括高斯混合模型(GMM) [23和氛围建模方法24)建立背景统计模型。使用GMM方法相比,氛围算法随机选择邻域像素值或更新背景模型根据相邻像素之间的相似度,不需要大量的估计或操作,所以它的时间复杂度建立背景模型是较低的。以下是氛围算法的计算过程:(1)背景模型的初始化。背景模型的初始化过程填充像素样本集来构建背景模型。在一个图像,每个像素使用 代表它的像素值。在某种程度上 为中心,样品是随机选择一定的半径范围内建立一个背景模型的样本集。样本集 可以定义如下: (2)移动目标检测。的点 在一个图像进行测试,其像素值 在后台与每个样本值模型。如果有一定的差异的绝对值大于给定的阈值样本点 ,样本点被认为是不相似点检测。如果有超过给定的数字采样点的不相似点被探测到,点被认为是前景(移动目标)。否则,发现点背景,如所示 在哪里 代表点之间的距离和发现th样本点。 代表背景或前景的判断结果(3)背景模型更新。氛围算法使用一个随机更新背景模型更新策略的时候。一段时间之后 ,的概率 某些样本的样本集仍保留可以定义如下:
区域分割的准确性会影响特征提取。更准确的区域分割,提取火焰特征可以反映火焰的实际情况。视频火灾探测,提出了混合法的颜色和运动特征结合区域分割。基于火焰的颜色分布在RGB、HSI颜色空间中,采用改进的颜色模型,得出分割图像。与此同时,氛围算法得到分割图像采用基于运动特性。改进的颜色模型分割图像和氛围算法分割图像分割的,和最后的疑似火焰区域得到腐蚀后,扩张,和区域填充。图2显示了一些细分的例子基于改进的颜色模型和氛围的算法。如图2,该地区分割方法结合改进的颜色模型和氛围算法可以有效地排除土地和颜色类似于火焰移动行人和得到一个准确的火焰区域。
(一)
(b)
(c)
(d)
2.2。多维特征提取和射频功能选择
改进的传感器来获取信息的能力,multifeature融合技术广泛应用于图像识别领域(25]。区域分割后,可能仍然有区域误分割为火焰。因此,有必要提取多维特性,比如几何、纹理,和动态图像和使用multifeature融合技术来实现火灾探测。然而,一些功能不相关或冗余的识别模型,因此有必要选择特征子集歧视能力高的多维特性。
2.2.1。多维特征提取
多维特征从一幅图像中提取主要包括它的循环,长宽比,纹理特征,面积变化率,闪烁特性,和边缘抖动功能。以下是一个简短的介绍和相关的公式:(1)循环。圆的程度反映了目标区域的形状接近理论界。的循环是计算 在哪里代表火焰区域的面积代表火焰区域的周长(2)纵横比。长宽比反映了拉伸程度的火焰。高宽比是计算 在哪里代表最小的矩形的宽度和火焰区域代表了火焰长度最小的矩形区域(3)纹理特征。在图像纹理的空间关系的描述,常用的方法是对基于统计灰度同现矩阵应用灰度共生矩阵建立()(26),这是用来计算代表之下,相关性,能源和纹理特征的同质性。具体来说,像素偏移设置为1时,应用灰度共生矩阵建立和纹理特征统计计算的四个不同角度0°、45°、90°、135°,然后,四个方向的平均值作为纹理特征标准火灾识别。
两个点的灰度值图像是由一定的距离 。假设 灰度值的概率吗 。公式的对比 ,相关 ,能源 ,和同质性图像如下: 在哪里代表图像的灰度。和代表的平均值 行和列,分别。和代表的标准差 行和列,分别(4)面积变化率。面积变化率代表火焰区域的面积变化。面积变化率是计算 在哪里代表当前帧的火焰区域的面积代表前一帧的火焰区域的面积(5)闪烁功能。火焰闪烁会导致图像像素改变从无焰火焰。为了有效地反映火焰的闪烁特性在不增加算法的复杂性,火焰前景的变化幅度是用来描述火焰的闪烁特性。闪烁的特性是计算 (6)边缘抖动功能。边缘抖动测量对象的边缘变化的程度在变形的过程中。边缘抖动特性是计算 在哪里代表当前帧的火焰区域的周长代表前一帧的火焰区域的周长
2.2.2。随机森林特征选择
随机森林(RF) (27)是一个集成的机器学习方法,使用决策树作为基本的学习者,使决定通过投票机制。特征选择,单一特征变量的重要性计算射频方法,然后发现特征变量,因变量是高度相关。因此,我们可以选择少量的特征变量,可以充分保证预测结果的准确性。
特征选择的目的是选择相关的特征子集的现有特性集。在疑似火焰区域特征提取之后,我们可以得到一个能量特征向量 。我们使用射频方法选择特性和很强的相关性与实际结果作为输入的BP神经网络模型。
由于没有出版领域的标准数据集防火和检测目前我们主要使用一系列典型数据库提出了(28- - - - - -30.)来构建我们的视频。视频集包含30火灾视频和10干扰视频。火的视频主要包括不同形状的火焰在室内,高速公路,和森林场景。干扰视频主要包括路灯,车灯,红色的物体。视频的分辨率是统一调整 ,选择和20个连续帧的图像从每个视频样本数据集。样本数据集共有800张图片,其中一些在图所示3。
本文样本数据集上的疑似火焰区域分割和火焰的多维特征提取。射频特性重要性计算基于Python的Scikit-learn工具机器学习库。具体来说,决策树在射频的数量设置为100,和决策树的最大深度设置为无限。分裂所需的最小数量的样品内部节点设置为2;最小数量的样品需要在一个叶节点设置为1。分割质量的度量标准设置为均方误差(MSE)。功能重要性的排序图给出4。从图4,它可以发现闪烁功能最高排名和边缘抖动特性最低排名。
根据图的排名4、火焰特性分为F1-F9结合特性,分别代表 , , , , , , , ,和 。BP神经网络方法用于训练和分类,并给出每个组合特性的正确分类结果图5。正确分类率10预测结果的平均值。
根据分类结果相结合的特性,如图5,样品的正确分类率达到一个高水平从5th结合特性,F5,随着功能的增加,样品的正确分类率趋于稳定。为了避免干扰引起的过度特性和保证分类结果的准确性,5th结合特性,F5,选择火灾识别,包括循环、长宽比、之下,能源,和闪烁的特性。
2.3。建设的BP神经网络模型
BP神经网络(31日也被称为误差反向传播神经网络。因为在相邻层神经元的权重都是相互关联的,网络的非线性映射能力来解决复杂问题。考虑到简单和实用性,与一个输入层,三层BP神经网络构造一个隐藏层和一个输出层为multifeature融合和火灾识别。
节点的数量在BP神经网络的输入层取决于特征向量的维数。摘要五每个火灾图像的特征选择,形成特征向量 ,所以有5个输入层节点。输出层输出识别结果,所以有1个节点。归一化输出值范围从[0,1],当输出值属于[0,0.5),这意味着无焰。当输出值属于[0.5,1],它是表示为火焰。隐层节点的数量计算使用经验方程(12),,和代表了在输入层和输出层的节点数量,分别是一个常数间1,10]。通过反复实验,发现当隐层节点的数量是10,神经网络达到最佳的训练效果。
基于上述分析,构造BP神经网络的结构给出了本文在图6。BP神经网络模型将用于火灾识别在接下来的部分。
3所示。实验和结果分析
3.1。实验环境
实验环境操作系统是Windows 10 8 GB内存,英特尔(R)的核心(TM) i5 - 10500 CPU @ 3.10 GHz, MATLAB 2018平台。
3.2。检测过程
摘要视频火灾探测的过程在图给出7。
3.3。培训和实验
样本数据集的训练集和测试集划分基于典型标准的70%和30%。该部门在桌子上1。具体来说,时代的最大数量设置为2000。Levenberg-Marquardt (LM)算法选择学习算法,和学习速率设置为0.001。MSE作为损失函数和损失函数的最小值设置为0.01。神经网络训练性能如图8。从图8,它可以发现损失函数的值逐渐减少在培训过程中,达到设定的最小值损失函数在30时代。
神经网络训练完成后,测试样本集上的正确分类率为96.67%。为了进一步验证火灾探测方法的性能,五个视频,没有选择参加培训测试训练神经网络模型,包括三个火视频和两个干扰视频。实验视频设置如图9。实验视频的描述如表所示2。
3.4。结果分析
结合射频特征选择和BP神经网络方法(缩写为RF-BP)和BP神经网络方法中,直接执行(缩写为Dir-BP)是用来做测试与几个实验视频。此外,提出的两个方法是火灾识别方法相比(11,13]。的准确性、精密、召回和 - - - - - -分数是用来评估影响火灾识别(32),如图所示 其中TP表示正确的数量分类框架的视频。TN代表正确的数量分类框架的干扰视频。FN代表帧的视频分类错误的数量。FP是分类错误干扰视频的帧的数量。
火灾识别的结果是由BP神经网络的输出值。实验结果给出了表3,识别效果评估表4。
场景图9,灯光和地面被灯光可以划分为疑似火焰区域。在[11),火焰的形状变化和质心位移,以及火灾图像的识别是由支持向量机实现的。因为灯光跟随车辆的运动干涉的视频中,地面灯光照亮的动态特性类似于火焰。这个方法不执行在干扰视频(video4和video5)根据表中的结果3。在[13),火灾的识别图像的融合实现Y, Cb和Cr组件YCbCr颜色空间。在火的视频中有太多虚假检测帧(video1、video2 video3)根据表中的结果3。这表明仅使用火焰的颜色特征作为标准,很难区分物体的干扰背景类似于火焰的颜色。方法相比(11,13),该Dir-BP直接执行BP神经网络融合方法,提取的特征包括能量特性和不选中。由于火焰的结构和动态特性考虑,这种方法有一定程度的提高精度,精度,回忆,和 - - - - - -结果显示在表4。然而,由于小的特性相关,可能会干扰识别结果,错误检测帧的数量仍然很大。拟议中的RF-BP与射频的组合特征选择方法和BP神经网络充分利用几何特征,纹理特征,和火焰的动态特性,可以有效地避免一些干扰特性和执行最好的评价指标。
4所示。结论
在本文中,一个有效的视频火灾探测基于射频特征选择的混合方法和BP神经网络算法。改进的颜色模型和氛围算法用于段疑似火焰区域,和RF重要性分析方法用于功能组合和选择。多维特征火焰疑似区域提取,提取这些特征组合和选择根据射频特性分析的重要性。此外,BP神经网络模型构建multifeature融合确定火灾识别的结果。实验结果表明,该特征提取的RF-BP混合方法可以有效地避免与小造成的干扰特性相关,可以完成实验视频在不同场景的火灾探测。
该方法将进一步调查,火灾识别可能的应用在视频监控和检测机器人。考虑到BP神经网络模型的性能很容易受到样本数据集的影响,下一步是扩大现有的数据集的特性由训练样本和更全面的信息。
数据可用性
支持这项研究的数据来自之前报道的研究和数据集,在这篇文章中被引用。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项工作得到了中国国家重点研发项目(批准号2019 yfb1312102),中国国家自然科学基金(批准号U20A20201),河北省的主要研发项目(批准号20311803 d),和河北省自然科学基金(批准号E2019202338)。