从视频实时火灾探测方法与Multifeature融合

文摘

威胁人们的生命和财产造成的火灾变得越来越严重。解决误警率高的问题,在传统的火灾探测中,一个创新的检测方法提出了基于火焰multifeature融合。首先,我们结合了运动检测和颜色检测火焰的火预处理阶段。这种方法可以节省大量计算时间筛选火候选像素。第二,尽管火焰是不规则的,它有一定的相似性的序列图像。根据这个特性,一种新颖的算法,火焰重心稳定提出了基于时空关系,我们计算每一帧的火焰区域的质心图像,添加时间信息获取火焰质心的时空信息。然后,我们提取功能,包括空间变异性,火焰的形状变化和区域差异来提高识别的准确性。最后,我们使用支持向量机进行训练,完成候选火焰图像的分析,实现了火灾自动监测。实验结果表明,该方法可以提高准确性和减少误警率与最先进的技术。该方法可以应用于实时摄像头监控系统,如家庭安全、森林火灾警报,和商业监视。

1。介绍

与世界上城市化的迅速蔓延,永久居民在城市的数量和人口密度越来越大。当火灾发生时,它严重威胁着人们的生活,造成重大的经济损失。据不完全统计,2016年全国有312000火灾,造成1582人死亡,1065人受伤,直接财产损失37.2亿美元(1,2]。2019年3月和4月,全世界有许多大型火灾,如森林火灾在凉山,中国,在法国巴黎圣母院火,森林火灾在意大利,和草原大火在俄罗斯,对人民的生命和财产安全造成了很大的损失。因此,火灾探测是保护人民的生命和财产安全至关重要。目前的检测方法在城市依靠各种传感器检测(3- - - - - -6),包括烟雾报警器,温度报警器,红外线警报器。虽然这些警报可以扮演一个角色,他们有重大缺陷。首先,一定浓度的空气中粒子必须达到触发警报。火灾警报被触发时,可能已经过于强大的控制,击败早期预警的目的。第二,大部分的警报功能只能在一个封闭的环境中,这是无效的广阔空间,如室外或公共空间。第三,可能有错误的警报。无火灾粒子浓度达到报警浓度时,它会自动发出警报。人类不能干预和获得最新的信息。

为了防止火灾和阻碍其快速发展,有必要建立一个监测系统可以探测早期火灾。建立一个基于摄像头火灾自动监测算法可以达到24/7没有打扰的自动监测,大大降低了劳动力成本,快速蔓延的城市监控系统提供了基于摄像头火灾探测的基础(7]。大大减少了成本增加这种系统的经济可行性。

摘要提出了一种基于火焰的multifeatures,火灾探测方法,首先结合帧差检测(8)筛查不移动的火焰像素的RGB颜色模型(9]筛选无火灾颜色像素。在预处理模块、帧差检测操作快速而不包括复杂的计算,环境要求较低,并且不需要考虑的时间,天气,以及其他因素。此外,采用RGB颜色/他的模型是相对稳定的。然后,考虑到空间变异性,面积变化,边界的复杂性,和形状变化特性,火焰的特征是由使用火焰像素点的数量,凸包(10),和重心。最后,一个成熟的支持向量机用于验证。

基于摄像头的火灾监测系统可以实时监测指定的区域通过视频处理。当检测到火是基于视频,它将捕获的报警图像发送到管理员。管理员进行最后确认的基础上提交报警图像。例如,当一个事故发生在一个高速公路和引起火灾,基于图像通过检测算法,可以立即拯救受害者,节省宝贵的时间和最小化损失。

本文的主要贡献如下:(1)我们把基于帧差分运动检测和颜色检测基于RGB、HSI模型。颜色检测只对运动区域的运动检测阶段完成。我们的方法提高了精度和减少冗余计算。此外,我们已经提高了帧差分法。(2)根据连续图像帧之间的空间相关性,我们已经改进了传统方法检测火焰从一个单一的图像帧。时间信息结合火焰特性通过时空火焰重心stability-based检测方法。同时,我们结合在火预处理阶段获得的数据来减少计算冗余和计算复杂度。(3)我们提取的各种火焰特性,空间变异性,形状变化和区域差异。我们使用了支持向量机训练,完成最后的验证,减少假阴性率和误报率,并提高精度。

对于火灾探测,传统的方法是使用一个传感器检测。缺陷之一是假率高,因为触发报警是基于粒子的浓度或周围的温度,因此很容易被周围的环境。同时,该方法不知道位置和火灾的实时状态。户外场景,著名的火灾隐患,这种类型的传感器不能提供有效的检测。由于许多问题在传统的火灾识别,如何准确地识别火灾受到极大关注。因此,火灾探测取得快速发展的方向火灾探测传感器,检测设备的改善,基于视频图像的火灾探测。

汗等。11]提出了一种基于视频的方法使用火焰动态和静态室内火焰检测,使用颜色、周长、面积、圆度的火焰。他们的方法将小火如蜡烛作为重要的部分。通过移除,然后应用火焰增长特征来判断,这种方法可能在早期火灾预警的一个大问题。Seebamrungsat et al。12)提出了一种基于HSV的组合和YCbCr规则。他们的系统需要额外的颜色空间的转换,因此比只使用一种颜色空间的方法,但他们的工作只使用的静态特征的火焰。该方法相对脆弱,不够稳定。福贾et al。13)提出了一种新颖的基于自然无序的运动检测方法flame-word袋策略。陈和黄14)提出了一种高斯模型来模拟HSV和分析时间和空间因素的火焰,但是高斯混合模型需要更高的计算时间和分析是模糊的。克鲁格et al。6使用一个氢传感器。上面的方法改善了传统火灾探测传感器,提高检测的可靠性和降低检测灵敏度。然而,使用的传感器有一定的局限性,由于不同的燃烧产物的属性。伯内特和翅膀15)使用了一种新的低成本的相机,可以减少对火焰和烟雾的干扰具有良好的探测能力RGB和HSV,但是仍有一些局限性这架相机的普及和应用。Toreyin et al。16)提出了一种高斯混合背景估计方法检测运动像素的视频。这种方法选择候选人火灾区域颜色模型,然后进行小波分析在时间和空间域来确定高频活动在该地区。类似于前面的问题,该方法在实际应用中具有较高的计算复杂度。汉et al。17)使用基于高斯模型的运动检测和多色模型,取得了良好的实验结果。然而,由于高斯模型和颜色模型需要大量的计算时间,他们不能被应用到实际的场景。陈等人。18)改善了传统火焰检测方法,火焰闪烁的检测算法是纳入该计划在彩色视频序列来探测火灾。测试结果表明,该算法是有效的,健壮的,有效的。然而,计算速度慢,适合320∗240图片。它可能不是适合高质量图像。Dimitropoulos等人,Cetin et al。19,20.)使用各种火焰的特征来判断,取得了良好效果。Hashemzadeh和Zademehdi21)提出了一个候选人基于ICA K-medoids火焰像素探测技术,它是实际应用的基础。Savcıet al。22基于Markov002E]提出了一种新的方法。金等。23]ultraspectral摄像头用来克服的局限性RGB相机不能区分火焰和一般光源(为首的卤素)。根据实验结果,他们取得了良好的效果,而且可能有局限性,比如相机成本上升。吴et al。24)提出了基于辐射领域特征模型的结合。Giwa和Benkrid25)提出了一种新的color-differentiating转换矩阵,健壮的假警报。帕特尔et al。26]提出的技术一直在使用颜色线索和火焰闪烁探测火灾。目前,深学习已经成为一个活跃的主题由于其高精度的识别范围广泛的应用程序。在研究[27- - - - - -29日),使用深度学习火灾探测方法和精度高。我们可以用深度学习技术来解决我们的问题的过程中火焰检测。然而,有一定的局限性。例如,深度学习可以有更好的在大数据的精确性,但火灾的数量少,实际火焰样本用相机更少。深度学习需要更高性能的设备和培训,需要更多的时间。例如,在研究阿尔维斯et al。30.),火焰数据集是800图片。

从以上讨论,基于视频的火灾探测与multifield技术已迅速被研究和开发用于解决现有方法的局限性,但仍存在一些问题。与实验中的图像相比,相机图像可能没有丰富的颜色信息,因此可能会导致假阴性率较高。如果算法涉及到火焰特征较少,可能出现假阳性较高。考虑到实用性,传统火灾探测需要优化。

在这篇文章中,火节中给出了预处理方法3,包括运动检测和颜色检测。火焰的高级特性的提取方法和基于支持向量机的分类方法提出了部分4。并给出了实验结果5。最后,结论是在上一节。算法流程图如图1。

3所示。火灾探测预处理

3.1。火焰特性

我们提取几个火焰特征。静态特性,颜色是火焰的最明显的特征之一,它通常是红色的。一般来说,使用颜色配置文件是一种有效的火灾探测方法。至于动态特性,火焰有丰富的特点。首先,火焰没有固定的形状。第二,在火焰的边界有障碍。第三,火在连续图像位置有一定的相似之处。基于火焰特性的分析,我们设计了火灾探测模块,考虑multifeatures的火焰。

3.2。运动检测基于改进帧差分法

由于火灾的动态特性,火焰的形状是不规则的,不断变化。所以当使用火作为运动检测的重要特性,通常的检测方法是连续帧的变化(31日),背景减法(32),和混合高斯背景建模(33]。背景减法需要正确设置背景因为昼夜之间存在着巨大的差距;一般来说,很难有一个常数,并必须设置参数,比静态的更复杂的背景。混合高斯模型过于复杂,需要设置历史框架,高斯混合数,背景更新率和噪声在预处理阶段。因此,这个算法不适合预处理。帧差分法的优点是实现简单,编程复杂度低,场景的变化,如光线不敏感,能够适应各种动态环境具有良好的稳定性。缺点是不能提取对象的完整的区域。里面是一个“空洞”的对象,而只能提取边界。因此,本文采用一种改进的帧差分法。

由于气流和燃烧本身的属性会导致火焰像素(不断变化34),无火灾图像像素可以被比较两个连续的图像。我们使用一种改进的帧差算法。首先,视频转换为帧图像。第二,在灰度图像处理三个RGB通道转换成单一通道,节省了计算时间。第三,如果初始帧图像,一个执行初始化操作。对于其他帧图像,使用前一帧的帧差。帧差分公式所示(1)。然后,去噪操作执行和去噪公式所示(2)。第四,扩张是提高去噪图像区域的连通性和减少计算复杂度的颜色检测阶段。膨胀操作的公式所示(3)。第五、区域优化完成。轮廓检测进行扩张的形象。如果条件不满足,帧删除,第二帧的图像用于检测。区域合并基于矩形之间的距离。最后,合并后的区域的坐标传递到火焰颜色检测阶段: 在哪里是当前帧,如图2 (b)。前一帧,如图2(一个)。之间的区别是当前帧与前一帧,如图2 (c)。我们不能直接使用帧差分后的图像;我们需要降噪和使用阈值分割出部分我们需要: 在哪里之间的区别是当前帧与前一帧,这是分配给马克斯如果其像素值大于设定的阈值,否则设置为0。打一组阈值,这里我们设定20到确保运动像素不删除。是去噪的结果,如图2 (d)。从图可以看出2 (e)有一定的“空洞”后帧差分检测的结果。如果当前的二进制映像直接检测到,它将获得一个非常复杂的结果,如图2 (e)。执行下一个测试将导致一个非常复杂的计算。

(一)

(b)

(c)

(d)

(e)

(f)

(g)

(h)

图2

基于改进的帧差分方法的运动检测。(一)前一帧图像。(b)当前帧图像。(c)帧差分的结果图像。(d)的生成图像的阈值(c), (e)图显示的区域移动像素的结果(d)。它可以从(e),如果执行的优化过程不是,直接上执行颜色检测矩形图像中会增加算法的复杂性,这不利于以后提取时使用预处理数据的高级特性。(f)后的二进制映像(d)的扩张。该地区(g)移动像素的图像(f)。地区类似运动像素(f)合并。(h)的地区图运动像素。

为了解决帧差分法的问题,我们已经改进的两个部分:首先,扩大操作生成的二进制映像可以填补这一漏洞,如图2 (g),可以看出,结果得到了改进: 在哪里表示内核使用,找到当地最大的扩张是操作,内核的图像卷积,最大值的像素区域覆盖内核计算,最大值是分配给图像中的像素。这种方法可以填补形象。是扩张的结果,如图2 (f)。

从图可以看出2 (f),它可以提高;例如,矩形非常接近对方,可以组合。因此,一个距离优化方法提出了基于坐标象限。的步骤如下:(1)做一个二维坐标系统的一个矩形的左上角为原点,和另一个矩形的左上角的象限。(2)矩形上采取不同的点进行比较,根据不同的象限。(3)在两个点上执行向量减法。(4)计算之间的距离决定减去两个矩形的向量,,公式如下是第一个矩形的坐标点, 是坐标点靠近第一个矩形:

为了减少计算的复杂性和一定距离,合并执行,如果比这个大,不执行处理只要两个矩形之间的距离小于。我们距离优化结果扩展二进制图像如图2 (h)。可以看出,我们的方法是合理的并执行得很好。

在完成上述阶段,类似的区域合并,左上角和右下角的坐标的角落区域交付给颜色检测完成运动检测模块。使用帧差检测,一个典型的检测结果如图3。它显示了运动检测的结果的过程。图3(一个)显示了原始图像的监控摄像头。图3 (b)是帧差的结果,实际的移动像素干扰,和图吗3 (c)是最后的运动检测结果后,优化的过程。有火像素,但无火灾像素在右下角。

(一)

(b)

(c)

3.3。检测基于RGB、HSI颜色模型

静态火焰图像的最明显的特征是颜色。根据火焰图像的RGB颜色直方图,火焰的红色通道值大于绿色通道的值,和绿色通道值大于蓝色通道。根据火焰面积直方图,上面的红色通道存在一个固定的值,在红色通道和每个像素值大于这个值。图4显示了火焰区域之间的对应关系和RGB颜色模型。蓝色表示火焰像素的值在蓝色通道,绿色表示火焰像素的值在绿色通道,和红色代表火像素的值在红色通道。的x设在表示像素的大小。值范围(0 - 255)。的y设在显示了频率。

(一)

(b)

RGB模型更适合的颜色,但它不是很适合人类的解释。一般来说,更适合彩色图像RGB模型生成,而恒生指数模型适用于图像描述(35]。鉴于饱和度之间的关系在恒生指数模型和S组件R组件在RGB模型中,更新决策函数使颜色检测更准确。RGB模型和HSI模型决策函数

其中,在条件1中,R的像素值吗R在RGB图像通道,是火焰像素的固定阈值的吗R通道。一般来说,我们将它设置为150。条件2表示R通道像素值大于G通道的RGB图像和像素值G通道像素值大于B通道的像素值。条件3表明,将RGB模型转换为HSI模型后,相应的饱和值大于0.2。

火焰由普通相机拍摄的图像并不丰富的颜色,所以我们放松的颜色要求在第一个三个步骤。确保火灾图像不是错误地筛选在火预处理阶段,所以用普通相机拍摄的图像也可以是有效的。最后一步给入口验证过程。条件4表明前面的过程的结果是用作颜色检测输入图像。在运动检测阶段,我们最终计算矩形的位置运动像素所在的地方。由于火焰的动态特性,第一步是删除无火灾像素和保留火像素与火焰候选像素,这样我们可以执行火焰的颜色检测基于运动提供的运动检测的范围。因为它是必要的检测每个像素的三个通道的RGB颜色检测阶段,有大量的计算问题在传统的颜色检测方法时,图像质量高,如1280∗720决议。我们提出了一种预处理阶段,取得了显著增加计算速度而不降低精度。它将在实验结果部分解释。最后,在颜色检测阶段,我们计算每一帧的像素数量的火焰和质心坐标和其他数据,用于提取火焰的下一阶段的高级特性。 Figure5显示检测处理,颜色和图5 (b)显示了火焰像素颜色检测结果。为了确保火焰像素不移除在预处理阶段,我们放松的颜色检测条件,一些非火焰像素可能生成的。因此,需要进一步的验证。如图5 (c),我们比较颜色检测和运动检测的结果。候选人可以降低火焰区域来提高精度。同时,我们计算后的火焰矩形质心预处理阶段,这是方便检测火焰空间变异性的下一个阶段。质心公式所示以下方程: 在哪里质心的坐标,是矩形的火焰像素,是矩形协调的价值,的值是长方形吗坐标,矩形的宽度,是矩形的高。

(一)

(b)

(c)

对火焰图像进行运动检测后,我们可以通过运动获得运动像素图像检测。因此,在第一步,不移动的对象可以被删除,但一些非火焰像素移动可能依然存在。颜色检测后,非火焰像素中,可以看到在图6。

(一)

(b)

(c)

4所示。用支持向量机的验证

初步筛选后的部分3,我们已经删除了不移动的对象和无火灾对象,但仍有大量的无火灾像素构成fire-colored移动的物体,如红色行驶车辆或人穿红色的衣服。因此,本文使用火焰的形状变化,区域变化,火焰空间可变性和支持向量机验证。

4.1。火焰边界障碍检测

第一个特性是火焰的形状。气流和燃烧特性将导致一个连续变化的火焰形状,我们使用这个特性来区分其他移动物体和真正的火焰。我们使用凸壳计算防火区边界的障碍。点的凸包是一组给定的二维平面上,并连接形成的凸多边形最外层的点。凸包可以包含所有点在给定的点集。凸包的公式如下: 在哪里的周长是凸包和火的周长是边界。周边的凸包计算使用快速凸包算法提出的理发师等。36]。的比例是物体的轮廓凸包的对象,范围是(1 - 0)。一般来说,的价值更接近于零,物体的形状有明显的障碍。越接近到达一个,普通物体的形状。如果该值的是1,这表明没有火焰图像。计算使用公式(8); 和相邻像素的坐标是连接的边界地区。火焰凸包测试的实验结果如图所示7。图7(一)显示了原始测试结果和图7 (b)显示的结果设定一定的阈值。边界规则删除的对象。之间的对比照片证明我们使用的方法是有效的。

(一)

(b)

(c)

(d)

图7是凸包检测的结果。其中,图像中的红色轮廓代表火焰区域的周长,和绿色轮廓代表了凸包的周长。复杂对象的特点是表达的凸包。从图可以看出7 (b),由于无序外部火焰的形状,无火灾区域图7 (b)是删除。由于水流和建筑阴影的变化引起的阳光,不移动的物体(救生圈)满足预处理条件,如图7 (c)。使用凸包检测可以消除干扰,但这还不够只使用凸包,因为员工张开双臂满足凸包检测条件,如图7 (d),所以我们需要结合其他功能来提高识别精度。

4.2。火焰面积变化检测

根据动态和障碍的火焰,火焰总是在改变,所以火焰像素的数量在每一帧图像包含火焰是不断变化的。我们结合检测结果与火预处理阶段,计算候选火焰像素的每一帧图像,并与下一帧图像。上、下框架的一个代表性的例子图像火焰检测如图8。检测公式如下:

在公式(9),是检测到火焰像素的数量在当前帧和是检测到火焰像素的数量在前一帧。火焰像素的比例是区别这两个在当前图像帧,范围从0 - 1。如果该值的趋向于零,浮动变化小。如果该值的往往一个,这意味着变化很大。同时,如果该值是零,当前图像不满足火焰属性。在公式(10),是检测到火焰像素的数量在前一帧和是一个连接的地区,需要测量。是二进制图像像素的值。

(一)

(b)

4.3。火焰检测算法基于时空关系

在上面的分析中,火焰通常是动态的,形状是不断变化的。然而,从图像序列,火焰在连续图像有一定程度的相似性,和火焰的变化有一定的范围,如图9和10。图9显示了移动物体的质心的变化,完成了火预处理阶段;质心无火焰对象的范围不同,没有一定的范围。图10显示了火焰质心的变化随着时间的推移,和12帧的火焰质心图像有一定的相似之处。结果表明,火焰有一个相对稳定的空间重心在连续时间。基于上述性质,我们添加了时间的概念提取火焰特性。

在火灾探测方法的研究,我们通常使用单个或两个连续帧图像进行研究。根据上面的属性,我们添加一个时间向量的传统检测方法协助判断。一个算法的相对稳定火焰重心提出了基于时空关系,如图11。我们使用的坐标轴表示。的 - - - - - -轴和 - - - - - -轴代表的是单一的形象,和 - - - - - -轴代表时间向量。通过这种方式,我们可以提取空间使用多个连续图像质心位置变化特征。质心公式所示(6)。

在预处理模块,考虑到可能会有两个或两个以上的火灾,火焰的重心应根据位置分类。例如,在图2,有两个火灾,所以我们需要考虑分组根据质心的位置,而不是默认的图像只有一个重心。我们创建了多个空间分类并保存视频图像的质心。在质心保存过程中,一方面,在运动检测阶段,我们合并一定距离的矩形,矩形之间的距离不是太近,并且每个重心在矩形的中心,因此矩形更大范围的重心。另一方面,火焰有一定偏差范围在连续帧。根据上述规定,连续帧的重心变化不是非常大;我们使用的强相关性特征上下帧组多目标的情况。例如,有两个火灾图像的初始状态,有两个重心在当前帧图像的检测。最后一个数组中添加重心是取出(前一帧)的重心,重心和数组之间最短的距离,和最短的重心放到对应的数组。因此,分组完成火焰形心的过程。

质心分类过程完成后,我们得到一系列的数据。根据我们提出的火焰空间可变性,我们提取的火焰质心数据N帧来判断和价值N相关的视频帧每秒的数量。当前图像的质心之间的距离和其他图像的质心,分别确定,计算距离的总和。质心检测公式所示(11),160帧的质心距离无火灾图像(图9)计算了16586年,真正的火(图10)有一个重心距离1209年的结果。基于两个结果之间的差异,证明了该方法的有效性: 在哪里是重心变化的总和火焰空间的距离。如果该值的大,这表明,物体的运动不是在一定的范围内。如果该值的很小,这表明,物体的运动是在一定的范围内。是当前质心位置, 前面的质心位置。视频帧的总数超过一段时间。视频帧每秒,是时候使用。

4.4。最终的确认候选人火灾图像基于支持向量机

尽管许多无火焰图片被删除在火预处理阶段,上述算法中使用单一火焰特性可能有以下问题。当男人穿衣服看起来像火,伸展双臂,它显示边界障碍就像火一样,但他们是不同的。当男人穿的衣服看起来像火一样蹲着,它显示的变化就像火一样,但他们是不同的。当男人穿的衣服看起来像火在一个小区域,它显示时空关系就像火一样,但他们是不同的。使用单一特征的火焰可能会导致上面的假警报,所以有必要融合火焰的各种特性,减少假阳性的检测。方法基于支持向量机(SVM)是用于引信的火焰特性。

支持向量机(37)是一个非常成熟的分类模型。它可以通过构造一个超平面优化分类效果。支持向量机的灵活性处理线性和非线性分类问题。摘要支持向量机(SVM)是用于验证候选图像。

4.1.1。提取选定的火焰特性值

首先,我们的四个特征提取火焰,这是作为输入数据的支持向量机(SVM)模型。我们使用以下四个火焰特征:火焰的形状变化特性值 ,火焰像素数量变化特征值 ,火焰空间重心变化特性值 ,和特性(RGB颜色值、饱和度值和灰度值)在火预处理阶段获得的。上面的8个特征值( , , ,R,G,B、饱和值和灰度值)规范化作为支持向量机的输入数据。支持向量机分类器需要估计每个类别的特性和标签。因此,基于给定的数据集的统计“培训”需要确定类别之间的决策函数。测试结果的四个功能是作为数据的数据集的一部分,和数据标记。然后,SVM的样本数据集生产完成。

10/24/11。支持向量机的核函数

有三个内核函数考虑:一个多项式核函数,径向基核函数(RBF),乙状结肠内核函数。其中,多项式核函数可以定义由用户根据自己的需求和更灵活,但是它有更多的必需的参数。径向基核函数类似于高斯分布,也被称为高斯核函数。多项式核函数相比,径向基核函数需要更少的参数,可以节省培训时间。它可以映射任何数量的维度的原始特性和噪声有很好的弹性。这个内核函数已被成功地用于在先前的火灾探测的研究(38]。乙状结肠内核函数是由神经网络和通常是用作阈值函数这样的网络。本文基于径向基核函数的支持向量机使用,如以下公式所示:

在公式(12)和(13),基于径向基函数的支持向量机分类器内核需要设置参数C和γγ是无损的函数的参数,C是一个惩罚因子,是宽度。10倍交叉验证方法操作优化分类器参数(C在训练集和γ)。

5。结果和讨论

5.1。数据集

本文中的实验进行一个普通的桌面运行Windows 10、8 GB RAM和3.4 GHz酷睿i7处理器。要测试的性能检测系统,火焰数据集视频序列时应该包含多个火灾现场检测包括fire-colored目标为假阳性。最后,视频序列应该记录在一天的不同时刻。

我们使用一系列的测试视频火数据库(35,39- - - - - -42),并添加实际的场景下程序运行,比如Video9 Video12。火灾数据用于支持这项研究的结果被存储在一个存储库(http://www.firedata.club)。它包含各种类型的火灾在各种地方。火灾的场景包括公路,户外,建筑内部,与森林,而火灾包括高速公路爆炸和火灾的性质在小地区,范围和领域。还包括森林火灾,在室内环境中,模拟火灾火灾附近建筑物和远离摄像头的监控区域,和火灾可以被误认为是其他fire-colored移动对象。一天中不同的时间包括日间和黄昏。照片拍摄在不同的时期。这种多样性使得更容易评估在不同的照明和质量条件下系统的性能。我们测试了该方法使用的火焰视频数据集的一部分。测试视频Video1-Video12,如图12和数据集的视频详细信息如表所示1。我们将数据集分为两部分:77%的数据被用于训练(Video13-Video52)和23%的数据用于测试(Video1-Video12)。

(一)

(b)

(c)

(d)

(e)

(f)

(g)

(h)

(我)

(j)

(k)

(左)


视频序列	的帧数	描述	决议

Video1	789年	高速公路(户外)	640∗360
Video2	1201年	字段(户外)	320∗240
Video3	402年	农场(户外)	320∗240
Video4	260年	森林(户外)	400∗256
Video5	411年	关闭火焰(室内)	320∗240
Video6	140年	很长的距离情况(户外)	320∗240
Video7	708年	在干扰的存在(户外)	320∗240
Video8	171年	没有火(室内)	320∗240
Video9	7704年	没有火(户外)	1280∗720
Video10	41304年	没有火(户外)	1920∗1080
Video11	1600年	没有火(户外)	1920∗1080
Video12	6300年	没有火(户外)	1280∗720

5.2。实验结果和分析

验证该方法的有效性,我们选择汗等的最新方法。11和汉族等。17)进行比较实验。我们的统计标准如下。首先,该计划需要正确识别和分类火情况。第二,我们需要检查是否在火灾中火焰区域分类图片是正确的。图13展示了我们的方法之间的对比检测精度和其他算法。图14比较我们的方法与其他算法的误报率。图15展示了我们的方法的假阴性率与其他算法。图16是该方法的执行速度的比较与最先进的技术。

首先,我们使用了两个评价指标。在一个模式识别任务中,我们需要定义真阳性和假阳性。我们使用区域级火焰检测执行统计数据的准确性和使用借据(十字路口在联盟)作为评价指标。十字路口的检测结果(检测结果)和地面真理是除以他们的联盟,这是检测的准确性。计算公式如下:

如果之间的预测盒和地面真理盒、预测框是一个“真正的积极(TP)”,否则,它是一个“假阳性(FP)”,我们衡量“假阴性(FN)”模式已经错过了(图的对象17)。预测的边界框是红色的,和地面真理盒子是蓝色的。

分类器被定义为的准确性

我们可以根据数据分析实验结果13- - - - - -16。从图可以看出13,本文提出的算法具有较高的精度与[11]和[17]。

其次,根据图14误报率的算法11]和[17)检测误报率低和性能良好的视频普通火焰(Video1-Video7)。然而,非火焰图像的检测效果不是很好,特别是当目标和火焰非常相似,和误报率会更高。该算法执行比算法(11]和[17在误报率。假阳性的原因在Video7无火焰目标之间存在重叠和火焰目标的视频。虽然火焰包含在检测的结果,这种情况不符合我们的统计标准,所以它被认为是一种假阳性。我们的方法仍然表现良好在复杂的场景(Video9-Video12,许多柱子类似于火焰,和员工穿的衣服看起来像火)。这是因为我们提取四个高级功能中非常有效的火焰和组合这些特性能够有效地减少假阳性的发生,提高算法的鲁棒性。然而,我们的算法也有局限性。例如,当员工工作在复杂的环境中,他或她的身体可能会被建筑物和造成假阳性,见Video10 Video12,或者当员工蹲在短时间内一定范围内(如Video11所示,快速改变发生在第二个)。Video11如图的假阳性结果18。

第三,我们可以看到从图15我们的算法有较低的假阴性率。在Video8-Video12由于没有火,我们删除了这部分数据的假阴性率统计数据。同时,该方法(11)可能会导致假阴性率高,由于放弃小火焰。最后,我们可以看到从图16所需的时间方法执行的检测方法的比较11]和[17]。根据图中的数据(由于Video9-Video12需要很长的时间,我们根据700 -测试视频帧标准),我们发现,我们的方法可以更突出的优点时检测高分辨率视频(如Video1和Video9-Video12)。如果我们长期过程视频(如Video2),将成为明显的差距。我们可以看到,检测Video5也没太大的区别,这可能是由于低分辨率的视频(320∗240)和视频有更多的运动区域,但即使在这种情况下,我们可以看到,该方法一定优势。

从表可以看出2排除任何的一个功能将影响算法的准确性。MC的代表了运动检测和颜色检测输入图像,BD代表火焰的障碍特征边界,交流代表火焰区域的变化特征,以及ST-C代表了质心火焰基于时空关系的稳定特性。从表可以看出2,有大量的假阳性的检测结果MC。一个先进的火焰特性结合预处理结果准确性提高。三国高级功能,最好的贡献率独立交流。我们也可以看到,最终决定火焰的融合的四个特征(包括预处理功能)可以达到更高的精度和更低的误报率;与此同时,它会增加假阴性率。火焰的三个功能是相互独立的,没有重复的特性,因此基于火焰的multifeature融合的方法得到更好的精度。


方法	精度(%)	误报率(%)	假阴性(%)

MC	82.17	17.83	0
MC +双相障碍	85.65	13.57	0.78
MC +交流	89.52	10.48	0
MC + ST-C	88.96	10.51	0.53
MC + BD + AC + ST-C	95.29	3.09	1.62

阈值公式(2)是非常重要的,对所有视频序列不是常数。表3显示了阈值选择对检测结果的影响。从表可以看出3阈值设置为20在大多数场景可以实现更好的结果,但是在遥远的拍摄的相机,如Video6、一个小阈值可以提高精度。如果关闭相机,如Video2 Video5, 30和Video11阈值可以达到更好的效果。


打视频	10 (%)	15 (%)	20 (%)	30 (%)	40 (%)

Video1	95.38	97.12	98.16	95.37	92.18
Video2	93.12	97.01	97.45	97.83	95.69
Video3	97.34	98.37	99.20	98.11	93.26
Video4	98.27	99.11	100.00	98.05	96.24
Video5	93.57	96.25	97.50	97.96	94.27
Video6	91.05	92.21	91.27	83.23	79.59
Video7	93.78	94.26	95.65	95.07	88.32
Video8	90.71	97.05	100.00	99.16	98.61
Video9	95.17	96.01	96.82	95.52	93.88
Video10	82.10	88.91	89.43	86.21	83.22
Video11	81.25	85.97	88.84	89.10	87.25
Video12	87.27	89.03	89.14	88.34	87.03

实验结果表明,基于multifeatures火灾探测算法的准确性提出了高于其他算法。同时,本文提出的算法显示性能优越在减少假阳性和假阴性。它是比其他算法更快、更稳定。算法所需的时间执行,该方法组合运动检测和颜色检测的预处理阶段,和预处理结果用于先进的提取火焰的特性,所以该方法大大减少了所需的时间计划。统计数据预处理阶段也缩短了计算时间。因此,该算法优于最先进的技术,才能真正满足实时火灾探测。

最后的试验结果表明,正确的检出率是95.29%,我们更好地结合火灾图像预处理模块检测速度更快,实现实时检测。根据实验结果,本文提出的基于multifeatures火灾探测算法可以准确地识别火灾和识别火灾在早期阶段。

6。结论

在这篇文章中,一个新的视频火焰multifeatures融合提出了火灾探测方法。我们的新方法有许多优点。首先,我们的方法在火灾中有三个关键步骤预处理阶段。首先,运动检测和颜色检测的结合大大提高了检测速度和减少冗余计算。第二,运动检测是基于改进的帧差分法。第三,火预处理阶段可以结合后续的先进特征提取火焰的减少计算时间。然后,火焰的重要的视觉特征,如颜色、运动、面积变化,火焰形状改变,一种新颖的算法基于时空关系提出了重心稳定。最后,使用支持向量机得到最好的结果。

根据实验结果,该方法的准确率接近95.29%,这证明了我们提出的新方法具有较高的精度和稳定性。然而,我们的算法也有一定的局限性,比如当员工穿的衣服看起来像火被设备(见Video10和Video12),或者当员工有一个拾音器行动在一定范围内(如Video11所示),这些条件都符合我们提出的火焰高级的特性,所以它可能会导致假阳性。在未来,优化应在试图使用更先进的方法来解决实际的环境面临的问题。下一步,根据时间信息,我们将寻找更有效的方法来解决现有的假阳性。

数据可用性

使用的数据在这个手稿已经上传在网站http://www.firedata.club完全开放和免费的读者和研究者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由中国科技部的支持。根据特殊计划的创新科学技术部的工作,它得到了研究和应用支持石油和天然气开发的创新方法(没有大数据环境。2015 im010300)中国国家自然科学基金(61672033号,61672248,61873280,和61873281)和山东省发展项目(没有。2017 ggx10147)。

引用

j .人民币和美国Shi-Fei火灾隐患指标和评价模式在公共聚集场所火灾统计记录的基础上,“安全& Environment13.1杂志》上,13卷,不。1,第253 - 250页,2013。视图:谷歌学术搜索
t .图卢兹x Maldague l·罗西,m . Akhloufi t·侯赛因,“基准荒地火灾色彩分割算法,专业图像处理,9卷,不。12日,第1072 - 1064页,2015年。视图:出版商的网站|谷歌学术搜索
j . Fonollosa a Solorzano,马可,“化学传感器系统和相关的火灾探测算法:复习一下,”传感器,18卷,不。2,p。553年,2018年。视图:出版商的网站|谷歌学术搜索
Y.-S k . Lee。垫片,y的歌,汉族,Y.-S。李,彭译葶。康,“高度敏感的传感器基于金属氧化物nanocolumns火灾探测,”传感器,17卷,不。2,p。303年,2017年。视图:出版商的网站|谷歌学术搜索
r . a . Sowah a . r . Ofoli s . n . Krakani郑胜耀Fiawoo,“硬件设计和网络通信模块的实时多传感器火灾探测和通知系统使用模糊逻辑,“IEEE行业应用,53卷,不。1,第566 - 559页,2017。视图:出版商的网站|谷歌学术搜索
克鲁格,m . c . Despinasse t . Raspe n .凯和w·莫里茨,”早期火灾探测:氢传感器能够检测热解的房子拿材料吗?”消防安全》杂志卷,91年,第1067 - 1059页,2017年。视图:出版商的网站|谷歌学术搜索
p . x Wang郑、t·马和t的歌,“计算与细菌结合:小型通用系统”,分子,23卷,不。6,1307年,页2018。视图:谷歌学术搜索
z姚明w . Chengdong z,观光旅游et al .,“实现运动目标检测和跟踪算法基于帧差分法和粒子滤波算法,”学报2017年第29届中国控制与决策会议(CCDC)IEEE,重庆,中国,2017年5月。视图:出版商的网站|谷歌学术搜索
中州。金,金,和H.-Y。宋:“RGB颜色模型基于火灾探测算法在无线传感器网络的视频序列,”国际期刊的分布式传感器网络,10卷,不。4、文章ID 923609, 2014。视图:出版商的网站|谷歌学术搜索
a . m .,“平面凸包算法在理论和实践中,“计算机图形学论坛,7卷,不。3、177 - 193年,2010页。视图:出版商的网站|谷歌学术搜索
r·a·汗j . Uddin s Corraya和j·金,“基于机器视觉的室内火灾探测使用静态和动态特性,”国际期刊的控制和自动化,11卷,不。6、2018。视图:出版商的网站|谷歌学术搜索
j . Seebamrungsat美国赞扬,p . Riyamongkol”建筑使用图像处理、火灾探测”学报2014年第三ICT国际学生项目会议(ICT-ISPC)IEEE,页95 - 98年,曼谷,泰国,2014年3月。视图:谷歌学术搜索
p·福贾,a . Saggese和m . Vento“实时火灾探测使用相结合的视频监控应用程序专家基于颜色,形状,和运动,”IEEE电路和系统视频技术,25卷,不。9日,第1556 - 1545页,2015年。视图:出版商的网站|谷歌学术搜索
l .陈和w·黄“使用时空分析,火灾探测”世界大会在工程学报》上,页3 - 5,伦敦,英国,2013年7月。视图:谷歌学术搜索
j·d·伯内特和m . g .翼”,一种低成本的近红外数码相机对火灾探测和监测、”国际遥感杂志》上,39卷,不。3、741 - 753年,2018页。视图:出版商的网站|谷歌学术搜索
b . Toreyin, y Dedeoğlu, Gudukbay,和a . e . Cetin“基于计算机视觉的方法实时火和火焰检测,”模式识别的字母,27卷,不。1,49-58,2006页。视图:出版商的网站|谷歌学术搜索
x f·汉,j·s·金,m . j . Wang w .江,l·高和l·p·肖,”视频火灾探测基于高斯混合模型和多色特性,”信号,图像和视频处理,11卷,不。8,1419 - 1425年,2017页。视图:谷歌学术搜索
j·陈,y, j . Wang“基于特征融合的快速视频火焰检测,”建筑与环境,45卷,不。5,1113 - 1122年,2010页。视图:出版商的网站|谷歌学术搜索
k . Dimitropoulos p Barmpoutis, n . Grammalidis“时空火焰自动基于视频的火灾探测建模和动态纹理分析,“IEEE电路和系统视频技术,25卷,不。2、339 - 351年,2015页。视图:出版商的网站|谷歌学术搜索
a . e . Cetin k . Dimitropoulos b Gouverneur et al .,“视频火detection-review”数字信号处理,23卷,不。6,1827 - 1843年,2013页。视图:出版商的网站|谷歌学术搜索
m . Hashemzadeh和a . Zademehdi火灾探测视频监控应用程序使用ICA K-medoids-based颜色模型和高效的时空视觉特性,”专家系统与应用程序卷。130年,60 - 78、2019页。视图:出版商的网站|谷歌学术搜索
m . m . Savcıy Yildirim g . Saygili和b Toreyin,“火灾探测在h . 264压缩视频”学报》2019 - 2019年ICASSP IEEE国际会议音响、演讲和信号处理(ICASSP)、IEEE、布赖顿、英国,2019年5月。视图:出版商的网站|谷歌学术搜索
c . h . Kim的歌,G.-J。儿子,工程学系。宋,黄永发。儿子,Y.-D。金”,高光谱图像使用NKNBD夜间火灾探测,”学报2018年第七届国际大会先进应用信息学(IIAI-AAI)IEEE Yonago,日本,2019年7月。视图:出版商的网站|谷歌学术搜索
吴z, t的歌,吴x, x邵,和y . Liu”视频火灾探测光谱时空火灾模型,”模式识别与人工智能》国际期刊上,32卷,不。5、文章ID 1850013, 2018。视图:谷歌学术搜索
o . Giwa和a . Benkrid火灾探测静态图像利用颜色信息,”2018年,https://arxiv.org/abs/1803.03828。视图:谷歌学术搜索
r·帕特尔k . Mandaliya p .惜拉r . Savani和c。帕特尔,“自动火灾探测使用颜色线索和火焰闪烁,”《国际会议上智能系统和信号处理,页的男性,古吉拉特邦,印度,2018年3月。视图:出版商的网站|谷歌学术搜索
d .沈、陈x和m .阮“火焰检测使用深度学习,”学报》2018年第四届国际会议控制、自动化和机器人(ICCAR),第420 - 416页,奥克兰,新西兰,2018年4月。视图:出版商的网站|谷歌学术搜索
j·沙玛,o . c . Granmo m·古德温和j·t·Fidje“深卷积神经网络的火灾探测图像,”国际会议工程学报》的应用神经网络施普林格,页183 - 193年,柏林,德国,2017年8月。视图:出版商的网站|谷歌学术搜索
z, w . Minjuan s霞山,g . Wanlin“卷积神经网络火焰检测方法在视频序列中,“信号,图像和视频处理,12卷,不。8,1619 - 1627年,2018页。视图:出版商的网站|谷歌学术搜索
j·阿尔维斯,c·苏亚雷斯,j·m·托雷斯p . Sobral和r s Moreira”自动森林火灾检测基于机器学习和图像分析管道”《世界会议信息系统和技术施普林格,柏林,德国,2019年4月。视图:出版商的网站|谷歌学术搜索
P t .歌曲和l .锅”,强化神经系统具有学习功能,“IEEE反式生物科学,18卷,不。2、176 - 190年,2019页。视图:出版商的网站|谷歌学术搜索
a . Aggarwal s Biswas辛格,小腿肚的,和a . k . Majumdar”对象跟踪使用MPEG视频的背景减法和运动估计,”计算机视觉的亚洲会议施普林格,柏林,德国,2006年1月。视图:出版商的网站|谷歌学术搜索
t .歌曲,x曾庆红,P .郑m .江和A . Rodr´Iguez-paton,“并行工作流模式造型与颜色的峰值使用P强化神经系统,”IEEE生物科学,17卷,不。4、474 - 484页。视图:出版商的网站|谷歌学术搜索
w·杨,m . Mortberg和w·Blasiak“火焰结构的影响火焰特性和排放与高温空气燃烧,“斯堪的纳维亚冶金期刊,34卷,不。1、7 - 15,2005页。视图:出版商的网站|谷歌学术搜索
b·h·曹、j . w . Bae和s . h·荣格“使用统计颜色模型,提供基于图像处理火灾探测系统”《2008年国际会议上先进的语言处理与网络信息技术、IEEE、辽宁,中国,2008年12月。视图:出版商的网站|谷歌学术搜索
c·b·巴伯·d·p·Dobkin, h . Huhdanpaa”quickhull凸壳算法”,ACM交易的数学软件,22卷,不。4、469 - 483年,1996页。视图:出版商的网站|谷歌学术搜索
t .歌曲,a . Rodriguez-paton P .郑,x曾庆红,“强化神经P系统与颜色的峰值,”IEEE认知和发展系统,2018年,10卷,不。4、1106 - 1115年,2016页。视图:出版商的网站|谷歌学术搜索
b .江、李x, y Lu和l .林”对实时火和火焰检测的固溶体,”多媒体工具和应用程序,卷74,不。3、689 - 705年,2015页。视图:出版商的网站|谷歌学术搜索
g . f . Shidik f . n . Adnan c . Supriyanto r . a . Pramunendar和p . n . Andono”多颜色特征,背景减法对火灾探测和时间框架选择,”学报2013年国际会议上机器人技术,仿生学,智能计算系统IEEE,日惹,印尼,2014年4月。视图:出版商的网站|谷歌学术搜索
p·帕特尔和美国女子,“火焰检测通过图像处理技术,国际期刊的计算机应用程序,卷。58岁的没有。18日,13 - 16,2012页。视图:出版商的网站|谷歌学术搜索
b . Toreyin, y Dedeoglu, a . e . Cetin”基于轮廓感烟探测视频使用小波,”第14届欧洲信号处理研讨会论文集(EUSIPCO 2006)IEEE,佛罗伦萨,意大利,2006年9月。视图:谷歌学术搜索
c . Stauffer和w·e·l . Grimson“混合自适应背景模型实时跟踪”《1999年IEEE计算机学会学报计算机视觉与模式识别会议(猫。没有PR00149)科罗拉多州柯林斯堡,1999年6月。视图:出版商的网站|谷歌学术搜索