文摘

定位火灾内部结构,不是直接的视野的机器人已经研究了智能灭火机器人。通过分类火、烟雾和热反射,消防机器人可以评估当地条件,决定一个合适的标题,对火灾和自主导航。长波红外相机图像被用来捕捉现场由于相机图像通过零能见度烟雾的能力。运动分析和统计纹理特征从热图像发现合适的特性获得准确的分类。贝叶斯分类器实现概率传递多个类,分类和多目标遗传算法优化执行调查的适当组合特性误差最低和最高的性能。分布的多个特征组合6.70%或更少的错误进行分析和分类的最佳解决方案的火和烟被确认。

1。介绍

智能消防人形机器人是积极研究减少消防员受伤和死亡,以及增加其有效性在执行任务1- - - - - -5]。一个任务定位是一个消防机器人内部结构的外部视野(FOV)。火,烟,他们的热反射可以线索来确定一个标题,最终会导致机器人火,这样它可以抑制它。然而,这些线索准确分类研究一直是不完整的。

2。以前的功能

在传统火烟(和/或)检测系统(6,7)表1、温度、电离和紫外线主要是用来表示火和/或烟的存在内部的结构,但他们可以有很长的响应时间在大空间(8),不提供足够的数据火和/或烟的位置。最近使用视觉系统、颜色(9- - - - - -12)、运动(13,14),(8,15- - - - - -17),和纹理特性(12,18,19)研究了在表描述火或烟1。然而,从RGB颜色特征相机并不适用于消防机器人由于RGB摄像头可以在可见短的波长红外(IR)(小于1微米),在烟雾弥漫的环境中并不使用可见性充分减少了(2,14]。运动(例如,动态运动、形状改变,等等)的特性可以被描述另一条线索来探测火灾和烟雾闪烁的火焰和烟雾流从一个静止的视觉系统。然而,机器人视觉系统机载移动是由于机器人的动力学本身,这导致大量的噪音导致广泛的运动补偿的计算。纹理特征研究[12,18,19)被用来确定火或烟。纹理可以有用的空间特征识别模式的火和烟遥感和不受旋转/运动[18]。

长波红外相机,类似于手持热红外摄像机(抽搐),通常用于帮助消防任务在烟雾弥漫的环境中(20.- - - - - -22)以及火灾前沿和燃烧面积在遥感识别23),在此研究中使用。由于抽搐吸收红外辐射长波红外(7 - 14微米),他们甚至能够形象的表面在浓烟和零能见度环境2,14]。此外,抽搐可以提供适当的信息在当地或全球黑暗,例如,黑暗阴影或损坏造成的照明。最近,研究热抽搐的图像识别模式和远程运动(24]。摄像机将检测热对象以及热反射的表面。结果,图像处理检测到对象必须足够强大来分辨所需的对象及其热反射。

本研究最终导致船载自动消防机器人(SAFFiR),其原型是显示在图中1自主导航向火在室内火灾视场外环境。为此,机器人需要识别的线索,如烟雾和烟和fire-reflections朝火本身正确导航。然而,识别关键功能没有得到充分的研究。分析适当的组合特性来准确地分类火,烟,他们的热反射,使用热红外图像和其他热对象。开展了大规模的消防测试创建实际的火灾环境有不同范围的温度和烟雾的条件。长波红外相机安装生产14-bit火灾环境的热图像。这些图片被用来提取感兴趣的运动和统计纹理特征区域(ROI)。贝叶斯分类概率传递进行实时识别多个类。识别功能的最佳组合准确分类、多目标优化是使用两个目标函数实现:resubstitution和交叉验证错误。

3所示。运动和纹理特征

在模式识别系统中,选择功能分类的性能起着重要的作用。因为他们所选择的运动和纹理特征至关重要的在前面的火灾和/或感烟探测和研究也最适合的热图像分析主要火灾环境下的消防机器人可以获取的信息。光流,一个受欢迎的运动测量,用于运动特性,而第一个——和second-statistical纹理特征纹理测量应用。

FLIR A35长波红外相机,能够通过零能见度环境成像,是用于生产图片。所有图片来自一个320×256像素焦平面阵列,60赫兹帧速率产生14-bit图像的强度范围16384−−40°C到−1 550°C。15从光流特征和统计纹理特征评估找到最好的特征组合。光学流动显示时间变化由于视场或移动对象运动的机器人。第一,二阶统计纹理特征显示场景中对象的空间特征。

3.1。通过光流运动特性

光流是一个有用的工具来识别对象的运动序列图像中(30.]。它由当地和全球的方法。Lucas-Kanade(路)是一个本地方法,相对强劲的密度较低的流场,同时Horn-Schunck (HS)是一个全球性的方法有密集的流场和高灵敏度噪声(31日]。因为热图像的强度变化由于不同火灾环境,与海关路方法相比,具有更高的鲁棒性是选择这个研究来测量物体的运动特性。两个特征光流矢量(OFVN)和光学流意味着数量大小(OFVMM)计算定量描述运动的火,烟,和他们的倒影。图2包含RGB和热图像的浓烟走廊和木垛火在一个房间里。红色箭头的热图像显示方向和大小的光流矢量与红框显示烟,火、热反射。

3.2。一线和二阶统计纹理特征

第一,二阶统计特性被认为是在这个研究对象分类。像素的一阶统计特性估计个人财产,没有描述任何相邻的像素之间的关系,可以使用强度计算直方图的图像中感兴趣的候选人区域(ROI)。如[32),意味着(MNI)、方差(VAR),标准偏差(STD)偏态(犁式)和峰度(科尔)计算 在哪里是指一个像素的强度和和表示像素的数量(NOP)对象的形象。二阶统计特性代表一个像素之间的空间关系和其邻国。应用灰度共生矩阵建立灰度同现矩阵()(33)用于占相邻像素的关系四个方向(水平、垂直、左和右对角线)通过量化邻近像素的空间共存。共有7个二阶统计特性使用了包括不同(DIS),熵(ENT),对比”(体质)、“逆差异(发票),相关(天哪),均匀性(UNI)和逆不同时刻(IDM)。衡量这些特性,规范化的同现矩阵使用哪个可以被定义为 在哪里是指相邻像素的灰度出现的频率和在四个方向表示量化图像中的灰度值的数量。分母(2)规范化同现概率的估计。在构建规范化的同现矩阵,七个特性的二阶统计特性计算

4所示。对象提取和贝叶斯分类

火的主要特征之一,吸烟,和他们在热的热反射图像是强度高于背景。热图像的强度与温度有关,温度较高的对象比背景出现。因此,强度是一个对象从背景中提取的主要因素。假设热图像直方图具有双峰分布的前景(即。对象)和背景,clustering-based图像autothresholding方法(34),称为大津方法,可以计算出一个最优阈值分割对象和背景创建一个二进制图像背景是0和1的对象。二进制图像过滤去除小区域和洞内对象通过形态学滤波技术。后旋卷原始14-bit图像与filtered-binary图像,得到最终的图像,包括原始14-bit强度在对象以及零背景。

有几种分类方法常用于监督机器学习;最近的邻居(神经网络),决策树(DT),神经网络(NN),支持向量机(SVM)和朴素贝叶斯。在这项研究中,这些分类方法进行了分析,考虑到三个点:功能分类等多个类火灾,吸烟,和热反射;过度拟合的问题,因为机会少,在火灾环境下,可能会有很多情况不学习或培训;实时实现,因为消防机器人需要实时做出决定;否则无法操作它的任务。神经网络对离群值,但它需要大量的内存和昂贵的计算(35]。DT计算负担较低,但对多类分类,它可以生成一个复杂的树形结构,可能会导致过度拟合问题35,36]。神经网络显示高性能当处理多维和连续特性但不能克服过度拟合问题。支持向量机提供了快速计算和精度最高,但不能用于multilabel分类,因为它产生的二进制结果(37]。朴素贝叶斯分类是贝叶斯theorem-based概率分类和模式识别应用程序的流行。虽然这个方法有较低的精度与其他分类器相比,假设每个特性是独立的,它有快速计算,鲁棒性对未经训练的情况下,和过度拟合的机会少35]。此外,这种分类在多个类概率决策的能力与快速计算实时实现。在这项研究中,贝叶斯分类用于评估每个特性。

与几个给定的特性(运动和纹理特性)我们可以计算一个类的概率(火、烟、热反射等)对应于候选人通过使用条件概率,,也被称为后验概率。通过使用贝叶斯定理,它可以用之前,可能和证据所示 在哪里是先验概率,也就是说它代表人选概率是并且可以计算类的样本的数量除以总数量的样本。的似然函数和分母(4)的证据,作为一个常数之间的求和生产正常化之前,在每个类可能性。通过应用条件独立性假设,似然函数可以改写 条件概率密度函数可以被描述为 在哪里 如表所示2,十五高斯参数特性对吸烟,烟热反射、火、火热反射估计通过使用最大似然估计(38]。概率密度分布对整个特性见图3。(5证据),然后计算每个类的后验概率。通过应用最大优先级决策规则(8),贝叶斯分类是用来预测每个候选的类和概率的场景:

图3显示每个类使用的概率密度分布的高斯参数表2。高斯分布的类图3显示了火,fire-reflection,吸烟,和十五smoke-reflection分布的特性。一些功能划分出四类的分布重叠而其他原因。例如,MNI最好的描述了一个分裂出来的类,虽然烟雾和反射和火和反射做重叠。犁式显示最坏的情况下,所有类重叠使它无法区分四类。

5。结果和讨论

火对象分类的精度进行了分析使用数据从一系列大规模的测试设备1使用实际火灾75千瓦)。火灾包括乳胶泡沫,木头床,从砂燃烧器和丙烷气体火灾。这些不同类型的火灾产生的温度和烟雾的条件。乳胶泡沫火灾产生的低温条件但密度,低能见度烟。相反,丙烷气体火灾产生更高的气体温度和轻烟。木垛火导致烟雾和气体温度之间的乳胶泡沫和丙烷气体火灾;然而,这些火灾导致火花创建从燃烧的木头。热图像采集驱动轮式移动机器人通过安装在防火测试。10775从实验和收集的对象分为吸烟,smoke-reflection,火,fire-reflection或其他热对象为了担任线索导致消防机器人导航朝火视场以外的来源。此外,由于每个对象有十六个对应的数据点(15特性和类),这篇论文使用的数据点的总数是172400。 The numbers of each object in this experiment are shown in Table3。

两种类型的错误(resubstitution和标准倍交叉验证错误(39)被用来衡量每个特性分类准确执行。Resubstitution错误需要整个数据集比较实际的类和贝叶斯分类的预测类为了检查实际和预测类相互匹配。当单独使用这一标准来提高精度,可以overfitted分类训练数据集。交叉验证错误有利于检测和防止过度拟合。整个数据集,而不是使用交叉验证随机选择并将数据集分为大致相等的分区大小估计随机选择分区之间的平均误差通过比较和训练结果剩下的分区。

5.1。单一特征性能

每个特性的性能结果如表所示4。一阶统计纹理特征MNI、VAR和性病产生最低的错误而NOP、犁式,科尔显示最高的。这些结果表明,MNI和VAR有利于区分火灾,吸烟,和热反射而不是运动特性。NOP显示最高的错误、OFVMM运动的特性之一,显示了第二个最高的错误与其他特性。这是在一定程度上归因于机器人的动态运动。ENT和二阶统计纹理特征显示42 ~ 45%的误差,这是高于其他二阶特性。

5.2。多个功能结合性能

结果在表的错误4证明一个特性不能准确分类火,烟,和热反射。因此,可能的组合多个特性被认为是和分析发现功能的最佳组合。所有可能的组合的总数,有两个或更多的特性 在哪里指的是总数的特性(例如,),是组合的特性。基于所有可能的组合,多目标遗传算法优化(40]在全球使用MATLAB优化工具箱找到最佳组合的特性,具有最高的性能分类。优化的目标函数,resubstitution和倍交叉验证错误(39),被用来测量准确的不同特征组合进行分类。

图4包含一个错误的情节与最有前途的功能组合。行为解集被定义为功能组合只有不到7%的误差为目标函数,一般指的是所有其他可能的功能组合。行为解集包含所有可能的功能组合的0.0061%。

行为发生的概率特性解集如图5。行为解集,一阶统计纹理特征MNI和犁式OFVN时总是存在,NOP和OFVMM特性。一阶统计纹理特征性病和VAR和二阶统计纹理特征软木,花,和说显示更高的发生与其他一线和二阶纹理特性虽然科尔,IDM,大学,印第安纳州,显示较低的发生。注意,由于机器人的动态运动,运动特性并不成功,甚至不包括在十大功能组合的行为。

顶部功能基于概率出现在图5软木,ENT说,犁式,性病,VAR, MNI。然而,这七个功能的结合并不导致分类的最佳解决方案。表5包含的组合特征的分类性能的行为解集。为了评估每个特性的性能组合,各种性能措施已经使用如精度、灵敏度、F测量,准确性。精密测量分数的正面实例组分类器预测积极,并召回措施的比例从积极的正面例子组实际的类和(35]。F测量是调和平均数,并准确的比例是正确的结果。这些措施可以在数学上定义为 TP是正确分类阳性病例,FP是分类错误消极的情况下,和FN错误分类阳性病例。性能度量,混淆矩阵如附录所述创建和应用于(10)。精密,1号组合指数显示最高的性能行为解集在7号组合指数显示最低。的敏感性,指数7组合记录最高的结果而指数4最低。在F测量和准确性,指数2号组合显示了最高记录,索引号4最低。基于混淆矩阵,误分类的大部分发生在烟雾的分类,smoke-reflection,和其他热对象,因为,在小火,这些类是减少结构模式和强度太低来区分。决定最好的解决方案是指数2 MNI,说,天哪,犁式,性病,resubstitution和交叉验证错误的最低,分别为6.68%和6.70%。这种组合包括所有的功能基于概率的发生除了ENT和VAR。四个性能结果在每个特性的组合行为解集在图所示6结果标志着在红圈最高和最低的绿点。灵敏度高于出现精度在每个特性组合,因为FPs大于fn混淆矩阵。特别是指数7最大的FP和FN的区别导致最高的灵敏度和精度最低。FP和FN的总和指数4是最高的行为解集导致最低的准确性而指数2最低求和FP和FN提供最高的精度。

本研究调查范围广泛的功能从长波红外相机图像,分析了正态分布的15个特征对类别的烟,火,和他们的热反射,通过检查发现最高执行功能组合单一特性和多种功能组合。结果,提出MNI的功能组合,说,天哪,犁式,性病与之前的研究相比增加了性能(1使用MNI, VAR, ENT和IDM。如图7,错误减少了2.86%和2.68% resubstitution和交叉验证错误和表演增加了2.90%,1.58%,0.20%,和2.85%,准确性,F分别测量、灵敏度和精度。

图8显示原始视觉和热图像与机器人在三个不同的地方:起点,房间门口走廊入口,所描述的实验装置。每一行与一系列的机器人在三个地点的照片。第一行包含可见的机器人图像视图。见可见图像在起点,进一步的信息关于走廊由于阴影的光线是有限的。走廊入口处的图像显示了一个烟层上部的走廊由于火灾房间里。图像显示一个房间入口处木垛火与火花。由于煤烟和相对亮度不同,显示了背景深,从而限制火周围的背景信息。

热红外图像显示在第二行显示RGB相机火灾环境中不能提供的信息。与视觉图像模糊是由于阴影的起点,烟的存在及其对通风罩的热反射可以明显感知到。红色的盒子放在热图像显示对象通过自适应提取对象提取光流和身份证号码。尽管浓密的烟雾弥漫和低能见度环境,热图像能产生烟和火的图片,以及背景信息通过视觉成像,否则是不可见的。

第三行,显示类标签和每个候选人的后验概率的中心候选人ROI贝叶斯分类的结果。使用增强的图像处理技术,热图像可以比热更精炼和清晰的图片在第二行。烟、火和热反射是识别和标记为红色或橙色椭圆。

6。结论

适当的组合特性进行精确分类的火,烟,他们的热反射使用热图像。灰度14-bit从单个红外摄像机图像被用来提取运动通过应用clustering-based和纹理特性,autothresholding技术。贝叶斯分类概率识别执行多个类中实时实现。找到最佳组合的特性,多目标遗传算法优化实施使用resubstitution和交叉验证误差作为目标函数。开展了大规模的火测试与不同来源创造一系列温度和烟雾条件评价功能的组合。

15运动和结构特征进行了分析和概率密度函数的功能是计算最大似然估计。多个特性相结合的决心更精确地分类火,烟,和热反射与单个功能。在功能组合产生的行为解集不到7% resubstitution和交叉验证错误,软木,ENT,说,犁式,性病,VAR, MNI有80.0%或更多的发生在其他功能有40.0%或更少发生。MNI的功能组合,说,软木,犁式,和性病的最高性能的分类导致了6.68%和6.70%,resubstitution和交叉验证错误,和95.64%,97.61%,96.62%,和93.45%,精度、灵敏度、F分别测量,精度。

在不久的将来,火的分类,烟,他们的热反射将评估在任何分类和特性来提高性能。卷积神经网络的深度学习最近显示高性能可以探索作为分类器;也基于模型的图像特征,如离散小波变换将进一步研究。

附录

参见图9。

相互竞争的利益

作者宣称没有利益冲突有关出版的手稿。

确认

这项工作是由美国海军研究办公室批准号n00014 - 11 - 1 - 0074科学办公室托马斯·麦肯纳博士在美国Hwarang-dae研究所在首尔,韩国大田市和国防科学研究所。作者想感谢约瑟夫·斯塔尔先生和乔什·麦克尼尔公司协助执行防火测试。作者还要感谢守门员k .李帮助和支持本研究。