文摘
颗粒物质(PM)已经成为公共健康恶化的重要污染物之一。由于点是大气中无处不在,它是在许多不同的方式与生活质量密切相关。因此,系统准确地监测点在不同环境势在必行。之前的研究使用数字图像依赖于个人大气图像,没有受益于图像序列的时空效应。这个弱点导致破坏的预测能力。为了解决这个缺点,我们提出一个预测模型使用深dehazing级联CNN和颞先知先觉。颞前提供瞬时视觉和估计点浓度从原始和dehazed图像之间的残差。副产品,目前的方法还提供了高质量优于nontemporal dehazed图像序列的方法。各种实验支持的改进是在一系列模拟场景和使用标准的评估指标。
1。介绍
颗粒物质(PM)小颗粒悬浮在空气中,通常有一个空气动力学直径小于或等于10μ米(微米)。点源于人为活动(例如,化石燃料的燃烧,灰尘)以及天然来源(如矿物粉尘,火山灰)。点往往是为了测量粒子与空气动力学直径小于或等于2.5μ米(点2.5)和10μ米(点10)。点的大小与健康问题直接相关(1]。吸入的小颗粒被认为是危险的,因为他们可以深入渗透到呼吸系统(2]。在这方面,点2.5被广泛用作空气质量指数的关键指标,因此,我们关注的是下午吗2.5在这项研究中(以下简称为简洁点)。许多专家指出最近增加的点在世界的许多地方都归因于全球能源消费的快速增长(3]。多年来,一直在努力确定点在公共卫生和环境的不利影响4- - - - - -6]。令人惊讶的是,大规模的回顾性队列研究肺癌由世界癌症研究所报道,点确定为主要的致癌物质,患肺癌的风险增加了22%,增加了10点μg / m3(7]。空气污染从下午一直在东亚最具争议的问题之一。这已经变得不再可以忽略不计,和媒体以及研究人员设法告知公众的不利影响(8]。特别是,据报道,年平均点集中在韩国是两倍的经济合作与发展组织(经合组织);https://www.oecd.org/)国家9]。在这种情况下,必须构建一个精确的空气监测系统方便提醒公众预防。韩国政府大幅扩展点监测网络,以帮助改善点预测服务很大程度上。然而,仍然有不够的点覆盖整个国家监测站。此外,大多数的车站分布在城市地区(例如,首尔,釜山),许多郊区和农村undermonitored离开。
两种不同的方法可以用来估计点浓度:传感器的方法和应用方法。
1.1。基于传感器
改善点使用传感器测量方法已经开发更精确的传感器单元(10]。有两种类型的设备(11),即。,microbalance PM monitoring stations (accurate but expensive [12])和便携式light-scattering-based点显示器(13,14]。例如,韩国气象局(KMA)现在475个测量站和公开报告点(即浓度水平。,仅限于车站附近)每小时15]。大多数仪器由KMA锥形振荡元素微量天平(TEOM),旨在直接重量点过滤器(11]。虽然高度精确,TEOM相对昂贵的安装和维护(每年约200 k美元)(16)和绑定到空间的局限性,从而削弱了实用性。光散射法是相对便宜。在[11,17),收集点通过气流结构由密集部署的传感器测量。然而,这两种方法都依赖于大规模传感节点不可避免地遭受高覆盖率和可靠性的昂贵的维护成本。最近,一些新开发的设备为移动设备(例如,气球和无人机)是非常有趣的10,18,19),但携带传感器获取的数据仍然是高度能源密集型和更少的实际使用。
1.2。应用
这种方法是少探索传感器方法相比,所以有很多改进的空间。我们所知,所有应用研究利用只有个人图像(例如,20.- - - - - -22])。在这种情况下,它是相当敏感,经常运动模糊引起的相机或主题活动。具体地说,刘等人。20.]手动确定感兴趣的几个地区瞄准远处的物体获得传输地图。传输的解释力地图点估计已经证明它的效率(20.- - - - - -23]。然而,需要选择感兴趣的区域是痛苦点。李等人。21]杠杆异构数据组成的GPS、相机镜头、磁传感器、官方电台,和图像数据。结合这些多个数据,他们使用内核生成高维特征的方法。锅等。22)提取阴霾影响使用自适应传输地图(24)和派生功能传递到深层神经网络设计的基础上著名的玻耳兹曼机(25]。因为它假定传输值在当地的补丁(又名窗口)是相同的常数,dehazed图像不可避免地含有屏蔽构件(22,26,27]。本文的其余部分组织如下。在部分2和3介绍相关工作和该方法,分别。部分4描述了数值实验。
我们讨论的结果和结论部分5。
2。相关工作
根据大气散射模型(ASM),两个因素参与的形成一个阴霾的形象:(1)直接衰减和(2)空气光。当我们拍照的时候,反射光辉来自对象是衰减而达到相机。这是由于大气吸收的影响(又名直接衰减),而衰减强度正比于相机距离(场景深度)。除此之外,还有一个光,称为空气光,散射所产生的邻近的光源(由烟雾(如太阳)28]。重要的是,空气光改变物体的色彩范围,和直接衰减描述现场辐射及其衰变。图1说明了图像退化发生在烟雾条件下。小的代数,这个过程可以制定如下: 在哪里 表示像素, 是观察到的烟雾图像RGB通道, 是haze-free形象, 介质传输描述部分场景辐射到相机,然后呢是全球大气光。请注意,被认为是均匀的整个形象和使用经验技术决定的。第一项右边的方程(1)代表直接衰减,第二个任期对应于空气光。一个摄像机和物体之间的距离越远,它们之间的更厚的大气层的存在。 在哪里是大气的散射系数,是物体与摄像机之间的距离。方程(2)表明,现场辐射衰减指数与场景深度 。这里,它是直觉地理解一些烟雾效果恶化haze-free形象(例如, ),导致烟雾图像 。从这个简单的想法,我们可以考虑以下关系:
相关图像dehazing(又名烟雾去除),我们恢复 , ,和从观察到的阴霾的形象 。
3所示。该方法
通过图像序列(即衡量点。,video clip) is the ultimate goal of our study, and the deep neural network serves as a feature extractor. To achieve our goal, we first learn the deep dehazing network that extracts informative features based on strong correlation with PM concentration levels. In this section, we introduce two strategies working together for the network: (1) deep compression for energy efficiency in light of the model architecture and (2) temporal priors to capture haze-related features in image sequences. The specific design of our dehazing network is presented in Figure2。
3.1。网络体系结构的特征提取
3.1.1。网络修剪
在CNN网络深度在提取各种水平的特性中起着决定性的作用[29日]。启发,我们制定特征提取网络(沼泽)的前部dehazing与深级联卷积层436内核网络图2。然而,深的卷积网络中涉及太多的参数,计算成本高。我们因此寻求简化网络而不损失精度。为了解决这个障碍,我们使用网络压缩沼泽修剪(NP)。这是广泛用于降低网络复杂性和防止过度拟合(30.- - - - - -32]。我们也消除浪费不必要的参数在我们的网络没有性能损失。由于当地特性比全球重要特性在图像恢复33),我们减少了内核的数量(见表一行1)。这种技术(又名修剪网络)优于原网络有更多的连接与平原和密集的架构。这反过来使分不太复杂,但仍然足够深提取所需的特征点测量。基于深级联CNN架构,分掌握所有功能从地方到全球的水平。
3.1.2。并行 CNN层
其次,我们采用网络并行的 CNN (P1CL,或者说网络在网络层(34)图像恢复网络(写作)出现在下半年我们dehazing网络图2。P1CL证明其适用性增强神经网络的表征能力(34]。GoogLeNet充分利用这种技术不仅使网络在《盗梦空间》模块的名称也降低这些模块内部的尺寸(35]。受GoogLeNet的启发,我们面前的P1CL写作,减少特征图的尺寸通过沼泽积累。这并不仅仅意味着更多的降维。在这样做,我们压缩特征图谱,以缩小的范围涉及功能。此外,P1CL还包括使用修正线性激活(36]。一般来说,每个P1CL由一个或多个 紧随其后的是一个非线性激活函数的卷积(例如,ReLU),这增加了更多的非线性,从而有助于近似ASM等高度非线性函数。在一起,我们形成了写作,近似以下方程来源于方程(3)和一个代数: 在哪里意味着烟雾的效果和这两个术语和对应于失去的现场辐射(例如,通过散射或吸收)和现场的转变颜色,分别。并行处理的主要原因在写作,把计算任务,从而减少网络的负担。上部和下部单元估计丢失的光辉和场景的变化,分别。祝福的并行体系结构,写作,可以加快工作同时处理的方式,同时也有助于防止过度拟合问题,降低了网络的复杂性。和原始之间的残余dehazed图像可以作为解释变量相关的阴霾影响预测点的水平。出于这一点,我们设置一个变量之间的关系模型的烟雾效果和点的水平。使用组件存储在估计烟雾效果(在图3),我们可以估计点的浓度水平。
(一)观察到的图像
(b)估计阴霾影响(a)
(c)的放大视图(b)中的红色框
3.2。时间之前
从无限小的点由粒子漂浮在空气中,它们可以表现为如流运动视频传输现象。虽然我们不能直接识别流点通过跟踪所有粒子的运动,我们可以通过变化间接发现它的影响在多个图像序列的视频。所介绍的金等。37),原来的连续帧之间的差异在两种情况下( 和 )显然是与众不同。这以前的工作强化了合理性假设图像特征的图像显示点浓度水平是相当重要的。这是出于一个事实,即移动物体发生微妙的变化。超出了以前的工作,在贝叶斯受之前,我们对流体流动模型提出的谢et al。38另外为了适应特性变化: 在哪里时间域和吗 , ,和交通运营商表示流体(又名平流或扭曲操作符),和之前的时间。请注意, ,的元素 ,速度是矢量,它的方向场和流动。为简便起见,我们替换现有的物理之前 ,在哪里表示平均在一段时间之前 。更准确地说,图4描述了该时间之前是由基于连续帧长度之前,期间每个像素计算平均值的RGB图像帧。综上所述,我们结合原始RGB(3通道)及其相应的时间先验(3通道)为增强输入共有六个频道(见上半年网络图2)。当利用先验图像序列几乎一致,网络预计将比生产一致的阴霾影响,相比之前没有时间模型。
4所示。数值实验
4.1。数据集
在本节中,我们描述阴霾视频数据集应用。创造真正的视频数据集的一个挑战是连续阴霾框架和相应的haze-free框架应该是完美的匹配。绕过,人工阴霾视频数据集基于现有视频可用于火车dehazing网络(39- - - - - -41]。然而,合成阴霾影响很难适应自然分散光流运动,从而,这错误的扭曲了像素值。相反,我们收集的数据集各种环境包括室内和室外区域(参考示例烟雾图像辅料(可用在这里))。在这里,一个警告是由于室内环境没有直接暴露在外面的气氛,在室内,很难收集视频剪辑点高的水平。因此,我们不得不打开所有的窗户点高时有时直接生成由烧香点或喷洒氯化钾。缩略图显示在表中2。的视频都被记录下来覆盆子π相机模块V2(覆盆子π的基础;http://www.raspberrypi.org/)采用一种低成本的CMOS传感器。在构建数据集的阶段,我们首先山π摄像头图像稳定的三脚架。下午录制视频时,我们同时测量水平使用Aerocet 831手持式粒子计数器(遇到一个工具;http://www.metone.com/),高精度设备。的帮助下Aerocet气氛下,我们收集了haze-free图像点水平小于或等于15作为目标图像训练网络。对于这些数据,我们最后应用光流42捕获的视频剪辑为删除任何空间差异。所有的数据和代码都可以在作者的网站(http://www.hifiai.pe.kr/)。
4.2。结果
下午测量水平,估计阴霾影响每帧(矩阵)转换为统计(标量)的意思是,等熵、方差(20.,43]。评估的预测能力,我们比较真实的朦胧效果与预测模糊效果。为此,我们适应三个回归模型:(1)随机森林回归(RFR),(2)支持向量回归(SVR)的径向基函数(rbf)内核,和(3)多层感知器回归(MPR)。度规评估预测精度如下: 在哪里和参考数据(例如,意思是,熵和方差 )从地面真理和拟议的模型。表3总结了测试精度结果集和所有室内和室外场景同样分配。
4.2.1。准备室内和室外环境
我们收集超过2000个视频剪辑从室内办公室和走廊在建国大学几个月。在这里,该模型给出了最佳性能的准确性为86.72%时采用MLPR之前和熵的基准。尤其值得注意的是,精度会增加应用颞前时在所有场景。从这个意义上说,这是确认时间先验可以为网络提供额外的haze-related信息。此外,室内环境被认为对环境因素不敏感,因此,室内室外实验表现,这是可以理解的。对于室外实验,我们选择两个地点在韩国填充人们的居民区和构建复杂。好几个月,我们收集超过3000每个位置的视频剪辑。可靠性,我们确保户外数据由一个广泛范围的点的水平。在表3,SVR熵nonprior和之前提出了72.16%和82.45%,分别。有趣的是,先知先觉的收益相比,室内室外数据允许相当准确的场景。结果表明,之前的信息可以有效的尤其是在户外环境中(例如,有风)中颗粒流。
4.2.2。实验箱
在模拟中,必须评估不同的环境条件。为此,我们特别设计感兴趣的实验室内实现多样化的条件。实验进行了关于四个因素包括风、温度、湿度、照度。在实验的过程中,其他混杂因素调整后在实验室内。我们收集约1000视频剪辑在所有的实验条件。在表4,结果表明,MLPR熵始终呈现为几乎所有场景精度高80%以上。因此,它显然是证实这个prior-based模型可以充分控制环境的混杂因素可能介入烟雾效果。
5。讨论
毫无疑问,最近的人工智能主要集中在应用技术(例如,RGB和激光雷达)。尽管如此,在人工智能领域,无穷小材料仍然低估了由于其无形的本质。在这方面,建立点测量中具有许多优点的灵活性和可访问性的角度实时空气质量监测和扩展空间尺度。鉴于我们发现,即使是一个低成本的光学传感器,该方法可以提供进一步的好处在商业和节约成本在实际方面。此外,这也作为预测模型中使用前CNN和颞深级联方法方面。与现有应用预测模型相比,该模型延伸到容纳额外的时间之前特性在图像序列中,针对改进数据增加的美德的预测能力。各种仿真设计(例如,真实的数据和实验室数据),我们确认该模型优于传统模型没有时间先知先觉,表现出杰出的预测能力。进一步的改善可以通过利用上下文中的最优帧的长度优化预测能力。这种努力可以促进出口计量装置,促进实用价值,因为所有的模型建立强烈依赖于控制辐射,这大大阻碍了建立测量技术。为了解决这个问题,我们计划在开发替代只占particulate-related特性的预测模型。 We leave these topics for future research.
数据可用性
所有的数据和代码都可以在作者的网站(http://www.hifiai.pe.kr/)。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项研究受到了韩国建国大学的研究员基金在2019年,在2020年建国大学研究员基金,和韩国国家研究基金会(NRF)由教育部科技(2020 r1c1c1a01005229)。
补充材料
图S1:样例烟雾图像。(一)建国大学的办公室。(b)居民区。(c)实验室。(补充材料)