可见性增强的场景图像退化与深层神经网络雾蒙蒙的天气条件

文摘

基于摄像头现在很多高级驾驶员辅助系统(ADAS)介绍了协助司机各种行驶条件下,确保他们的安全。司机面临的问题之一是褪色的场景的可见性和更低的对比在雾天开车时。在本文中,我们提出一个新颖的方法提供了一个解决这个问题通过使用神经网络。我们假设的雾图像可以被未知的复杂的功能和数学建模,我们利用深层神经网络近似雾对应的数学模型。我们的技术的优点如下:(i)的实时操作和(2)是基于最小输入,也就是说,一个形象,表现出鲁棒性和泛化为各种看不见的图像数据。实验在不同的合成图像表明,我们提出的技术能力近似相应的雾功能合理,消除了更好的可见性和安全性。

1。介绍

退化的可见性和缺乏亮度在雾天对司机的安全构成严重的威胁。这些条件增加车辆碰撞的危险和伤害和死亡的一个主要原因是在路上覆盖着雾。在雾中悬浮颗粒非常细的水滴造成阻塞和散射的光。这将导致更少的光到司机的眼神,低对比,因此能见度(图1)。提高能见度恶劣天气是一个地区的高利息的研究人员。各种研究进行了观察和模型的各种天气条件对视觉系统的影响。作者在1- - - - - -4现在这种天气模式。他们分析场景是如何受到各种天气条件的影响。这些研究试图恢复各种属性的一个场景图像退化的恶劣天气条件的帮助下这些天气模型。一些研究,例如,(5,6),建议使用偏振过滤器去除烟雾从图像的影响。实现中所述的技术(5,6),两个或两个以上独立的图像必须符合条件,空气光产生了一些可测量的偏极化。天气去除算法提出了(7)使用一个单一的形象和用户提供的一些补充信息。提出了一种深照片系统(8基于照片的地理注册)。这种地理注册使获得大量的地理信息系统(GIS)的数据3 d模型等城市,建筑,地形,和结构;结构模型;和深度地图。这项研究的作者建议增加这些信息与简单的照片像dehazing实现各种操作,重新点火,视图合成,扩大视野。除雾/ dehazing解决方案提出了完全依靠单一的图像(9- - - - - -12]。单一的可见性图像增强算法(9)发展一个优化代价函数基于某些观测的图像,没有天气效果。这个成本函数试图估计的直接衰减空气光应用于现场可见性增强。在[10]黑暗通道之前(DCP)提出了单一图像烟雾去除。这之前,根据一些统计的观察户外haze-free图像,结合霾成像模型恢复haze-free形象。作者在11)提出另一个单一图像dehazing方法基于[10]。他们改善dehazing性能通过修改DCP方法通过引入一个中值滤波操作。他们还研究dehazing图像和视频编码的影响。在[12]朦胧的场景从单个图像复原算法通过定义图像通过一个场景传播模型,该模型考虑了表面着色。一般调查基于视觉的车辆检测方法提出了对智能驾驶辅助系统(13]。最后在14,15]提出增强可见性算法,考虑到雾效果,尤其适合道路图像。

在本文中,我们提出一个新颖的方法来提高场景的可见性雾蒙蒙的天气条件下的图像退化。我们目标增强的可见性,通过生成一个场景中雾组成的近似模型与深层神经网络(16]。然后这个广义模型用于恢复场景图像质量。我们建议的方法执行这一复苏实时图像的场景,它不需要任何额外的信息。该方法是健壮的,它达到好的结果对于一个大的看不见的模糊图像。

2。除雾深神经网络

2.1。人工神经网络

人工神经网络(17- - - - - -19)是复杂的数学系统倾向于电子模拟生物神经系统的工作。这些网络是由大量的简单计算单元称为人工神经元。人工神经元网络的数量可以从几百到几千人工神经元。神经网络是由连接这些成千上万的人工神经元在不同拓扑。这样一个互联网络如图2。正是通过这个简单计算元素的互连神经网络实现的高计算复杂度。人工神经网络正在研究提供解决各种问题,如函数近似,回归分析、时间序列预测、分类、模式识别、优化、决策、数据处理、过滤、聚类和分类,等等,不一而足。非常高CPU处理能力的出现使得人们有可能实现更深层结构(16,20.)的神经网络,因此可以实现更复杂的数学模型。深神经网络有许多隐藏层神经元的输入层和输出层之间。

2.2。深层神经网络为可见性增强

我们现在一个深层神经网络,接受一个雾蒙蒙的图像作为输入,模型相应的场景中雾组成,并产生一个除雾版本的场景图像作为输出。的架构提出了图像除雾深神经网络图所示2。网络由输入层、输出层,数量的隐藏层夹在两者之间。深层神经网络的多个隐藏层有利于实现更有效的表示为相应的雾功能。学习问题包含找到的最优组合权重,这样网络功能近似于一个给定的函数尽可能密切。网络学习这个给定的函数通过一些隐含的例子。摘要深层神经网络适合解决可见性增强的问题通过训练它在几个雾蒙蒙的图片和相应的原始图像(输入-输出双)。为了学习广义雾功能和产生相应的除雾图像分为模糊的图像不重叠的块大小像素。每个块都是归一化范围,优化学习和款的结果。款是自定义一个一维向量输入;因此,二维块转化为一维向量光栅化。这个向量提出了网络作为输入模式。款的权值初始化随机输入模式是向前传播通过款生成的多个隐藏层传播输出激活。激活函数用于我们款是由双曲正切传递函数 切双曲函数生产比例输出−1 + 1封闭的范围内。这个函数股票乙状结肠的许多属性函数,而是因为这正切函数的输出空间更广泛,它可能是更有效更抽象建模复杂的非线性关系。这种输入模式产生一个输出不同于目标输出(原始图像)。网络的误差函数是错误的组合提供的所有隐藏节点的网络和给药 的组合权重,最小化误差函数被认为是学习的解决方案。在这篇文章中,这个最优组权重是通过反向传播算法。反向传播是一个迭代的梯度下降算法的输出误差信号从输出层向后传播立即隐层中的每个节点,导致输出层。这个向后传播持续,一层一层地,直到网络中的每个节点收到一个错误信号,描述了整体误差的相对贡献。一旦确定每个节点的误差信号,然后使用错误的节点更新网络的权重的值。这种反向传播的错误和权重的更新持续到误差函数变得足够小的价值。停止训练网络的特点,提出了新的输入模式的网络。经过训练的网络可以近似和删除这些输入的雾模式更好的可见性。可见性增强的流程图如图款3。

3所示。实验结果

实验从弗里达获得图像数据库上进行(14]。弗里达数据库由合成图像,没有雾。该方法的评价是进行灰度图像。每个图像的大小为640×480像素。图像数据集分为训练集和测试集的图像图像。深层神经网络的学习除雾目的是由训练集。架构基于多个隐藏层(5 - 8)与不同数量的隐藏节点(16 - 128)都是经过训练的。检查网络的收敛性的基础上均方误差(MSE)。一旦网络学习广义雾功能,结果应用于测试图像。为评价目的我们在数据显示结果4- - - - - -10。在这些数据感兴趣的领域是在矩形封闭的显示。建议的解决方案可以通过分析这些区域来进行评估。图4(一)显示了原始图像中场景没有雾,而图4 (b)显示现场受到大雾影响。它可以清楚的看到,背景图4 (b)褪色,主要是看不见的。树封闭的矩形图4(一)几乎看不见图吗4 (b)。建筑的主要部分(前),这是在图可见4(一)是完全看不见的图吗4 (b)。其他部分的建筑封闭矩形图4(一)是看不见图4 (b)。图4 (c)代表了我们的现场恢复深层神经网络。无形的建筑在雾蒙蒙的版本恢复除雾的版本。树是可见的和其他地区封闭的矩形图网络也得到部分恢复。数据5(一个)和5 (b)分别显示了原始场景和不清晰的场景。前面的建筑是原始场景图清晰可见5(一个)消失在不清晰的场景,而它背后的建筑场景中不可见的图吗5 (b)。较小的棕榈树也看不见在雾蒙蒙的版本。左边的房子和树木雾蒙蒙的形象几乎是看不见的。交通标志和一些微小结构缺失在多雾的场景。在图5 (c)雾是被深层神经网络。消退前建设改善了可见性的恢复图像。不可见的建筑前面后面的建筑之前可以清楚地看到在我们的场景中恢复过来。较小的棕榈树是可见的。左边的房子和树的图像也恢复成功。看不见的交通标志和小结构由于雾也恢复到某种程度上在除雾的场景。图6(一)显示了原始场景,而图6 (b)由于雾代表了图像退化的可见性。树木封闭矩形左边的图6(一)在图上依稀可见6 (b)。汽车用原始图像的矩形中无形的退化图像。的结构/建筑封闭的矩形图6(一)在退化的版本中是看不见的。具有增强可视性的同一场景呈现在图6 (c)。可以看到,在雾蒙蒙的图像上依稀可见的树木已经恢复。以前看不见的汽车可以发现图像中恢复过来。的结构/建筑失踪雾蒙蒙的图像检索,我们成功地款。图7(一)显示了原始场景图像中没有任何雾和图7 (b)代表现场由于大雾天气和能见度。从左边图像的原始图像中可见的树在退化图像上依稀可见。房子和树靠近它在退化图像是看不见的。棕榈树也失踪退化图像。北极、树和建筑物的后视图右边严重退化,是看不见的雾蒙蒙的形象。图7 (c)代表了款场景图像中恢复。从左边的树已经恢复增强版上依稀可见。房子和相邻的树也被复制图像检索,虽然缺少细节,但结构清晰可见。以前看不见的棕榈树是出现在场景中恢复过来。树杆,和后面的部分建筑也恢复和复制图像中清晰可见。数据8(一个),8 (b),8 (c)显示原始图像,图像受大雾天气的影响,图像的恢复了款。对比图8(一个),在图8 (b),背景,建筑,房屋,树木,植物,和汽车用矩形框不可见的或不可见的,而在图8 (c)我们建议的恢复上述地区成功地款。数据9(一个)和9 (b)分别代表了原始图像和雾蒙蒙的版本。房子的左边的车道9(一个)几乎看不见图吗9 (b)。波兰人和交通信号灯也看不见。右边的建筑是消退,其背后的树由于雾是不可见的。场景中的汽车上依稀可见。在我们的图像,图中恢复过来9 (c)场景的可见性增强。房子的车道现在相当明显。波兰人和交通信号恢复从雾气弥漫的版本。大楼右边的知名度提高和其背后的树现在可见的。恢复图像的车辆检测比雾蒙蒙的版本。图10 ()代表原始场景没有雾。图10 (b)代表了退化图像场景的雾。建筑在右边褪色是因为雾,几乎看不见。建筑背后的树,右边是无形的。多雾的交通标志是无形的形象,和一个大的部分建筑和棕榈树也失踪的左边雾蒙蒙的形象。在图10 (c)现场再现的款的右边上隐约可见的建筑形象在很大程度上是可见的。背后的树也恢复了。交通标志也可见的复制图像。后面的部分建筑和左边的树也被我们款恢复成功。

4所示。结论

在本文中,我们提出一个新颖的方法恢复模糊图像的可见性与深层神经网络的帮助。这个想法是一个初始尝试模型场景的雾函数恢复与深层神经网络。方法恢复现场结构简单地用一个图像输入、实时操作、概括。恢复图像的场景显示良好的恢复模糊图像。该技术在一些图像显示局限性繁殖一些场景中物体的具体细节,但是,尽管如此,他们相当可辨认的。可以定制应用程序中使用这种方法设计的驾驶辅助系统,智能车辆系统、户外监测系统,等等。在以后的工作我们会使用这个想法来开发更先进的框架天气取消视觉系统基于神经网络。

利益冲突

作者宣称没有利益冲突有关的出版。

承认

这项研究得到了MSIP(科技部、ICT和未来规划),韩国,根据项目技术信息通信和广播的发展,由IITP监管(信息和通信技术促进研究所)(IITP 2015 - b0101 15 - 1377)。

引用

1. s·g·纳史木汗和s·k·纳亚尔”愿景和大气中,“国际计算机视觉杂志》上,48卷,不。3、233 - 254年,2002页。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学
2. s·g·纳史木汗和s·k·纳亚尔彩色视觉在恶劣天气,框架”学报theIEEE计算机视觉与模式识别会议(2000年CVPR”)2000年6月,页598 - 605。视图:谷歌学术搜索
3. s·g·纳史木汗和s·k·纳亚尔”,对比恢复天气退化图像,”IEEE模式分析与机器智能,25卷,不。6,713 - 724年,2003页。视图:出版商的网站|谷歌学术搜索
4. k·纳亚尔和s·g·纳史木汗,“视觉在恶劣天气,”学报》第七届IEEE计算机视觉国际会议(99年ICCV”),2卷,第827 - 820页,1999年9月。视图:谷歌学术搜索
5. y y Schechner, s·g·纳史木汗和s·k·纳亚尔,“即时dehazing图像,采用极化”《IEEE计算机学会学报计算机视觉与模式识别会议1卷,第332 - 325页,2001年12月。视图:谷歌学术搜索
6. 美国Shwartz、e .指名者和y y Schechner,“盲阴霾分离,”《IEEE计算机学会学报计算机视觉与模式识别会议(CVPR 06年),2卷,第1991 - 1984页,2006年6月。视图:出版商的网站|谷歌学术搜索
7. s·g·纳史木汗和s·k·纳亚尔”图像的交互式deweathering使用物理模型,”《IEEE车间颜色和光度方法在计算机视觉,结合IEEE计算机视觉国际会议,2003年10月。视图:谷歌学术搜索
8. 科夫,j . b . Neubert b . Chen等人“深照片:基于模型的增强和查看照片,”ACM交易图片,27卷,不。5日,第116条,2008年。视图:出版商的网站|谷歌学术搜索
9. r·t·谭”,可见性从一个形象,在恶劣天气”学报》第26届IEEE计算机视觉与模式识别会议(CVPR ' 08),2008年6月。视图:出版商的网站|谷歌学术搜索
10. k他、j .太阳和x,“单一图像烟雾去除之前使用黑暗通道,”《IEEE计算机学会学报计算机视觉与模式识别会议(CVPR ' 09)IEEE,页1956 - 1963年,迈阿密,佛罗里达州,美国,2009年6月。视图:出版商的网站|谷歌学术搜索
11. k·b·吉布森,旁白,t·d·t·Q。阮:“调查dehazing对图像和视频编码的影响,“IEEE图像处理,21卷,不。2、662 - 673年,2012页。视图:出版商的网站|谷歌学术搜索|MathSciNet
12. r·法塔尔“单一图像dehazing”,ACM交易图片,27卷,不。3、988 - 992年,2008页。视图:出版商的网站|谷歌学术搜索
13. z太阳、g . Bebis和r·米勒“行车车辆检测方法:审查。”IEEE模式分析与机器智能,28卷,不。5,694 - 711年,2006页。视图:出版商的网站|谷歌学术搜索
14. j。Tarel, n . Hautiere绳,d . Gruyer和h . Halmaoui”提高能见度异构雾下的道路场景图像,”《IEEE智能车辆研讨会(IV”10)2010年6月,圣地亚哥,加利福尼亚州,美国。视图:谷歌学术搜索
15. n . Hautiere j。Tarel, d .《“缓解基于摄像头高级驾驶员辅助的可见性损失”IEEE智能交通系统,11卷,不。2、474 - 484年,2010页。视图:出版商的网站|谷歌学术搜索
16. g .辛顿·l·邓,d . et al .,“深层神经网络语音识别的声学模型,”IEEE信号处理杂志卷,29号6,82 - 97年,2012页。视图:出版商的网站|谷歌学术搜索
17. s . o .微积分神经网络和学习机器普伦蒂斯霍尔,第3版,2008年版。
18. y s Abu-Mostafa m·m·伊斯梅尔和H.-T。林,学习数据,2012年AMLBook。
19. p·h·西德汉姆和r .刺测量系统设计的手册,3卷,约翰威利& Sons,奇切斯特,英国,2005年。视图:出版商的网站
20. y Bengio”,学习深度为人工智能架构,”基金会和机器学习的趋势,卷2,不。1,1-27,2009页。视图:出版商的网站|谷歌学术搜索

版权

版权©2016 Farhan侯赛因和Jechang桢。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。