基于梯度域引导图像滤波的微光图像增强

摘要

提出了一种新的微光图像增强方法。基于光照-反射模型，利用引导图像滤波器提取底层图像的光照分量。然后，我们得到了反射分量，并分别用非线性函数、s形函数和gamma函数对其进行了增强。利用梯度域的一阶边缘感知约束，实现了增强图像良好的边缘保持特征，有效地消除了光晕伪影。此外，由于增强的照明和反射组件，生成的图像具有高对比度和充足的细节。我们通过对大量弱光图像进行操作来评估我们的方法，并与其他流行的方法进行比较。实验结果表明，该方法在视觉感知和客观评价方面优于其他方法。

1.介绍

视频监控现在被广泛应用于公安、交通等各个领域。监视系统不仅需要在白天执行，而且需要在夜间执行。然而，在一些情况下，如黑暗的地方或夜晚，拍摄的视频非常差，以至于物体很难被人察觉。因此，在图像处理和视频监控中，有必要对弱光图像进行增强。

近年来，弱光图像增强技术取得了显著的进展。常用的方法有暗通道先验模型[1，2，神经网络模型[3.，4]，直方图均衡化(HE) [5，6，图像融合[7，8，小波域算法[9，10]，以及照明-反射模型[11- - - - - -14］．注意到暗通道先验模型在处理细节丰富、亮度高的图像时适应性较差[2］．神经网络的设计和使用需要领域知识，以便底层神经系统具有良好的泛化能力。直方图均衡化的思想是将多个灰度箱合并以增加对比度，但这样的过程可能会产生细节损失。该图像融合方法需要多帧图像，不适用于单帧图像。小波变换是弱光图像增强的替代技术，如[9］．在弱光图像增强中，最常用的方法是利用光照-反射模型对图像进行分解。

由地政总署提出[15那是一个形象 可以被反射组件分解吗 以及照明部分 ： 在哪里 表示图像的坐标。通常，光照分量由底层图像的动态范围决定，而反射分量则取决于底层图像内物体的内在特征。方程(1)通常转换为对数域，使乘法变成加法。

光照分量可以通过多种方法得到，如[中的多尺度高斯函数11的改进高斯函数。12]中基于双边滤波的方法[14］．高斯函数背后的关键思想是使用低通滤波器，如(2）.的方程, 表示一个中心函数(也是一个低通滤波器)和符号代表卷积。则反射分量可由(3.)与照明组件。

在计算图像的光照分量和反射分量时，最重要的是保持边缘，使平坦区域平滑。多尺度Retinex (MSR)算法11]分别处理每个颜色通道，然后删除光照分量以保留反射分量。这样的处理容易造成色彩失真。此外，该方法无法实现边缘保持，容易产生如图所示的晕渲伪影1 (b)．双边滤波(BLF)，由Tomaci和Mabduchi提出[16，是一种很好的边缘保留和消除晕影伪影的方法。在[17， BLF可能导致如图所示的梯度反转2 (b)．因此，引导图像过滤器(GIF) [17及其变体，即加权引导图像滤波器(WGIF) [18]和梯度域引导图像滤波(GDGIF) [19，以达到良好的边缘保留。

在本文中，我们提出了一种新的微光图像增强方法，主要贡献在以下三个方面:为了有效地应对光晕伪影和梯度反转，提出的方法采用光照-反射模型，选择具有平滑和边缘保持特征的梯度域的GIF来估计光照分量;该方法基于HSI颜色空间消除颜色畸变;对光照分量和反射分量分别进行非线性s变换和gamma变换增强，以提高图像对比度和增强图像细节。

论文的其余部分组织如下2描述了提出的微光图像增强算法。部分3.演示了实验结果，并在本节中得出结论4．

2.该方法

本文提出的微光图像增强方法包括以下步骤:（1）将弱光图像从RGB颜色空间转换为HSI颜色空间（2）对于强度(光照)层，利用梯度域引导图像滤波估计光照分量，然后提取反射分量（3）用非线性s形变换增强光照分量（4）用非线性伽玛变换增强反射分量(5）取步骤和的倒数和为增强强度层（6)将新的HSI图像转换回RGB，产生最终的增强图像

2．1．梯度域的引导图像过滤器

GDGIF [19]及WGIF [18都是对引导图像过滤器的改进。基本上就是输出图像是引导图像的线性变换吗在一个方形的窗口以像素为中心 ： 在(4),引导图像可输入图像本身。像素是在橱窗里吗的长度 ,在这是过滤半径。和线性系数是像素吗 ．对于GIF、WGIF和GDGIF，较大的值意味着更好的边缘保存。相反，如果价值更接近于0，滤波器在平坦区域有良好的平滑性能。

根据[中的梯度域优化框架20.，过滤图像的任务意味着转换一个输入图像进入最终图像 ，哪个可以用能量函数表示 包括零级数据成本函数一阶梯度代价函数术语: 在哪里梯度大小;为梯度权值约束。在(4的梯度大小是 ．

2．1．1．引导图像过滤器

在引导图像过滤器中[17]， ，的表达和可根据(4) - (7)如下所示: 在哪里是图像的均值吗在窗口中 ，和是图像的方差吗在窗口中 ， 窗口中的总像素数是多少 ，和是图像的均值吗在窗口 ． 是一个正则化参数，控制边缘保持和平滑之间的权衡。作为光晕伪影在滤波过程中一般是固定的而不是空间变化的，在边缘不可避免。

2．1．2．加权引导图像滤波器

李等人[18]提出了WGIF，其中一个空间变化的梯度权值约束 添加在(7）. 在哪里是使用局部方差定义的单尺度边缘感知加权吗 窗户是引导图像的方差吗在 窗口中,为图像像素数，是一个小常数，它的值是 ,l为输入图像的动态范围。的表达式和，可按(4) - (7)，如下图所示: 注意到边缘感知权值在WGIF中是空间变化的;也就是说,大于1时像素位于边缘区域，并且当像素小于1时位于平坦区域。作为一个结果,比?更接近1，这意味着WGIF比GIF具有更好的边缘保存。

WGIF可以在一定程度上减少晕影伪影。然而，GIF和WGIF过滤器都没有明确的约束来处理边缘。两者都不能很好地保留边缘，因为图像滤波是在边缘上进行的，这肯定会使边缘平滑[19，21］．

2.1.3。梯度域的引导图像过滤器

寇等人[19]提出了梯度域引导图像滤波器(GDGIF)，通过添加一个显式的一阶(梯度域)边缘感知约束为梯度域方程(5)所示: 在哪里是edge-aware约束。目的是感知当地社区的变化，以便在类似的区域进行类似的过滤。为权重值，和表示输出图像的梯度值和输入图像 ．

在GDGIF中，一种多尺度的边缘感知空间梯度权约束 添加在(7）.GDGIF的能量函数见(12)，其中第二项为一阶梯度代价函数的组合以及边缘感知约束 ． 在哪里的局部方差定义为 所有像素的窗口;为过滤器半径。注意到多尺度边缘感知权值在空间上是变化的吗 ．边缘感知加权能更准确地检测边缘，当两个尺度方差很大时，一个像素被检测为边缘像素。

的比较和WGIF格式的图像如图所示3.．采用多尺度边缘感知加权方法对图像进行精确边缘检测而不是使用单一尺度的边缘感知加权在WGIF。

在(14），是一种边缘感知约束，用于保留边缘。是一切的平均值吗 ，的价值是 ．的价值接近1时，像素定位在边缘区域，像素时值接近0位于平坦区域。

的表达式和，可按(12) - (14)，如下所示:

当输入图像和引导映像同样，由于以下两点，GDGIF比GIF和WGIF具有更好的边缘保持和平滑特征。

(1)当像素位于边缘区域，表示可以计算为 由此可见，……的价值是1，的值是是与参数无关的1吗 ．其实，价值在GDGIF中比在GIF和WGIF中更接近于1。因此，GDGIF具有最好的保边特性。

(2)当一个像素定位在平的区域，值接近0时，参数因此是独立的选择 ．因此，我们可以选择更大的在不影响边缘保持的情况下，达到了更好的平滑[19］．

例如，我们通过选择相同的滤波半径，使用GIF、WGIF和GDGIF对图像进行滤波 和正则化参数 ．结果如图所示4．可以看出，经GDGIF滤波后的图像具有最好的边缘保持效果。

综上所述，GDGIF具有最好的边缘保持和平滑特性。因此，我们选择GDGIF来估计光照分量。

2．2.增强强度层

一般来说，RGB图像的处理是分别对R、G、B三个通道进行操作，耗时较长。在本工作中，将弱光图像从RGB颜色空间转换为HSI颜色空间。HSI色彩空间来源于人类视觉系统，采用色相(H)、饱和度(S)、强度(I)三要素来描述颜色，比RGB色彩空间更符合人类视觉特征。在HSI颜色空间中，强度分量被增强，色相和饱和度分量被提取，无需进一步处理。

2.2.1。估计照明组件

基于光照-反射模型，结合(2), (4)和(15)，我们使用GDGIF来估计光照分量 强度层图象 如下: 在哪里 ，由GDGIF函数表示，如(4）.然后是反射分量 的强度层图像，可根据(3.)和(17)如下:

2.２.２.加强照明组件

通常，基于光照-反射模型的方法是不考虑光照分量而提取反射分量并进行增强。这种处理导致灰度级之间缺乏协调，产生颜色失真。为了解决这个问题，Wu等人[13]提出在增强光照分量的同时增强反射分量。受此思想的启发，我们对光照分量进行非线性拉伸s形变换，如图所示5．已载于[22s形变换具有锐化图像、突出局部细节和拉伸图像对比度的能力。非线性拉伸s形变换的表达式为: 在哪里是自定义的s型非线性函数，其取值范围是 ， 和分别为反射分量的最小值和最大值 和 分别为初始光照分量和增强光照分量。值得注意的是，有两个重要参数 ， 其中参数控制如何增强图像和参数控制对比度增强。一般来说，值很大大大增强了图像。另一方面，小值的增强暗区对比度，并有较大的值增强光线区域的对比度。数字6通过使用不同的参数显示示例。在本研究中，参数 ， 分别为2和0.004。

2.2.3。增强反射分量

众所周知，人眼对高亮度差异不敏感，但对低强度的微小差异敏感。因此，gamma变换[23]通常用于增强反射分量如下: 在哪里为正常数;是控制图像对比度的参数。

从图中可以看出7,当小于1时，低强度对比度增加。相反，高强度的对比度在case中增强 ．参数的影响如图所示8．在本工作中，实验选取的参数如下: ； ．

2．3.最终增强的图像

通过对光照分量和反射分量取反对数，得到增强后的强度图像。新的HSI图像由增强的强度层、原始色调和饱和度层组成。然后将增强后的HSI图像转换为RGB图像，得到最终的增强图像。如图所示9．

3.实验结果与讨论

由于没有公开的弱光图像数据库，我们从国会图书馆和互联网上收集了20张图像，如图所示10．在仿真中，预定义参数如下:窗口半径 正则化参数 ， s形参数 ， 和参数 ， ．所有实验均在Windows 7操作系统下使用Matlab代码进行。计算机是英特尔®core™i5-4570 3.20 GHz, RAM是4.00 GB。传统的MSR算法[11， Hao的算法[14，他的算法[17]、直方图均衡化(HE)、改进的MSR [12和金的算法[9的实现是为了进行性能比较。

3．1.主观的评价

从图中可以看出11和12传统MSR算法增强后的图像存在明显的“白色”现象，即颜色失真。Hao方法增强后的图像会产生梯度反转伪影，如图4(白塔)中的红方所示11，说明双边滤波的边缘保持性能较差。Hao方法得到的图像是模糊的，从图中图像1 (church)和图像5 (study)可以看出11．他的算法还显示了从图像1(教堂)中可以看到的晕影伪影，这种方法不能增强图中图像的对比度和亮度12．

直方图均衡化算法可以增强图像的对比度，但该方法忽略了细节，放大了噪声，从图中可以看出11和12．改进的MSR算法优于传统的MSR算法，但该方法会产生光晕伪影，如图1 (church)所示11(突出显示框)。此外，如图13(男孩)所示存在“白色”现象，即轮胎被过度增强，丢失了详细信息。我们的结果表明，改进的MSR算法对夜间图像的处理效果并不明显，如图所示12．

Kim的算法也会导致颜色失真，从图中图像1 (church)可以看出11，红色广场上的天空变成了灰色。增强后的图像可能会像图1 (church)中看到的那样模糊不清，这意味着Kim的算法边缘保存能力较差。

从图中可以看出11和12，该算法具有最好的颜色保真度和边缘保持。与直方图均衡化算法相比，增强后的图像噪声更小，细节更清晰。

３．２．客观的评价

目前，尚无标准的客观指标用于微光图像的增强评价。在本研究中，我们使用信息熵(information entropy, IE)来评价图像细节，并选择平均边缘强度(average edge intensity, AEI)来评价增强图像的边缘保持特征。IE定义如下: 在哪里表示灰度级概率 ； 为灰度级的总数。更大的IE表示更多的信息，这意味着在底层图像中有更多的细节。

AEI的定义如下: 在哪里 和 代表梯度和图像边缘的方向。代表了期望。本文采用Sobel算子进行梯度计算。较大的AEI表明边缘保存良好。并与其他方法进行了效率比较。

表格1显示了平均IE和AEI以及基于20个测试图像的操作时间。我们观察到，He的方法在IE方面的性能并不好。他的方法增强的图像通常是黑暗的，失去了许多细节。数字13展示了三种方法的IE性能最好，分别是Hao的算法、Kim的算法和本文提出的方法。可以看出，本文方法的中位数IE(用红线标出)是最大的。在20幅测试图像中，本文方法的IE均值(以绿线表示)比Hao算法高9.8%，比Kim算法高1.8%。

另一方面，从表中可以看出1结果表明，改进的MSR、直方图均衡化(HE)、Kim的算法和提出的算法在AEI方面均取得了前4名的成绩。值得注意的是，直方图均衡化中高的AEI会占用较多的噪声。改进MSR的AEI、Kim的方法和提出的方法对每一幅图像的AEI如图所示14．结果表明，该方法的AEI中值(红线)最大，平均AEI(绿线)比改进的MSR高26.8%，比Kim算法高15.6%。

综上所述，本文方法在IE和AEI方面都取得了最佳的性能。此外，该方法非常高效，在7种方法中排名第三，如表所示1．值得注意的是，He算法增强后的图像质量最差。数字15显示HE、Kim’s和提出的方法的中位手术时间(用红线标出)和平均手术时间(用绿线标出)。一般情况下，双边滤波的效率不如GDGIF。双边滤波的计算复杂度为 ，在哪里为双边滤波的窗口半径，是图像像素的个数，而GDGIF的计算复杂度是 ．换句话说，GDGIF的计算复杂度与滤波器的大小无关。结果表明，该方法的平均时间比HE算法提高了59.7%，比Kim算法减少了19.4%。

4.结论

提出了一种微光图像增强算法。通过将弱光图像分解为光照分量和反射分量，分别给出了扩展光照和增强图像细节的解决方案。首先对光照分量进行梯度域引导滤波处理，然后进行非线性s形变换。反射分量由伽玛变换增强。这个解决方案增强了弱光图像，并有效地避免了失真(例如颜色)和恼人的伪影(例如模糊、光晕)。然后，对增强后的两分量之和进行防记，得到最终结果。实验结果表明，通过主观测试，该方法增强后的图像具有良好的视觉效果，在IE和AEI评价方面均优于现有方法。此外，该算法的计算复杂度与滤波器大小无关，因此具有较高的效率。该方法在微光视频实时处理中具有很大的应用潜力。

的利益冲突

作者声明他们没有利益冲突。

致谢

国家自然科学基金面上项目(no . 61371190);上海市自然科学基金面上项目(no . 13ZR1455200和no . 17ZR1411900);上海市信息安全综合管理技术重点实验室开放课题(no . AGK2015006);上海市高校青年教师培养资助项目(ZZGCD15090);上海工程技术大学科研启动资助项目(2016-56)。作者要感谢Se Eun Kim分享他的代码。

参考文献

1. A. Alajarmeh, R. A. Salam, M. F. Marhusin，和K. Abdulrahim，“使用暗通道和模糊逻辑对各种天气条件的实时视频增强”，在2014年计算机与信息科学国际会议论文集，ICCOINS 20142014年6月。视图:出版商的网站|谷歌学者
2. “基于改进的暗通道先验的夜间视频增强技术”，《计算机科学与技术》，第4期2013第20届IEEE图像处理国际会议论文集，ICIP 2013，第553-557页，澳大利亚，2013年9月。视图:出版商的网站|谷歌学者
3. 唐磊，刘伟，李勇，“改进的Retinex图像增强算法”环境科学与计算机工程，2011，页208-212，中国，2011年12月。视图:出版商的网站|谷歌学者
4. M. Athimethphat和K. Kritayakirana，“改进退化扫描文本照片图像的增强照明平衡的神经网络”第八届泰国电气工程/电子、计算机、电信和信息技术(ECTI)协会会议论文集，2011年会议，第983-986页，2011年5月。视图:出版商的网站|谷歌学者
5. G. Yadav, S. Maheshwari，和A. Agarwal，“基于对比度限制的自适应直方图均衡化的实时视频系统增强”第三届计算机、通信和信息学进展国际会议论文集，ICACCI 2014，第2392-2397页，ind, 2014年9月。视图:出版商的网站|谷歌学者
6. “基于直方图均衡化的彩色传统图像增强算法研究”，Optik第126卷第1期24, pp. 5665-5667, 2015。视图:出版商的网站|谷歌学者
7. 肖建平，“基于颜色空间融合的图像快速增强技术”，色彩研究与应用号，第41卷。1，第22-31页，2016。视图:出版商的网站|谷歌学者
8. Liu Z.， E. Blasch, Z. Xue, J. Zhao, R. Laganiére, and W. Wu，“multi - resolution image fusion algorithms for context enhancement in Night vision: A comparative study，”模式分析与机器智能学报第34卷第3期1, pp. 94-109, 2012。视图:出版商的网站|谷歌学者
9. S. E. Kim, J. J. Jeon, I. K. Eom，“基于小波域熵尺度的图像对比度增强”，信号处理，第127卷，第1-11页，2016。视图:出版商的网站|谷歌学者
10. E. Provenzi和V. Caselles，《基于小波变换的感知启发色彩增强》国际计算机视觉杂志，第106卷，第2期。2, pp. 153-171, 2014。视图:出版商的网站|谷歌学者|MathSciNet
11. d·j·乔布森，z - uRahman和G. A. Woodell，“一种用于弥合彩色图像和人类对场景的观察之间差距的多尺度视网膜成像，”IEEE图像处理汇刊，第6卷，第2期7，第965-976页，1997。视图:出版商的网站|谷歌学者
12. A. B. Petro, C. Sbert, J. Morel，《多尺度Retinex》，在线图像处理， vol. 4, pp. 71-88, 2014。视图:出版商的网站|谷歌学者
13. 吴淑琴，胡振中，余伟，冯建军，“基于Retinex理论的图像增强方法”2013国际信息技术与应用会议论文集，ITA 2013，页67-71,chn, 2013年11月。视图:出版商的网站|谷歌学者
14. 郝伟，何敏，葛洪。王,Q.-W。高，“在低能见度条件下的类似视黄醇的图像增强方法”控制工程与信息科学学报，2011，页2798-2803，中国，2011年8月。视图:出版商的网站|谷歌学者
15. E. Land，《视网膜检查》美国科学家号，第52卷。2，页247-264,1964。视图:谷歌学者
16. C. Tomaci和R. Mabduchi，“灰色和彩色图像的双边滤波”，在第六届IEEE国际计算机视觉会议论文集，第839-846页，印度孟买，1998年1月。视图:出版商的网站|谷歌学者
17. 何凯，孙俊杰，唐旭东，“引导图像滤波”，模式分析与机器智能学报第35期6, pp. 1397-1409, 2013。视图:出版商的网站|谷歌学者
18. 李振华，郑军，朱振华，姚伟，吴淑珍，“加权引导图像滤波”，IEEE图像处理汇刊，第24卷，第2期1, pp. 120-129, 2015。视图:出版商的网站|谷歌学者|MathSciNet
19. 陈伟，温昌文，李志文，“梯度域引导图像滤波”，IEEE图像处理汇刊，第24卷，第2期11, pp. 4528-4539, 2015。视图:出版商的网站|谷歌学者|MathSciNet
20. P. Bhat, C. L. Zitnick, M. Cohen，和B. Curless，“GradientShop:一个用于图像和视频过滤的梯度域优化框架”，美国计算机学会图形汇刊，第29卷，第2期2,货号。10日,2010年。视图:出版商的网站|谷歌学者
21. 张敏，王伟，“基于局部传播的图像边缘感知梯度域优化框架”计算机视觉与模式识别，2014，第2838-2845页，美国，2014年6月。视图:出版商的网站|谷歌学者
22. O. Nuri和C. Ender，“一种用于增强极不均匀光照图像的非线性技术，”航空航天技术学报，第3卷，第2期。3，页37-47,2007。视图:谷歌学者
23. A. K. Bhandari, A. Kumar，和G. K. Singh，“改进的膝关节转移函数和基于伽马校正的卫星图像对比度和亮度增强方法”，国际电子与通讯杂志，第69卷，第2期2, pp. 579-589, 2015。视图:出版商的网站|谷歌学者

版权

版权所有©2017孙献坤等。这是一篇发布在知识共享署名许可协议，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。