文摘

在弱光环境中,图像低对比度和细节的损失。传统的图像增强模型通常未能避免overenhancement的问题。在本文中,一个简单而新颖的校正方法提出了一种基于自适应局部伽马变换和颜色补偿,这是受光照反射模型。我们建议的方法将源图像转换为YUV彩色空间,和组件快速引导滤波器估计。当地的伽马变换函数是用来提高图像的亮度自适应调整参数。最后,图像的动态范围是由颜色补偿机制和优化线性拉伸的策略。通过比较先进的算法,证明了该方法自适应地减少不均匀光照的影响,避免出现overenhancement和改善微光图像的视觉效果。

1。介绍

计算机视觉系统已广泛应用于各种工业生产等领域,视频监控、智能交通、遥感(1),在人类的生活中扮演着越来越重要的作用。然而,在图像采集过程中,许多不可控因素会导致各种缺陷获得图像。特别是在贫困和复杂的光照条件,如低光,不均匀的光,背光,和朦胧的条件,微弱的光的反射物体的表面原因颜色失真和噪声放大的图像,这严重影响了图像的质量(2]。如图1,第一行包含uneven-light图像,图像的光照不均匀会导致一些地区被曝光过度,而另外一些曝光不足,影响不仅人类视觉感知,而且图像分割和目标识别的准确性,有时导致失败的机器视觉系统。因此,重视增强图像的对比度和可观察性收集从照明条件差3- - - - - -5]。

弱光图像增强已成为一个研究的焦点在图像处理领域,和它的跨学科特点吸引了大量来自世界各地研究人员的关注。例如,在一个面部识别系统,Oloyede et al。6应用一个新的评价函数结合metaheuristic-based优化算法自动选择best-enhanced脸图像。提高水下图像,侯et al。7)提出了一种新颖的基于色调的水下彩色图像增强方法保护结合恒生指数和HSV颜色模型。傅和曹8结合深度学习的优点和传统图像增强技术来提高水下图像的质量。改善视网膜眼底图像的对比,·索默洛et al。9)独立分量分析(ICA)用于图像增强,有效地实现快速、准确的分割眼睛的血管。Kallel et al。10]提出了一种新的改进算法致力于计算机断层扫描(CT)扫描基于离散小波变换和奇异值分解(DWT-SVD)其次是自适应图像灰度校正(AGC),持续产生良好的对比度增强亮度和边缘细节的保护。

然而,这些传统的方法是有限的自适应性和倾向于overenhance当地一些地区不均匀照明的情况下。他们也很难罢工之间的平衡计算复杂性和视觉效果。因此,在本研究工作中,提出了一种自适应增强方法对于处理图像不均匀的光环境,这是灵感来自illumination-reflection模型。图1显示了样品处理我们的方法。这种方法可以有效地增强图像的视觉效果,揭示更多的细节在黑暗的区域,同时保留整体细节信息,因此研究提供有价值的参考图像的校正不均匀照明条件下获得的。的贡献如下:(1)这是一个简单而有效的图像增强器基于一本小说当地伽马变换和光照反射模型。这种方法可以有效地增强图像的视觉效果,揭示更多的细节在黑暗的区域,同时保留整体的细节信息(2)该方法有一个颜色补偿机制;适用于彩色图像的处理与监控系统(3)该方法可以根据光线分布和自适应调整参数减少不均匀光照对图像的影响,因此研究提供有价值的参考图像的校正不均匀照明条件下获得的(4)我们的方法可以产生满意的结果减少了计算复杂度

本文的其余部分组织如下。节2一些相关工作进行了总结。部分3介绍了该方法的流程图。节4的比较,并给出了实验结果。最后,研究工作得出的结论部分5。

2。相关的工作

传统的图像增强方法的弱光图像包括直方图均衡化(他)和灰度变换(GT) [11,12),通常获得校正参数基于灰度值的累积概率分布。例如,黄等。13)提出了一个伽马校正算法,自适应获得伽马校正参数基于累积概率分布。之后,刘等人提出了一种基于最优的低光照条件下的图像增强方法双曲正切函数(14]。在裁判。15],block-iterative直方图方法用于提高图像的对比在处理图像的不同部分与部分重叠子块直方图均衡化(POSHE)使用一个移动的模板。随后,陈和Ramli提出了最小均亮度误差bihistogram均衡(MMBEBHE) [16)算法来减少亮度之间的误差平均值输出的图像和原始图像。侯赛因和Tjahjadi17)提出了上下文和变分对比度增强(CVC)算法,进行非线性数据映射使用上下文信息和实现二维灰度直方图对比改进。这些方法很简单的计算规则和计算复杂度低,但容易各种处理问题,如颜色损失和噪声放大。黄等人提出一种有效的图像增强策略命名为对比有限动态quadri-histogram均衡(CLDQHE)包括三个步骤可以产生令人愉悦的结果保存的亮度和结构(18]。

基于颜色恒常性计算理论,上等人提出了single-scale retinex (SSR)算法,进一步发展成各种多尺度retinex (MSR)算法,如多尺度retinex与颜色恢复(MSRCR)算法(19,20.)和多尺度retinex色度保存(MSRCP) [21]。之后,福等人提出了一种加权变分模型来估计从弱光照明形象,不仅可以准确提取反射信息,但也抑制噪声的放大22]。王等人。23]引入了肺水肿(自然保护增强)算法与bright-pass过滤器保护图像自然通过整合像素的邻域信息,从而提高图像对比度,同时避免过度局部增强。2011年,越南盾等。24)反向光线暗的图像生成图像类似收购雾蒙蒙的天,然后使用除雾算法以提高对比度的原始图像。框架后,张等人提出的实时增强器通过结合dehazing方法与双边滤波技术,的DCP(黑暗通道之前)模型用于参数优化和联合双边滤波是用来减少噪声干扰25]。公园等人介绍了明亮的通道之前(BCP)和BCP估计与retinex理论结合起来实现弱光图像增强(26),取得了良好的效果。这些方法有效地增强图像的细节在黑暗区域,但也带来了较高的计算复杂度和倾向于产生光环效应在黑暗的区域。

在过去的十年里,machine-learning-based技术被广泛用于提高弱光图像的对比27]。例如,知识等。28]采用SSDA(堆叠稀疏的去噪autoencoder)方法开发一个基于仿真的图像增强器的光线暗的环境中,在机器学习算法用于训练self-encoder调整亮度自适应几个低照度图像信号。沈et al。29日]分析了MSR算法的性能从CNN的角度和设计MSR与CNN网络架构增强光线暗的图像。道等人提出了一个LLCNN形象魅力(光线暗的卷积神经网络)模型基于深度学习技术,增强图像的最后可以从多层次特性生成图形之后学习在光线暗的图像数据库30.]。公园等人介绍了retinex理论深度学习框架,提出了一种双self-encoding网络(31日),一个卷积autoencoder和堆叠autoencoder用于实现亮度增强和噪声抑制。灵感来自image-fusion-based方法(32)发明了一种幅图片增强器通过梳理image-fusion-based技术训练一个端到端的CNN模型,基于构建multiexposure图像数据集不同的图像对比量表。这种方法提供了一个良好的图像增强效果,但其计算模型通常需要一个过长时间或太多昂贵的培训资源。

3所示。该方法的框架

根据成像的基本原理,图像是由反射的光线或发出一个场景中的物体的表面和到达相机。一般来说,它通常被认为是一个二维函数 ,在这个函数的值是在坐标像素的亮度吗 在图像 的成分是照明组件( )进入现场,反射组件( )从对象表面。这个illumination-reflection模型的数学表达式如下:

这个模型的空间关系图中所示2。

结果表明:入射光的强度主要依赖于光源,及其分布函数( )显示了小空间变化。的光谱 主要集中在低频区域,以反映照明环境在成像过程中,虽然反映的组件 主要是集中在一个广泛的高频波段,对应于图像的细节反映了目标的自然属性。如果一个场景的照明是偶数,那么照明组件是均匀分布的空间,和获得的图像是有自然采光和视觉质量高;然而,如果一个成像场景的光照不均匀,然后用过分强烈的照明领域将会曝光过度,而那些照明不足将会曝光不足,导致各种人眼视觉问题。如果我们能找到一种方法来估计反射分量,也就是。、分离 从 ,然后,我们可以消除光对成像的影响,从而帮助实现图像增强的目标(33]。

灵感来自上面的模型和理论,我们提出了基于自适应的图像增强器的框架当地伽马变换和颜色补偿。该方法消除了组件通过修改颜色空间之间的关联;因此,图像增强的目的是通过处理组件在不同的颜色空间。首先,源彩色图像转换为YUV空间的亮度估计场景的一部分组件使用一个快速引导过滤函数,然后,当地执行伽马变换增强图像通过自适应调整根据亮度分量的灰度分布。最后,通过调整图像的对比灰度线性拉伸,和颜色补偿策略应用于RGB图像。整个流程图如图3。

3.1。颜色空间转换

众所周知从视觉感知系统的神经机制,人类的眼睛亮度比颜色更敏感;因此,增强亮度是该算法的关键的调整不均匀照明。彩色图像的色度和亮度信息不能有效地杰出的RGB(红、绿、蓝)颜色空间;因此,应用直接校正三个频道在RGB颜色空间不仅会导致颜色失真,也增加了计算负荷。相比之下,在YUV颜色空间中,每个颜色对应于两个色度组件(和 )和一个亮度组件( );因此,将亮度和色度分离可以改变光照强度而不影响颜色。因此,在这项研究中,我们提出一个基于YUV-space灰度映射chrominance-luminance亮度分量的重组算法而色度处理组件和为增强不变。RGB颜色空间和YUV彩色空间的关系是(33]:

转换为YUV空间后,图像对应于每个组件,如图4。在图4(一)源彩色图像,(e)是(a)的相应的灰度图像,(罪犯)的三个组件 , ,和 ,分别(f-h)的组件 , ,和 ,分别。

3.2。估计的照明组件

有效地减少不均匀光照对图像质量的影响,准确的提取从一个场景的照明信息尤其重要。目前,主要的方法提取照明组件包括平均滤波器,双边滤波器,高斯滤波器。平均滤波平滑图像的方法计算每个像素的平均值与邻国。快但可以强烈影响邻近的像素。高斯滤波方法是穷人在保留边缘,导致提取的照明组件有模糊边缘,从而表现不佳的保留详细的信息。双边滤波算法显示了更好的边缘保护特点,但计算复杂度非常高,这限制了其在实际工程应用中使用。引导滤波算法是一种引导映像的当地的线性变换,得到图像的低频信息,同时保留边缘信息和计算复杂度较低。它是最快的可用edge-retaining滤波算法,因此本研究中使用提取照明组件(34,35]。

让图像输入、输出和指导用 , ,和 ,分别。那么,对于任何给定的像素 ,其引导过滤过程是: 在哪里像素指数和吗和线性变换的因素。最小重建之间的区别和计算如下: 在哪里和的方差和均值引导形象吗在窗口 ,分别;是一个参数控制滤波器的平滑度;像素的数量吗 ;和输入图像的平均值吗 。因此,滤波器的输出将会是: 在哪里和的平均值吗和 ,分别在邻居的窗户以像素为中心 。

因此,引导过滤过程可以看作是引导滤波函数的卷积和原始图像,这产生了以下照明组件的估计: 在哪里 是引导滤波器, 是输入图像, 是表示估计的输出图像的亮度分量。

考虑的局部和全局特征估计亮度值,我们介绍了多尺度引导过滤,将提取场景的照明组件使用滤波窗口的不同尺度和权重,最终产生了以下照明组件的估计: 在哪里的重量是照明组件提取的th规模和是使用的规模数量; 的值是在点的加权组合照明组件吗 使用引导滤波函数,提取不同尺度的与windows。在图5,照明组件的值提取使用三个不同的尺度。在图5 (f)融合的结果,这三个不同尺度(80和250)显示,照明组件提取的重量在每个规模将1/3。

从图5可以看出,基于多尺度的方法引导滤波可以提取源图像的照明组件,用于描述照明的变化而摆脱的细节,以满足实际应用的要求。然而,这种方法需要多个过滤操作执行的形象。基于计算复杂度和性能的综合考虑,我们提出一个计算方法与自适应窗口,窗口大小是1/4的小尺寸的图片,如下: 在哪里是一个函数来提取一个整数下来,到最近的号码和分别是图像的高度和宽度。为了演示指导过滤的优点,各种滤波方法的影响(包括高斯滤波器,平均滤波器、中值滤波器和双边过滤器)比较图6。

这表明引导滤波器、双边滤波器和高斯滤波器产生好的场景中的光照变化的描述,与照明组件的分布一致。进一步的edge-retaining特征引导滤波器相比,双边滤波器,高斯滤波器,我们考虑像素在110行数据6(一)和6 (d)- - - - - -6 (f)作为例子。在图7,我们介绍一维亮度图产生的灰度值在相应的位置在这些照片。

图7高斯滤波结果表明,在较大的偏差在锋利的边缘地区与原始图像中的边缘相比,虽然快速引导滤波算法执行最佳逼近原始图像的亮度分布,特别是在边缘地区,同时保持低计算复杂度和高速度。

3.3。当地伽马变换

自适应增加的亮度低照度领域而减少high-illumination区域的亮度灰度分布的基础上,我们试图改善和扩大伽马校正的传统方法,具有以下标准形式: 在哪里 是一系列的纠正亮度(0 - 1), 是源图像增强,是一个控制参数。当小于1大于0,但整体亮度增加,当大于1,整体亮度降低。

对于均匀曝光过度或曝光不足的图像,该算法可以通过参数的调整产生令人满意的结果 ,但当曝光过度和曝光不足的地区都出现在相同的图像,该算法很难达到满意的效果时使用相同的参数在整个图像。因此,我们引入了一个算法,允许随图像的局部信息,如下: 在哪里 照明提取吗 和指数函数的基础。一般来说,较低的区域照明需要更多积极的改正,所以小值应采用,即。的更大的价值应采用Eq。12);对于过度高对比度的图像,一个应该采用值大于1,即。的价值,应该低,抑制照明强度。在裁判。36),一个分段函数制定基于输入图像的平均值是否大于0.5。然而,对于图像曝光过度和曝光不足的地区,可以非常接近平均值0.5,如果这些图片是使用该算法进行处理,有可能没有显著的改变可能的结果,这意味着图像校正的实际需要将不会得到满足。因此,我们提出一个伽马校正参数的公式随场景的照明组件,提出了一种自适应亮度调整功能这个地方伽马变换基础上,自适应地调整控制参数根据输入图像的照度分布,如下:

根据情商。12),当基值设置为2 ,输出的变化与输入 如图8。

根据情商。13),当基础设置为2, ,或 ,校正效果的变化如图9。图9显示为增加,增强低像素值,高像素值抑制。这个压缩图像的动态范围,导致整体增强图像中亮度,降低成本的对比。

3.4。灰度线性拉伸

减轻图像灰度值集中的问题,我们使用灰度拉伸函数改善形象。执行一个简单的线性点态操作将图像的直方图扩展到包括整个灰度范围。这一行动的理由是提高图像处理的动态灰度范围。

让 表示输入图像,其最小灰度值和最大灰度值定义如下:

通过线性映射的动态范围 来 ,然后输出图像 将会是:

如图10,该算法处理图像的动态范围扩大,促进细节曝光过度的识别和曝光不足的地区形象。

3.5。颜色补偿

使用下面的公式,我们将图像从YUV颜色空间转换为RGB颜色空间使用增强的组件而离开和组件保持不变: 在哪里 , ,和亮度分量和两个色度信号组件,分别在YUV空间。

然而,在转换到RGB空间使用上述方法,图像可能显示色彩饱和度下降。确保输出的色彩饱和度图像与输入图像是一致的,我们采用以下表达式: 在哪里被设置为一个经验值为0.5; , ,和表示红色、绿色和蓝色的组件在RGB空间中,分别;和和亮度组件在YUV空间增强前后,分别。

获得的图像使用方程式。(16)和(17)和相应的灰度直方图如图11。获得的图像使用情商。17)已获得使用更好的色彩饱和度和对比度高于情商。16)。

实现的具体步骤上述自适应光线暗的图像增强方法获得不均匀光照下总结如下:

4所示。实验和分析

为了测试性能的方法,我们使用了一个实验平台组成的计算机(英特尔(R) (TM)核心i7 - 6700和16 GB的RAM)和仿真软件MATLAB。图像用于测试包括城市街景画,一些自然风光,和一个室内场景和大动态范围的共同特性和不均匀的照明。一些实验结果如图12的图像“夜”,“桥”,“城堡”“镇”“女孩”(37),“街”“松”,和“黎明。”,如图12该算法处理后,较低的区域照明是增强的,和那些高照明是镇压。增强的图像是自然的颜色和详细清晰,表明该方法可以自适应地减轻场景光照不均匀的影响图像质量。接下来,我们将比较该算法的处理结果与各种主流算法方面的主观视觉评价和客观定量分析。

4.1。主观的评价

以下4.4.1。与传统的增强方法

在图13,该方法的结果和其他传统的图像增强方法。图(13日)显示了原始图像(37),和数字13 (b)- - - - - -13 (h)显示实验结果的一个线性变换(LT)、直方图均衡化(他),自适应直方图均衡化(AHE)、同态滤波(高频),小波变换(WT) Retinex方法,该方法,分别。相应的放大效应在划定的区域框如图(13日)行3 - 6所示。结果表明,使用各种方法的图像处理显示不同程度相对于原始图像的变化。例如,数据13 (c)和13 (g)明显增强的对比,显示更详细的,但改变色调。此外,严重的“光环”噪声图13 (g)导致糟糕的视觉质量。数据13 (e)和13 (f)没有整体色调变化但表现出不足改善细节模糊。数据13 (b)和13 (d)显示良好的整体效果,但在明亮的地区由于过度增强明显线性变换方法,而AHE使颜色明显变暗。相比之下,该方法收益率显著改善在这两个颜色和对比,实现比其他方法更好的视觉效果。

4.1.2。比较先进的方法

我们进一步比较了该方法的增感效应与一些先进的方法使用“窗口”和“家具”作为测试图像。结果如图14和15。在这些数据,(一个)显示了原始图像和放大视图区域划定的盒子,和(b - h)获得的结果使用CegaHE [38],CVC [16),线性动态范围(异地恋)技术(39),DCP (24],MSRCP [21],SRIE [22),该算法分别与相应的放大区域。结果表明,与原始图像相比,整体的能见度和对比度增强的图像使用各种增强方法获得的大大提高,实现良好的增强效果。然而,CegaHE方法导致严重的色调变化。CVC和存贷比方法实现只有轻微的增强,同时放大的声音在黑暗中地区,而CVC另外方法是无法恢复光线暗的像素的颜色。MSRCP和DCP方法提高整体形象的亮度,但在overenhancement MSRCP方法结果,而DCP方法显示了一个在边缘地区overenhancement效果显著。相对于其他方法,SRIE方法和该方法平衡颜色信息和亮度信息,从而实现良好的增强效果。然而,SRIE方法无法实现统一的结果图像交替亮区和暗区,导致劣质总体性能相比,该方法。关于当地的细节,在划定的图片框,DCP方法导致overenhancement和顺向噪声边缘。CVC和存贷比方法导致underenhancement CegaHE和MSRCP方法导致当地overenhancement SRIE方法在一些地方产生阴影。相比之下,该方法没有过度放大的噪声在黑暗地区增强的图像而显著增强地区需要强调没有overenhancement,从而实现卓越的清晰度,对比,和图片的颜色。

进一步比较不同算法的处理效果,我们还测试了算法在人工合成图像,如图16。在这个图中,(一个)显示两张图片获得适当的照明下,和(b)显示相应的光线暗的图像,通过伽马变换(合成2)的价值。(碳氢键)使用不同的方法获得的图像增强的结果。结果表明,该方法可以自适应增强光线的亮度区域而抑制high-illuminance的地区,和增强效果是一致的与观察上面提出的实际图片。

4.2。客观的评价

因为不同的方法集中在图像的不同方面,主观评价可能是偏见(40]。因此,我们采用一些客观的评价标准,进一步研究不同方法的处理效果。我们采用均方误差(MSE),峰值信噪比(PSNR)和结构相似度指数测量(SSIM)作为客观评价指标进行比较和评价41]。客观评价数据对应的图16如表所示1,最好的结果是斜体。

进行一个更一般的测试,我们受到许多合成图像处理的各种方法,包括CegaHE [38],CVC [16),异地恋(39),DCP (24],EFF [42],MSRCP [21],SRIE [22),该算法。一些实验结果如图17,图(17日)显示了原始图像,图17 (b)显示了人工quality-reduced图像和数字17 (c)显示结果如图增强后的图像17 (b)。客观评价指标通过基于这些图像的各种方法如表所示2的值表示最好的性能是斜体。

表1和2表明,使用该方法生成增强的图像最密切匹配方面的原始图像灰度值的分布和结构。该方法大大优于其他方法的综合效应,产生最好的结果。这些结果表明,该算法可以减少不均匀光照对图像的影响,实现有效的校正图像的不同场景下获得不均匀照明。

4.3。计算复杂度

比较上述方法的计算复杂度,我们测试的方法在MATLAB图像大小不同的实验环境并报告计算的平均运行时间从20操作相同大小的图像。表中给出的结果3表明SRIE方法计算效率最低,当处理一个单一的形象,需要242.22秒来处理图像 像素,CVC, MSRCP DCP, EFF,该方法都需要类似的秒来处理同一幅图像。随着图像的大小增加,MSRCP方法处理时间的增加更加迅速,而其他方法的线性增加。该方法需要至少运行时,因此时间复杂度最低。

4.4。自适应性的方法

我们也测试方法在图像获得极低的照明以及获得的图像在正常光照条件;实验结果如图所示18。在前面板的图中,第一行包含原始图像获得极低的照明下,第二行显示了相应的增强的结果。

增强的图像获得的结果表明,在极低的照明下,已提出了巨大的挑战在图像处理领域,尽管该方法的增强效果不满意,没有块状效应不存在恢复图像;从这个意义上说,它们是符合人类的视觉感知。在底部面板的图中,第一行和第二行显示图像获得在正常照明和相应的增强结果使用该方法,分别和图像获得的结果表明,在正常照明条件下,该方法的处理结果是相同的原始图像,表明该方法可以自适应地调整其参数不同的场景,从而显示了良好的鲁棒性和适应性。

5。结论

在本文中,我们提出一个基于当地伽马变换的彩色图像校正方法和颜色补偿。illumination-reflection模型是采用解决问题的地方overenhancement在光线暗的图像由于光照不均和缺乏适应性的参数设置中遇到以前的方法。首先,我们最初的RGB彩色图像转换为YUV彩色空间和提取的照度分布的场景组件使用引导滤波函数。然后,我们执行照度增强基于自适应当地伽马变换和动态范围的扩张。最后,我们增强图像的色彩饱和度。对比该方法和其他传统算法表明,该算法不仅可以有效地提高处理图像的视觉效果也在黑暗地区显示更详细的信息。因为该算法使用场景的照明组件的分布特征来动态调整伽玛函数的参数,它可以有效地提高图像的视觉质量,允许更好的识别细节曝光过度和曝光不足的地区形象。

数据可用性

部分或全部数据、模型或代码生成或使用期间的研究可从相应的作者请求王(欧文)。

的利益冲突

作者宣称他们没有利益冲突的相关工作。

确认

这项研究由山东省自然科学基金资助(没有。ZR2019FM059),山东大学青年创新科技计划(2019号kjn012)和中国国家自然科学基金(61403283)。