文摘

传统去噪算法不能有效处理这些图像具有不同模糊强度和颜色偏差。特别是对于水下操作,图像不清晰,使得运营商很难作为代理。为了解决这个问题,本文提出一种明亮的颜色补偿和融合方法。水下图像增强算法使用网络生成对策(甘)。首先,原始图像使用明亮的颜色补偿渠道获得color-compensated形象;然后,执行自适应对比度拉伸color-compensated形象与高对比度获取清晰的图像。从实验可以看出,PSNR的海洋景观图可以达到21.9329,和SSIM可以达到0.7329,可以为水下图像增强领域提供有用的帮助。

1。介绍

水下图像广泛用于海洋环境、工业和军事领域,但是由于影响。水下图像的退化的质量往往会影响应用程序的准确性,当用于水下图像识别和理解(1]。可用资源的减少在陆地上,海洋资源的开发和利用已经成为人类的一个紧迫问题。近年来,水下机器人已广泛用于海洋资源勘探等领域。由于复杂的水下环境,水下机器人的图像往往严重退化,主要形式的模糊、低对比度、颜色偏差等。2,3]。水下增强方法包括明亮的颜色补偿和融合和多尺度Retinex频道。这些方法使用客观的措施来增强水下图像的质量不考虑水下成像的物理过程,不适合水下成像具有不同物理特性和增强过程中可能导致更明显的噪声(4]。然而,由于不同波长的光在水下的衰减系数是不同的,DCP算法不能实现预期的结果直接用于水下图像恢复。水下增强方法包括明亮的颜色补偿和融合和多尺度Retinex频道。这些方法使用客观的措施来增强水下图像的质量不考虑水下成像的物理过程,它是不适合水下成像具有不同物理特性和可能导致更明显增强过程中噪声(5,6]。水下图像恢复方法依赖于水下成像模型和考虑水体光学参数的影响,相机参数,水体点扩展函数,在水下成像场景距离最后获得一个清晰的水下图像的逆解(7]。

非物质基于模型的方法实现图像增强通过调整图像像素值来增强视觉感知。近年来,金字塔的注意机制已成功应用领域的语义分割(8,9),金字塔结构的组合和注意力机制可以获取更丰富的高级特性和更好的学习图像细节,从而有效地提高模型的性能(10- - - - - -13]。

本文提出一种明亮的颜色补偿和融合。水下图像增强算法使用生成对抗网络(甘)。使用明亮的通道对原始图像进行颜色补偿获得color-compensated形象;对color-compensated执行自适应对比度拉伸图像获得一个清晰的图像和高对比度。

2。相关工作

水下图像广泛用于海洋环境、工业和军事领域,但他们通常遭受贫穷的清晰,对比度低、噪声和严重由于水下光吸收的影响,散射,悬浮粒子(14]。文献[15)图像模糊和使用光吸收来估计背景光的透光率图和改进估计优化复苏的效果。然而,大多数这些水下的复苏方法只考虑透光率的估计地图和背景光,忽略了大量的噪声和边缘的影响在水下图像恢复结果(16,17),所以它可能加剧图像的噪声,甚至破坏了原始图像的边缘信息(18,19]。

例如,在[20.- - - - - -23),wavelength-dependent补偿算法结合图像除雾水下图像恢复算法,可以有效地消除水下的蓝绿色色调图像和人工光源的影响。在[24),一个完整的变分Retinex (TV-R)模型提出了基于电视规则术语。在[25),提出了一个新的分数阶变分框架方法通过改变规则的数量从整数阶分数阶,同时引入外地运营商。

3所示。本文算法

3.1。基于拉普拉斯算子的变分恢复模型

水下光学成像模型可以表示为在自然光照条件下 在哪里 是获得水下图像; 每个通道的透光率图; 是未经碰撞的水下图像;和是环境背景光。基于 - - - - - -基于变分模型雾蒙蒙的天空图像恢复,方程(1)变形: 。基于光传播在水中有不同的衰减率的红色,蓝色,和绿色颜色(红色是最大的;蓝色和绿色是第二大),这是不同于雾蒙蒙的天空图像的成像过程,我们添加一个约束项调整水下图像的颜色失真,从而建立水下图像恢复的能量变分方程,即

3.2。背景光和透射率估计地图

背景光的准确性评估的结果可以直接影响水下图像恢复。自适应红色通道先验(电弧)算法考虑了三个水下通道的衰减系数之间的关系,描述了高强度像素的水下图像的饱和度,并估计基于绿色背景光,蓝色,和反向红色频道,饱和度和信道估计被定义为红色

确保背景光估计的准确性,红色通道的原始图像地图计算根据方程(4) 。所有的像素值 3 - layer频道排序从最大的到最小的,和相应的坐标点上0.1%的像素值分别计算,然后,相应的像素值被发现在3频道根据点的坐标,并计算像素的平均值在该地区被用作背景光的价值观不同的渠道:

自从信息损失发生在解决水下图像成像模型,损失的信息量是透光率成反比 ,和红色通道的衰减系数是最大的,所以可以减少信息损失的估算红色通道透光率先验地图。基于红色通道先验,透光率获得红色通道的地图

透光率的衰减系数与波长的地图不同渠道的水下图像可以表示为

基于预测的透射率的比值的红色通道地图和衰减系数,绿色和蓝色通道的透光率地图重新估计获得

三个水下图像选择和各自的红色通道透光率方程,得出了地图(7),如图1显示了三个退化的水下图像和估计的红色通道透光率地图和估计的背景光值的红色通道先验的方法。

3.3。小组ADMM变分算法恢复模型

提出的变分模型使用小组ADMM数值求解算法的迭代模型拉普拉斯算子来改善其收敛速度:(我)辅助变量 介绍了,取而代之的是吗 ,根据小组ADMM分别分配解决方案方法;能量方程(2)转换成 在哪里 非负惩罚参数; 拉格朗日因子。(2)解出 (1)修复 来解决 。欧拉方程为是 (2)修复 解出 ,欧拉方程为是 (3)修复 和解决 ,欧拉方程为是 (4)修复 和解决 。使用变量的广义软阈值公式 ,计算机解析解的表达式 (5)修复 解出 ,并利用广义软阈值公式求解的变量 。计算机解析解的表达式 (3)更新拉格朗日乘数

4所示。FPAGAN增强模型

算法以成对的水下图像作为训练数据,构造一个多项损失函数来提高网络模型的输出,最后获得水下图像改善之下,鲜艳的色彩,通过训练网络模型和清晰。

4.1。模型结构

FPAGAN(生成对抗网络特性金字塔关注)提高退化的水下图像通过使用编码器和译码器来提取图像特征,结合特征金字塔关注模块。FPAGAN的结构分为两个部分:生成网络和歧视的网络。FPAGAN的网络结构和数据处理流程如图所示2。

4.2。建筑的损失函数

摘要FPAGAN模型优化生成网络的对抗训练和歧视的网络,和网络的优化过程对应于损失函数的优化。敌对的网络的损失函数 在哪里表示判别网络;表示生成网络;和表示的数学期望。

在模型训练过程中,判别网络更新一次,然后,发电机网络更新一次,以防止模型梯度消失。模型达到动态平衡时,判别网络不能区分生成的图像和参考图像,然后,一个清晰的水下图像。为了减少人类的干涉输出图像,三个方面是本文即全球相似性,图像内容和颜色感知损失。

全球相似性损失:现有的方法表明,添加目标函数允许生成网络的损失学习全球图像之间的相似性。自损失是不容易引入歧义,a损失项添加到目标函数: 在哪里表示退化的水下图像;表示图像的退化图像的引用。

颜色知觉损失:损失项便利生成增强图像与参考图像颜色相似,定义如下: 其中下标 表示红色、绿色和蓝色通道的图像,分别。

FPAGAN使用多项损失函数对网络模型学习,有利于加速收敛的网络参数,提高了模型的鲁棒性。目标函数是通过线性叠加的敌对的损失 损失函数,content-aware损失 ,和color-aware损失获得 在哪里 表示比例因子,它被设置为0.6,0.3和0.1,分别根据经验。

5。实验装置

实验是在Windows操作系统下,实现基于Tensorflow和Keras深度学习的开源框架。电脑配置如下:NVIDIA GeForce RTX2070 Max-Q GPU (8 GB),国米酷睿i7 - 10750 h在2.60 GHz CPU和16 GB的RAM。

在这篇文章中,所有训练样本的大小减少 和规范化区间[1];batch_size 8;五种不同大小的卷积内核中使用了网络模型, , , , ,和 ,分别;此外,三种不同的非线性激活函数被用来提高模型的泛化能力。此外,三种不同的非线性激活函数是用来提高模型的泛化能力。

5.1。分析和讨论

测试集分为测试集和测试集测试设置一个包含46个水下图像与参考,和测试集B包含23个水下图像没有参考。验证设置一般用于训练过程,可以验证和增强效果验证设置每个时代后,为了找到问题的模型或参数并验证模型的泛化能力,这样我们就可以及时做出对策。培训后的测试集通常使用评估最终的训练模型的性能。

为了验证本文算法的有效性,我们比较他们与现有的水下图像增强方法,包括非物质基于模型的方法(GC)、物理(UDCP LDCP)基于模型的方法,和数据驱动方法(UWCNN FUnIE-GAN),通过大量的实验。本文首先分析了FPA介绍模块的有效性,然后,上述算法的实验结果比较定性和定量测试集和测试集B,分别。

为了证明的有效性FPA模块添加到生成网络,比较该模型和氮化镓模型没有FPA模块执行。这两个模型是一致的的训练集和hyperparameters的值。主观实验测试集的结果如图所示3。

如图3,GAN模型没有FPA模块可以有效地正确的蓝绿色色调的水下图像,但与此同时,它引入了淡黄色的颜色,和整体形象是黑暗,可怜的增强效果。本文算法的特性和上下文信息的图像,这有效地提高了图像的视觉感知,纠正颜色偏差,提高了对比度。

进一步验证的有效性FPA模块,两个模型的性能在测试集和测试集B是定量分析。首先,两个全部参考评价指标,即PSNR和SSIM考虑。其中,PSNR和SSIM值越大,越接近亮度,对比度,图像中包含的总体结构和信息评估的参考图像。其次,三个metrics-UIQM nonreference图像质量评价,即和NIQE-were考虑。定量分析的结果如表所示1和2。

实验结果表1表明添加FPA模块之后,增强水下图像和参考图像之间的失真比较小,亮度,对比度,和图像的结构信息是接近的参考图像。

实验结果表2显示增强的水下图像nonreference性能更好的图像质量评价指标后添加FPA模块。

为了验证该算法的有效性,进行了几个实验测试设定一个比较该算法与现有的水下图像增强方法(包括GC, UDCP, LDCP、UWCNN FUnIE-GAN)定性和定量。定性比较分析结果不同的方法测试设置如图4。可以看出,非物质基于模型的GC方法没有充分增强图像,导致轻颜色和图像的成雾。相比之下,物理模型方法(UDCP LDCP)介绍意想不到的颜色,和图片显示红色或蓝色的偏见。反过来,一个轻量级的卷积神经网络模型的目的是提高水下图像,有效地去除成雾和提高清晰度,但引入了一个黄颜色的偏见。

为了进一步验证本文算法的性能,两个全部参考图像质量评价指标、PSNR和SSIM与上述方法用于定量的比较和分析。不同方法的定量分析的结果如表所示3。从表3,我们可以看到,该算法优于其他算法在PSNR和SSIM评价指标比较,表明该算法可以有效地恢复图像中的信息,提高对比度,使获得的图像更真实和自然。

为了更准确地评价这个算法的性能,该算法之间的定性和定量的比较和上面的水下图像增强方法进行了测试集B的定性比较分析不同方法测试集B如图5。如图5 (b)虽然GC方法纠正颜色偏差,它并没有完全消除水下图像的蓝绿色色调,成雾的效果。从数据5 (c)和5 (d),可以看出物理模型方法对水下图像显示曝光和介绍了红色和蓝色的颜色偏差。如图5 (e),该方法在文献[12)改进余地的图像亮度和阴霾。如数据所示5 (f)和5 (g),方法(17)和本文算法有更好的表现的蓝绿色色调校正,锐度增强,图像的视觉感知。然而,本文算法性能更好的色彩校正,除雾,和视觉感知,获得图像更清晰、更自然。因此,本文算法具有更好的泛化性能。

为了客观地验证本文算法的性能,四个nonreference图像质量评价指标,UIQM,即NIQE,和梯度correlation-based (OG-IQA)图像质量评估,评估和比较选择上面的水下图像增强的方法。即是一个很重要的指标,在一个图像的丰富信息,和值越大,图像越丰富。OG-IQA使用相邻的梯度之间的关系来描述图像的失真程度,值越小,图像质量越好。的平均分数不同的方法对每个评价指标如表所示4。

表4表明,除了NIQE评价指标,其他三个评价指标的值,该算法优于对比算法。例如,这个算法的UIQM评价指标高于比较算法,一个值为2.9457,这表明该算法可以有效地提高图像的对比度和清晰度和正确的颜色偏差。IE和OG-IQA评价指标的值是4.6925和-0.8002,分别标明增强的图像包含更多的信息,减少失真,提高视觉质量。

6。结论

本文着重于低对比度和色差的海洋水下图像和研究海洋水下图像增强的具体方法。在这篇文章中,神经网络用于增强。提出了一个明亮的颜色补偿和混合方法。水下图像增强算法使用氮化镓。定性分析和定量分析取得了良好的效果。因为图像颜色补偿基于明亮的通道以明亮的通道的平均值为红色的估计价值,海洋景观图不仅具有低对比度和颜色失真还有各种退化图像由于水浊度和景深的变化。

数据可用性

使用的实验数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称,关于这项工作他们没有利益冲突。

确认

这项工作是由大脑韩21个项目的资助主要大学和学生(BK21四)MADEC海洋Designeering教育研究机构。