文摘

本文提出了图像质量评价指标(以)通过考虑梯度,视觉特点,和颜色信息。视觉特点和梯度信息两种类型的有效的质量评价特性研究。不同区域内的图像不均匀对以很重要。视觉特点可以找到最具吸引力的地区人类视觉系统在一个给定的图像。这些有吸引力的图像区域和图像质量关联性更强的结果。此外,退化梯度信息相关的结构畸变图像质量的一个非常重要的因素。然而,这两种类型的特征无法准确评估图像的颜色失真。为了评估彩色失真,本文提出了颜色相似度测量在YIQ颜色空间。的计算方法始于当地的相似性计算梯度信息,视觉特点,和颜色信息。然后,最后的质量得分是通过每个相似组件的标准偏差。 The experimental results on five benchmark databases (i.e., CSIQ, IVC, LIVE, TID2013, and TID2008) show that the proposed IQE method performs better than other methods in the correlation with subjective quality judgment.

1。介绍

图片可能会扭曲了其他不相关的信号在采集、传输、加工(1]。为了区分产生的图像的质量,可靠的质量评估标准是必要的。此外,图像处理算法和系统需要的图像质量评价(以)算法来评估他们的表现。因此,以成为图像处理领域的一个关键问题(2]。

因为人类视觉系统(HVS)的最终接收图像信息,图像质量是一种主观的感知结果HVS (3]。因此,以最可靠的方法是主观的方法,这意味着一个图像的质量决定通过大量人类观察员的评价(4]。主观以方法可以提供可靠的评价结果符合人类主观感受(5,6]。但这种方法需要人工参与,这是一个昂贵和耗时的操作。此外,它不能用于实时系统(7]。

目的以研究旨在设计质量评价算法,可以自动计算结果(质量8- - - - - -12]。根据参考图像信息的可用性,以方法可分为三种类型(6]:全部参考(FR)不(NR)和reduced-reference (RR)。本研究主要讨论FR-IQE问题可视为之间的相似性(或相关)计算一个测试图像和相应的参考图像在视觉感知的感觉13]。

FR质量评价的传统方法是均方误差(MSE)和峰值信噪比(PSNR)。然而,这两个指标没有考虑HVS的知觉特征,所以他们的评估结果不符合人的主观判断14- - - - - -19]。在过去的二十年里,许多以模型提出了利用HVS特性,如结构信息,对比(20.),频率(21),和梯度信息(22]。在前面提出的图像质量指标(IQMs),结构相似度(SSIM)是最广泛的影响力6]。SSIM的假设是基于HVS更敏感的给定图像的结构信息。结构信息主要是指图像的边缘和轮廓信息,这是比其他信息可信度更敏感。此外,SSIM可用于从图像中提取边缘和轮廓信息。

以图像结构信息是非常有效的,所以更多的研究者有所改善和扩展原始SSIM,例如,多尺度SSIM (MS-SSIM)方法(23),结构相似度(SSIM content-partitioned)方法基于内容细分,复杂的小波域结构相似度(CW-SSIM)方法(24),和信息内容加权SSIM (IW-SSIM)方法(25]。除了SSIM,梯度信息是另一个有效的方法来反映结构信息。特征相似(FSIM)结合相位一致性梯度大小相似的地图和使用基于加权池法来获得最终的质量分数(26]。图像梯度是一个受欢迎的特性,因为它可以有效地捕获图像局部结构,HVS高度敏感。pixel-wise梯度大小相似度偏差(GMSD)之间的相似性计算参考和扭曲图像的梯度,然后计算一些额外的信息(27]。

然而,信息不能反映结构之间的颜色变化参考图像和失真图像,上面以使用结构信息的方法不能准确地评估图像的颜色失真。此外,越来越多的彩色图像被广泛用于我们的日常生活中,和颜色信息包含视觉感知的重要信号。因此,应该考虑颜色信息来改善以方法的准确性。为了从图像中提取颜色信息,本文提出了颜色相似(CS)是衡量图像从RGB颜色空间转换到YIQ颜色空间(28]。

此外,视觉注意力机制是一个非常重要的角色在视觉观察,和视觉特点(VS)信息是另一种提高评价以方法的性能。在一般情况下,本文提出了一种以模型通过使用VS,梯度相似性(GS)和CS。GS模型是用来从一个给定的图像中提取结构信息。VS模型用于查找重要区域图像中给出更多的重量而评价图像的质量。与此同时,CS模型是用来评估的彩色图像扭曲29日]。在CS模型,图像从RGB颜色空间转换到YIQ颜色空间,和I和Q CS计算色度通道。此外,融合技术提出了GS的计算。简单的以结构提高了预测的准确性的形象。

本文的其余部分组织如下。该算法的详细计算过程将在第二节。然后,介绍了实验结果,结果的比较,讨论在第三节。最后,本文的结论是在第四节。

2。方法

也像大多数以方法,该方法利用两级框架。具体地说,它主要包括以下步骤。首先,图像转换为YIQ颜色空间。第二,当地GS、本地CS和全球VS相似(VSS)计算。然后,三个相似组件形式的加权结果最终的质量分数。该方法的框架如图1。

如图2,VS和GS失真非常敏感,因为我们可以很容易地找到从人物形象的扭曲的部分2 (e)和2 (f)。因此,我们的研究试图处理以问题结合视觉注意力模型和梯度信息。

参考图像和失真图像首先被转换成另一种颜色空间。在这种颜色空间中,亮度和色度信息可以分离。颜色信息的感知是一个复杂的生理和心理的过程。定量测量的信息可以提供的颜色空间模型。YIQ颜色空间有以下优势其他颜色空间。YIQ颜色空间与RGB空间的线性关系,这不仅适应光强度的变化,也需要很少的计算。此外,符合HVS的色彩感知机制,YIQ颜色空间可以单独的颜色和亮度信息。因此,选择YIQ颜色空间。RGB空间转化为YIQ空间由以下方程: 在哪里 , ,和代表亮度、色调和饱和度频道信息,分别。除此之外,和包含图像的颜色信息。

2.1。梯度相似性

梯度函数可以找到最大的方向增加。图像的边缘总是有大的梯度值。相反,当图像平滑部分,梯度值小。在离散域,我们通常可以计算梯度幅值基于一些运营商和利用相邻像素之间的差异近似图像函数的导数。经典图像梯度算法,图像中每个像素的变化通常被认为是,第一或二阶导数的相邻边缘的梯度算子用于设置原始图像。一般而言,小区域模板用于卷积计算。这些操作符近似图像的梯度信息在垂直和水平方向的卷积计算,为代表和 分别。因此,我们可以获得的公式计算图像梯度信息,如下所示: 在哪里和代表了梯度算子在图像的水平和垂直方向,分别代表卷积算子。

在本文中,我们使用以下普瑞维特过滤器来检测图像的边缘:

梯度信息的亮度级吗通道,可以通过以下方程:

然后,参考图像和失真图像的梯度信息获得的普瑞维特算子。最后,GS的计算公式如下 在哪里和代表亮度通道从参考图像和失真图像,分别参数是一个常数控制数值稳定性。

在图像处理的研究中,梯度信息被广泛使用。然而,在许多情况下,图像结构的感知可信度大大偏离了结构性变形梯度的判断。事实上,上述公式不能有效地反映图像的边缘特征。因此,参考图像和失真图像的边缘特征在这个模型不能有效发挥作用。这个缺陷提示我们提出一个新的GS映射方法。

传统GS的以上不足主要是由于计算的和是相互独立的。因此,我们把参考图像和失真图像之间的相关性的计算GS地图通过融合技术。首先,融合图像, ,通过加权平均得到的和 。在以下公式,重量参数是通过大量的实验。 在哪里代表了融合图像。

然后两个额外的GS计算如下: 在哪里和是维护稳定的常数的公式。注意,方程(7)和(8)通常是不平等的。

最后,GS的结果, ,可以计算如下:

2.2。视觉显著相似

我们使用光谱残留方法来生成图像视觉意义。该方法提取输入图像的谱残差谱域,和视觉意义生成基于空间域的映射。光谱残留方法具有明显的优势的萃取效果,与其他方法相比计算复杂度。我们不能评估模型的显著图基于原始图像的大小,但模型的评估和降低分辨率。VSS的信息, ,计算如下: 在哪里是一个常数,然后呢是一个函数从图像中提取显著信息。VS的结果可以使用各种计算和模型,例如,GBVS [30.,老31日]目的[32],SDSP [33]。性能和效率的原因,SDSP模型用于计算VS。

2.3。颜色相似

此外,我们必须考虑一种特殊情况。颜色变化之间的参考图像和失真图像不能反映在图像的结构信息。因此,测试图像的颜色特征需要考虑。之前的研究使用CS地图来表示图像颜色差异(34,35]。基于这些研究成果,我们设计以下CS计算步骤。

让和表示两个色度通道颜色空间类型。计算机科学的和通道(和 )可以计算出以下方程: 在哪里和是常数,这是用来控制数值稳定性。

最后,CS的结果, ,通过合并计算和 。

2.4。池阶段

当地的GS、CS和全球VSS集成通过加权平均计算。然后,最后的质量分数是来自这三个组件。计算公式如下: 在哪里的标准偏差函数矩阵,和分别代表当地的权重GS和CS。此外,根据我们的实验,达到最佳性能 和 。

3所示。实验

是在五个数据库上进行实验比较,包括CSIQ [36,生活6),印度河流域文明,TID2008 [37],TID2013 [38)数据库。总结了5个数据库表1。在所有这些数据库,这些数据库中的所有图像由许多观察家主观评估,和评价的结果统计处理和变成主观评价分数,也就是说,平均意见分数(MOS)或不同的平均意见分(DMOS结构)。金属氧化物半导体或DMOS结构总是作为客观评价量表来测量图像质量。

本文以方法的性能和比较如下:PSNR值方法,SSIM [6),VIF (VIF-p) [13],IW-SSIM [26],DualCNN [39],DRF-IQA [40],VSI [27),而本文提出的方法。为了简明地表示该方法,我们的名字是GSC (gradient-saliency-color)。

8以方法五个数据库上进行了测试,结果进行分析和比较。本文选择以模型的评价标准由VQEG提供。通常认为图像测量的客观评价和主观评价的图像有一些特定的非线性关系,和自然纹理和边缘信息的图像是高度结构化的,奇异特征。逻辑回归函数为非线性函数: 在哪里 , , , ,和代表了五个回归模型的拟合参数。

我们使用皮尔逊线性相关系数(PLCC),斯皮尔曼等级次序相关系数(罢工),肯德尔排序相关系数(KROCC)和均方根误差(RMSE)通常采用测量IQA模型的性能,因此,实验也用的四个标准验证。

PLCC用于指示之间的关系主观评价和客观评价预测的准确性以性能。SROCC用来衡量客观评价之间的一致性(预测值)和主观评价的价值。KROCC, PLCC相似,可用于测量模型的非线性和线性相关。RMSE代表客观评价之间的均方根误差值和主观质量评分。的价值范围PLCC SROCC, KROCC [1]。PLCC的绝对值越近,SROCC KROCC是1,更好的线性级相关模型和精度越高。RMSE值越小,模型的预测效果越好。

表2显示了GSC的评价结果和其他7古典IQMs 5常用的数据库。两个最好的结果以粗体显示。从表可以看出2GSC执行的性能大大超过他们CSIQ,印度河流域文明,TID2008, TID2013数据库。根据实验结果,本文7 IQMs通常比PSNR和SSIM方法,和VSI和GSC相当的性能。此外,GSC评价本文算法不仅更符合HVS对图像质量的主观知觉特征还具有明确的物理意义。

为了提供一个更直观说明,图中的散点图3显示了主观和客观评分的六个以CSIQ数据库中的方法。这些方法包括PSNR, SSIM、VIF-p IW-SSIM, VSI和GSC。散点图中的每个点代表一个测试图像,和红色曲线是根据逻辑回归函数。

相对应的散点图好以方法应该具有良好的收敛性和相关性。点和拟合曲线之间的差距反映了模型的相关性。两者之间的差距越小,模型的相关性就越高。如图3的目标分数GSC与主观评分更强的相关性。可以看出GSC的聚类点拟合曲线更接近,这证明了更好的性能。

表3显示每个失真类型的SROCC结果在生活,CSIQ, TID2013数据库。对于每个失真类型,前两名SROCC结果得分8 IQMs以粗体突出显示。有35失真类型的生活,CSIQ,和TID2013数据库,我们可以看到GSC一直排在前两位共有27倍。

为了测试稳定性的性能在不同的失真类型,四种类型的失真图像是来自生活,CSIQ, TID2013。与其他IQM相比,GSC性能优良在JPEG压缩(JPEG), JPEG - 2000压缩(JP2K)和高斯模糊(GB)失真。图4的直方图显示SROCC 8 IQMs四种失真类型的结果,我们可以看出GSC不仅计算精度高,但也有非常稳定的性能。

在表3对比变化,大多数以方法表现不佳(CC),色彩饱和度的变化(CCS),和图像的颜色量化和抖动(ICQD) TID2013数据库,因为这些方法忽略颜色信息之间的相关性和质量失真。与其他IQMs相比,因为GSC使用CS地图来表示颜色差异扭曲和参考图像的颜色空间转换,GSC可以给更准确的感知质量分数在评估颜色失真图像。

进一步检查是否GSC的优点是实现了从VSS提议,GS,或CS,如表4所示,我们也进行烧蚀实验。拟议的GSC(例如, )衡量图像质量监控系统通过集成的影响,GS,和CS在一起,达到最高的性能, 和 TID2013数据库中。

为了比较的计算速度,我们比较GSC所需的时间和其他以方法来计算一个图像。表5清单9的运行时间以模型尺寸的图像 。实验进行一个核心i5 3.40 GHz CPU和16 GB的内存。实验是在MATLAB中实现2017 b。从表可以看出5与其他以方法相比,GSC最快的三个IQMs和效率有很大的优势。

4所示。结论

在本文中,我们提出了一种新的FR以模型,基于GS, VSS和CS的图像。GS措施局部结构的变形,VSS反映了视觉吸引力的失真图像在一个给定的区域,和CS考虑图像的彩色失真。三个部分提高该方法的准确性,使该方法更接近人类的视觉评估。实验结果在五个图像数据库(CSIQ、生活、印度河流域文明、TID2008 TID2013)表明,我们的方法是相关的主观质量评价。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

我们应感谢审稿人和编辑,以及所有员工做出了贡献,这手稿。这个项目是由中国国家自然科学基金支持下批准号61502435和河南省的科技项目。192102210136也没有。212400410154。