通过梯度图像插值Correlation-Based边缘方向估计

文摘

介绍了一个图像插值方法,提供了最先进的算法性能优于。简单的线性方法,如果用于插值,提供插值模糊为代价的,参差,和其他构件;然而,应用复杂的方法提供了更好的插值结果,但有时他们不保留一些特定的边缘模式或导致oversmoothing的边缘由于初始插值后处理过程。该方法使用基于一个新的梯度的方法,使一个聪明的决定基于边缘方向使用图像的边缘地图和渐变映射和篡改未知像素使用已知的像素强度预测的方向。输入图像进行有效磁滞thresholding-based边缘地图计算,其次是插值的低分辨率边缘地图获得高分辨率边缘地图。边缘插值后跟分类未知像素映射到明显的边缘,均匀区域,使用决策支持系统和过渡边缘。系数插值涉及梯度系数和距离系数应用于明显的边缘像素的高分辨率图像,而过渡边缘附近的一个明显的优势是提供均匀插值插值在同一个方向。简单的线条均应用于像素不作为边缘检测方法的复杂性降低。应用线平均平滑像素有助于控制算法的复杂性,而基于应用梯度插值保留边缘,因此以合理的复杂性导致更好的性能。

1。介绍

图像插值是用于生产从一个低分辨率的高分辨率图像。图像插值用于许多应用程序和图像处理领域1- - - - - -3]。现代显示屏的分辨率的增加要求artifact-free升级的视频和图片4]。电视行业,仍然是通过引进先进和高分辨率技术发展。从模拟到数字电视行业的发展,然后从HDTV SUHDTV增加图像/视频插值的重要性。视频需要插值产生愉快的经历的查看高分辨率显示的低分辨率的视频。视频基本上由一个序列的帧,每一帧是由一个图像。升级一个视频序列通常升级一系列帧。图像插值方法应该插入一个低分辨率的图像以这样一种方式,它不产生工件或几个工件提供愉快的观看体验。

图像插值是用于医学图像处理(5,6)增强磁共振影像(MRI),图像存档和通信系统(PACS),计算机辅助手术(CAS),数字减影血管造影(DSA)和计算机辅助诊断。在医学图像的采集,图像的缩放和旋转需要诊断和治疗的目的,和插值方法需要执行这些操作。

一个图像包含两个区域:统一的区域和边缘。插值的优势正确的最重要的要求是一个插值算法由于人眼对图像边缘非常敏感。工件的生产优势的结果在一个不愉快的观看体验。大部分的插值算法中突出的领域(6- - - - - -18)都集中在边缘的插值。这些算法的范围从简单的线性算法复杂edge-preserving方法。线性算法无法保留大部分的边缘,而复杂的算法保存边缘线性算法相比很好。然而,这些复杂的算法无法检测到某些边缘模式如薄边,有时产生工件沿边缘。

最近邻、双线性和双三次的(6)是最著名的简单方法,插入提供高效率的成本模糊,参差,沿着边缘平滑。Paik et al。10)交叉相关性使用水平和垂直方向向量失败恢复边缘不与预定义的水平和垂直的向量。Allebach和黄11)插值平滑区域沿着边缘使用双线性插值和应用数据校正。EDI的问题是其敏感性的纹理可以不合逻辑地生产工件沿边缘。董et al。12结合一个外地激进的模型与稀疏表示模型。稀疏表示方法提供了合理的结果,但他们总是time-inefficient。Sparse-based方法是基于字典的,他们改变本地图像强度和边缘等属性,以及引入构件沿边缘。老和山14)提出了一个方法,相关未知的邻居像素有六个模式和插入未知像素模式有最亲密的关系。这种方法的问题是,它使用16个像素为每个模式,和只有一个像素的主要变化以及适当的模式可能会导致拒绝模式。

一些研究人员提供特别有前途的领域的贡献图像插值。李和果园15提出了插值法新edge-directed插值(NEDI)。NEDI计算局部协方差系数从低分辨率输入图像,然后利用这些系数产生高分辨率图像几何系数之间的二元性的基础上的图像。然而,NEDI未能保护薄边缘或高频区域。

Giachetti和Asuni17]提出了迭代curvature-based插值(ICBI)方法,它提供了更好的结果比其他传统算法和保持边缘。ICBI是一个两步插值,它使用一个二阶导数在第一步第二步和最小化能量函数。最小化能量函数的改进边缘,这会导致oversmoothing的边缘。杨et al。13)和Timofte et al。18]在字典上优于插值算法。Timofte等人提出了一个固定社区回归(ANR)的方法,提供了一个更快的字典上优于插值方法相比,提出的杨等。基于字典的学习方法的问题是,信息图像代替使用字典规模有限,有时候改变图像属性如强度和边缘的形状。

本文提出了一种新的插值算法,基于方向梯度边缘插值(DGEI)。该方法分类的输入图像分成明显的边缘,过渡区域,和统一的区域。统一区域平均插值使用简单的线条,而DGEI应用于明显的边缘像素。DGEI预测的方向边缘和篡改未知的边缘像素的方向梯度高的相关性。过渡的边缘插入的方向相邻像素。该方法保留了边缘没有使用所有可能的预定义的边缘模式或最小工件。仿真结果表明,该算法提供了更好的结果和双三次的相比,NEDI ICBI,一定。

本文的其余部分组织如下。部分2描述了一些传统的方法。部分3描述了该算法。部分4描述了性能分析。部分5是结论。

2。传统的方法

在描述算法之前,NEDI ICBI, ANR简要讨论,因为他们是最先进的方法和提供良好的结果。

NEDI假设输入的低分辨率图像的大小直接来自于高分辨率输出图像的大小c与像素像素的关系 。因此,未知像素可以使用以下公式计算:

广义方程给药 在哪里和高分辨率的协方差。这两个和可以从图吗1。

NEDI的问题是,假设低分辨率图像和高分辨率图像是对称的。这种假设对于nonedges且平滑的边缘,但这不能插入有一个边缘的突然改变时,薄的边缘,或与纹理区域。

ICBI是一个两步算法,第一篡改图像的主对角线或辅助对角线方向基于二阶导数的最小响应。然后改进最初插值通过最小化三个能量条件 , ,和边缘锐利,工件去除,保留isolevel曲线。需要的能量函数最小化了

, ,和分别给出了以下方程。 在哪里

ICBI是能量的最小化的问题方面没有考虑已知像素的属性,这就是为什么它有时为低级升级生产工件(2 x)和大部分的时间高级升级(4或8 x)。生产的假isolevel曲线因为的能量函数与ICBI是一个问题。

ANR [18)是一种patch-based字典学习方法基于最小化以下函数: 在哪里集,由吗K最近的邻居的图像和输入功能γ。可以减轻病态问题的奇异性和稳定系数β。

ANR的问题是,它完全改变图像的一些性质如密度、生产工件的过渡地区,和不必要的图像的边缘。

3所示。该方法

这项工作的目的是提出一个方法提供artifact-free升级和保存图像的自然属性。图2给出了算法的流程图。该算法首先计算低分辨率图像的边缘图,首先计算梯度输入图像的大小然后应用滞后阈值获得一个低分辨率边缘地图 。 既包含明显的过渡区域由于过渡区域也有很强的梯度值。过渡区域和明显的优势是孤立运用nonmaximal抑制生产和 ,分别。高分辨率边缘地图和的大小通过处理和 ,分别。平滑像素受到应用程序的简单平均,而明显的边缘通过基于方向梯度插值处理。过渡区域内插的方向估计的邻近明显边缘像素沿着边缘和过渡区域提供一致性。

3.1。边缘检测

磁滞thresholding-based边缘检测用于边缘检测。滞后阈值(19- - - - - -24涉及到两个阈值的计算和并使用edge-map链接更好的正确检测和降噪相比单一阈值(25,26]。提出的方法Medina-Carnicer et al。21)是用于计算和因为它提供了合理的低和高阈值。

输入Medina-Carnicer方法的梯度图像通过应用水平和垂直Sobel算子(27]。

经过计算的和 ,低收入和high-thresholded边缘地图和得到了。包含所有明显的边缘和噪声边缘,而包含不完整的真正的边缘。对于每一个不完整的边缘 ,相应的连接边缘像素并添加到最终获得低分辨率边缘地图吗 。这样,真正的边缘都是来自而忽略噪声边缘,没有嘈杂的边缘的表示。

3.2。隔离转换和明显的边缘

边边的地图厚,过渡地区也有一些合理的梯度值和低阈值检测边缘地图。分离过渡从明显的边缘,边缘nonmaximal抑制应用梯度检测边缘位置。Nonmaximal抑制是一个精明的使用的技术(22]。该方法用于薄边缘通过选择对应于一个最大梯度值的边缘。精明的应用nonmaximal抑制梯度图像阈值。然而,该方法适用于nonmaximal抑制只有在边缘检测中的应用。Nonmaximal抑制应用于图像获取地图的优势有边缘的厚度只有一个像素。这些边缘被认为是明显的边缘,因为他们有一个最大梯度值在一个厚检测边缘。过渡地图对应的过渡区域可以使用计算

图3结果显示地图和过渡地图边缘的隔离。从图可以看出3获得的边缘地图使用nonmaximal抑制边缘厚度的一个像素。使用获得的方向包含一个小的错误的机会,因为一条边的方向可以更精确地预测如果边缘的厚度是一个像素。 ,另一方面,包含厚过渡区域,产生一个错误的概率很高,如果方向是获得单独的过渡区域。然而,很明显,从图3过渡的边缘,有相同的方向的吗 。因此,如果一个精确的方向的边缘像素预计,一个插值方向相同的像素周边过渡可以执行生产artifact-free形象升级。

3.3。插值边/过渡地图

这两个和受到简单的地图边缘插值。该算法高档优势/过渡地图,首先沿着行方向插值,然后沿列方向。行和列插值都遵循相同的过程。边缘/过渡地图大小用作输入边缘/过渡地图进行边缘/过渡沿着行方向插值为了获得row-interpolated边缘/过渡地图吗的大小 。的转置然后使用列的输入图像插值得到插值图像的尺寸吗 。内插的转置图像需要获得一个最终图像插值(或在过渡地图插值)的大小 。

一个3×3窗口移动在每一个未知的行。/过渡边缘像素的像素的三个方向(主对角线、垂直和辅助对角线)如图4被选中作为一个边缘像素/过渡。图5显示了应用边缘插值的结果 。

3.4。Gradient-Based方向估计

没有检测到的所有未知像素为边缘像素或过渡地区和使用简单的线条平均插值。信息已知的边缘像素用于估计未知的边缘像素的方向。未知的边缘像素然后沿着估计方向插值。未知的过渡像素中内插估计方向相邻的边缘像素的 。本节提供方向计算方法对未知的边缘像素 。

图6显示所有可能的方向,优势可能。这些方向包括水平、垂直、主对角线辅助对角线,凹,凹,凹向上和向下凹。每个未知的方向边缘像素是由使用八个可用的方向。

每一个未知像素都有某些情况下显示未知和已知像素的位置。评价方向,只能使用已知像素的属性。考虑到已知的像素属于一个奇数行和奇数列,3例显示已知和未知像素的位置。(1)甚至未知像素在一个行和列(2)未知像素在一个奇数行和偶数列(3)未知像素是一个偶数行奇数列

图7显示了三个案例为已知和未知像素的位置。每个案例中的红色圆圈显示未知像素中心,和蓝色的圆圈的位置已知的像素,而黑色像素显示周围未知像素的位置。即使行和列的情况下没有已知的像素和相邻的垂直和水平方向,和奇数行和偶数列的情况下没有已知的像素沿垂直方向,而奇数行和偶数列的情况下没有已知的像素沿水平方向。因此,第一个病例是六个可能的方向,而在第二和第三种情况下,可能的方向是7的数量。

该方向estimation-based方法使用边缘地图看是否一定方向是一个候选人方向,然后使用梯度相关性来确定像素可用于插值。某个方向不能选为候选人方向如果不遵循穿越条件,例如,如果一个想看到是否主对角线是一个未知的边缘像素的候选人,甚至在一个行和列。像素C31和C51应该边缘像素为了满足边界条件。如果这两个像素不是边缘像素,那么肯定不是沿着主对角线边缘。也为梯度相关性,需要参考梯度值因为梯度相关参考梯度之间的绝对差异与各自可能的像素的梯度方向。这些差异最终是否比阈值的相关性是否在要求范围内。每个方向都有自己的可能参考梯度的位置,自己的“必须边缘”条件满足边界条件,和自己的职位可能的方向。

表1显示所有所需的信息来估计未知像素的方向有一个更行和列的位置。步骤估计未知的边缘像素的方向(1)取一块9×9在未知的边缘像素。(2)四面八方,如果可能引用包含一个边缘像素,搬到步骤3,选择可能的梯度值的引用作为参考梯度。如果没有一个可行的参考方向有一个优势,忽略这个方向作为候选人的方向。(3)如果方向遵循“必须边缘”状态表1,选择这个方向作为候选人方向和步骤4。如果“必须边缘”条件不合理,忽视这个方向作为候选人的方向。(4)的绝对差的梯度与参考“可能的方向成员”梯度计算梯度相关性。选择所有这些像素插值像素的梯度相关不足 。(5)在所有候选人的方向,选择有更多的像素的梯度的方向相关性不到的价值T。他们的梯度相关存储在一个数组 。 将被用于计算插值系数。

方向估计的未知的边缘像素的位置奇数行和偶数或奇数行和偶数列列可以以类似的方式使用计算表2和3,分别。

3.5。使用估计方向插值

一个边缘像素可以替换使用 在哪里 , ,和图像强度、梯度系数和系数的距离像素的梯度相关不足T。和可以计算使用

在这里,和是参数选为模拟的结果。的变量x和y在方程(12)是x定向和y定向距离中心像素的像素。不需要动态地计算对于每一个像素。这是因为每个像素在一个9×9块位于一个固定的距离中心像素。因此,一个9×9系数矩阵只能计算一次,用于所有像素。 ,然而,需要动态计算每个像素,因为所有像素的梯度相关性是不同的。申请前和插值,都应该归一化系数,它遵循给定的条件:

插值后的边缘像素,周边地区需要扫描过渡的插值像素。如果边缘朝着零斜率或一些斜率的垂直方向,所有的过渡连接到左和右的像素扫描和内插在同一方向边缘像素。未知的过渡像素插值的向左或向右方向边缘像素是检查他们是否在一个行和列,奇数行和偶数列,或奇数行和偶数列和内插在这个方向上使用信息在相应的表中1- - - - - -3。过渡像素插值通过选择一个参考梯度,然后下面的步骤4和5以前的分段通过计算梯度相关性 ,使用选中的过渡像素的梯度作为参考。后计算和索引数组的成员 ,插值法可以应用于过渡像素使用方程(10)- (14)。然而,如果一个边缘在水平方向上移动,过渡像素连接到它的向上和向下的方向插值相似。一些特殊情况可能会发生在边缘像素的方向估计是垂直或水平;然而,一些邻国过渡像素所在,他们没有已知的垂直或水平像素。在这种情况下,过渡像素插值使用的均值两个最近的像素使用线平均在那个方向。

4所示。结果

4.1。主观的评价

该方法与双三次的相比,NEDI ICBI, ANR方法运用算法对灰度图像中提供(28]。主观和客观评估的算法都是为了执行定量比较不同的方法创建的图像的质量和相关的计算成本。Matlab 2018 b的抽搐toc函数是用来计算执行时间。双立方插值使用MATLAB应用内置函数命名interp2,而NEDI的源代码,ICBI,和ANR请李教授提供的新教授安德里亚·Giacheti分别和杨博士。

图8显示一些裁剪区域的灰度测试图像高档的两倍。输入图像首次缩减规模的两倍,然后所有算法应用于缩减规模图像到看到他们是否保留扭曲的边缘。可以看出,双三次的和NEDI算法未能保持边缘。ANR提供一些锐利的边缘,但改变了边缘结构和强度的补丁。ICBI保存边缘;然而,它oversmoothed边缘细化的后处理步骤,见图8 (j)。该方法保留了边缘与其他算法相比,也有效地保留边缘的对比度和形状。

误差指数(EI)定义了一个算法的误差累积级补丁和补丁的大小的计算 ,作为

在图误差指数计算出补丁9给出了在表4。误差指数ICBI方法和该方法该方法显示最低的优越的结果。ANR和双三次的EI最高,而NEDI提供了EI,比ANR和双三次的。

4.2。客观的评价

该算法比传统算法基于不仅主观评价,也客观的评估。表5显示了峰值信噪比(PSNR)比较所有20个图像的算法。平均而言,该算法提供了一个2.5181 dB高于双三次的PSNR值,0.959 dB高于NEDI, 0.594 dB高于ICBI和9.13 dB高于ANR。

表6显示了所有的CPU运行时间算法。CPU运行时间双三次的其他方法相比是最低的,因为它是一个非常简单的插值方法和函数interp2篡改图像使用MATLAB的墨西哥人编译器。平均而言,该方法比NEDI近9倍,比ICBI快2.61倍,1.2倍ANR。

5。结论

边的保护被认为是最重要的参数在图像插值。线性插值方法产生模糊效果而复杂的算法导致oversmoothed边缘或工件添加到图像。这些工件是后处理的直接后果进行加强或改进的插值图像边缘。本文基于一个梯度edge-preserving提出了插值法。该方法使用效率低和滞后阈值边缘检测为基础,边缘和过渡区域的隔离,简单的边缘插值映射,使用地图和渐变映射边缘方向估计,其次是基于梯度和距离系数插值。仿真结果表明,该方法提供了更好的性能对主观和客观的评估,同时准确地保留边缘和图像细节相比领先的替代方法。

缩写

ICBI:	迭代curvature-based插值
ANR:	锚定社区回归
NEDI:	新edge-directed插值
EI:	误差指数
PSNR值:	峰值信噪比。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

引用

1. 汗和d·李,“高效反交错使用简单的斜坡边缘跟踪方法,”光学工程,54卷,不。2015年10篇文章ID 103108。视图:出版商的网站|谷歌学术搜索
2. 美国Ng,“娱乐技术简史”IEEE学报》卷,100年,第1390 - 1386页,2012年。视图:出版商的网站|谷歌学术搜索
3. A . Amanatiadis和i Andreadis图像插值,调查评估方法”测量科学与技术,20卷,不。10日,316 - 324年,2009页。视图:出版商的网站|谷歌学术搜索
4. r·w·Kubey”电视和老化:过去、现在和未来,“的老年医学,20卷,不。1,第1004 - 998页,1980。视图:出版商的网站|谷歌学术搜索
5. t·m·莱曼完了,和k·斯皮策,“调查:插值方法在医学图像处理。”IEEE医学成像,18卷,不。11日,第1075 - 1049页,1999年。视图:出版商的网站|谷歌学术搜索
6. r·c·冈萨雷斯数字图像处理美国,新世纪,上台北,2009年。
7. 金,j·g·Kuk, n . i .赵“梯度引导反交错算法”学报》2012年19 IEEE国际会议上图像处理奥兰多,页853 - 856,美国2012年10月。视图:谷歌学术搜索
8. d·h·李,“一个简单、高性能edge-adaptive反交错算法非常低的复杂度,”学报2012年IEEE国际会议消费电子产品(ICCE)拉斯维加斯,页636 - 637年,NV,美国,2012年1月。视图:谷歌学术搜索
9. x陈、g .全和j .宋“过滤反交错开关插值方法,”光学工程,51卷,不。10日,2012年。视图:出版商的网站|谷歌学术搜索
10. j . h .沉重的一击,k . p .香港j . k .鞭笞和j·h·黄”图像序列插值改善放大图像的分辨率,”诉讼APCCAS 96 -亚太会议上的电路和系统,页544 - 547,首尔,韩国,1996年11月。视图:谷歌学术搜索
11. Allebach和p . w . Wong“Edge-directed插值,”学报第三IEEE国际会议上图像处理瑞士洛桑,页707 - 710,,1996年9月。视图:谷歌学术搜索
12. w .咚,l . Zhang r . Lukac, g .史”与外地自回归建模、基于稀疏表示的图像插值”IEEE图像处理,22卷,不。4、1382 - 1394年,2013页。视图:出版商的网站|谷歌学术搜索
13. j·杨,j·赖特,t . s .黄马和y,“通过稀疏表示的图像超分辨率,”IEEE图像处理,19卷,不。11日,第2873 - 2861页,2010年。视图:谷歌学术搜索
14. j·史和z,“图像插值使用变差方法”学报》2011年第八届国际会议信息,通信和信号处理2011年12月,页1 - 4、新加坡。视图:谷歌学术搜索
15. 李x和m . t .果园”新edge-directed插值。”IEEE图像处理:IEEE信号处理学会的出版物,10卷,不。10日,1521 - 1527年,2001页。视图:出版商的网站|谷歌学术搜索
16. n Asuni和a . Giachetti精度的改进和工件去除在基于边缘的图像插值,”国际会议上计算机视觉理论和应用程序,8卷,第355 - 352页,2008年。视图:谷歌学术搜索
17. a Giachetti和n . Asuni artifact-free图像的实时升级。”IEEE图像处理,20卷,不。10日,2760 - 2768年,2011页。视图:出版商的网站|谷歌学术搜索
18. r . Timofte诉迪斯美特,l . Van干傻事“锚定回归街区,快速的基于实例超分辨率,”《IEEE计算机视觉国际会议,页1920 - 1927年,悉尼,澳大利亚,2013年12月。视图:谷歌学术搜索
19. e·r·汉考克和j .难应付的“自适应滞后阈值估计”《IEEE计算机学会学报计算机视觉与模式识别会议毛伊岛,页196 - 201年,美国,1991年6月,你好。视图:谷歌学术搜索
20. r . Medina-Carnicer a . Carmona-Poyato r . Munoz-Salinas, f . j . Madrid-Cuevas”确定滞后阈值的边缘检测结合阈值方法的优点和缺点,”IEEE图像处理,19卷,不。1,第173 - 165页,2009。视图:出版商的网站|谷歌学术搜索
21. r . Medina-Carnicer f . j . Madrid-Cuevas a . Carmona-Poyato和r . Munoz-Salinas”候选人选择滞后阈值的边缘检测,”模式识别,42卷,不。7,1284 - 1296年,2009页。视图:出版商的网站|谷歌学术搜索
22. j .精明的边缘检测的计算方法,“IEEE模式分析与机器智能,PAMI-8卷,不。6,679 - 698年,1986页。视图:出版商的网站|谷歌学术搜索
23. w·荣,z, w·张,l .太阳,“精明的边缘检测算法,改善”《IEEE国际会议上机电一体化和自动化天津,页577 - 582年,中国,2014年8月。视图:谷歌学术搜索
24. y, z,刘,刘x,一种自适应单峰和滞后阈值方法,仿生Computing-Theories和应用程序施普林格,柏林,德国,2014年。
25. 大津,“从灰度直方图的阈值选择方法,”IEEE系统,人,控制论,9卷,不。1,第66 - 62页,1979。视图:出版商的网站|谷歌学术搜索
26. p . l .松香“单峰阈值”,模式识别,34卷,不。11日,第2096 - 2083页,2001年。视图:出版商的网站|谷歌学术搜索
27. w .汉堡和m·j·伯吉斯数字图像处理:一个算法介绍使用Java施普林格,柏林,德国,2016年。
28. 计算机视觉和模式识别集团http://marathon.csee.usf.edu/edge/edge_detection.html,2019年。

版权

版权©2020 Sajid汗等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。