视频超限分辨重建使用迭代投影基于临界点过滤器的图像匹配

文摘

改善重建图像/视频的空间分辨率,本文提出一种超限分辨(SR)基于迭代重建算法的投影。在该算法中,图像匹配使用临界点过滤器(CPF)是用来提高图像配准的精度。首先,使用滑动窗口来段视频序列。论坛基于图像匹配然后执行窗口获取帧之间进行像素级运动领域。最后,高分辨率(人力资源)帧重建是基于运动领域使用迭代投影(IBP)算法。基于论坛的注册算法能适应各种类型的运动在实际视频场景。相比,实验结果表明,基于光流的图像匹配与IBP算法,主观质量改进和平均PSNR得分为0.53 dB改进该算法获得的,当应用于视频序列。

1。介绍

由于高分辨率(人力资源)图像/视频是重要的在许多应用程序中,如天文、军事监控、医疗诊断、遥感、超限分辨(SR)在实践中重建具有重要意义[1]。超限分辨的概念(SR)重建是指重建高分辨率(人力资源)的图像从一个或多个低分辨率(LR)图像。超限分辨的目的使用数字图像处理算法(SR)重建是超越提高空间分辨率的光学成像系统的限制因素2,3]。超限分辨的先天特征(SR)重建是使用多个图像的补充内容扩展高频组件。

大多数超限分辨重建方法包含四个步骤:注册、地图、插值、噪音、和模糊去除。登记是指估计运动矢量在两个不同的视频帧或图像。然后运动向量用于输入低分辨率帧的像素映射到一个常见的高分辨率的参考系。使用插值得到的像素值超限分辨网格,利用映射的像素。最后,噪声和模糊除应用于消除光学传感器模糊(4]。

各种迭代超限分辨重建算法。这些算法可分为两种类型:频率域法和空间域法。第一次被提出的频域方法蔡和黄5]。他们制定了一系列方程与高分辨率帧低分辨率框架,利用傅里叶变换的转移财产。但是他们的成像模型不考虑运动模糊和添加剂噪声和只是局限于全局平移运动。基于插值的方法,迭代投影(IBP)方法(1,6,7),凸集投影(poc)方法(3,8),和最大后验(MAP)方法(9)四个主要空间域算法超限分辨重建。基于插值的方法是最简单的空间域算法,它使用多个注册图像生成人力资源图像,基于一些插值方法,如近邻插值,双线性插值和三次样条插值10]。其他三个空间域SR算法(IBP, poc和地图)都是基于迭代重建和更好的结果比基于插值的方法。另一类超限分辨重建算法是基于实例超限分辨算法。弗里曼et al。11)提出了基于实例的想法超限分辨重建算法。最先进的算法通过结构分析提出的补丁是金等人在12]。

空间域算法的关键是准确的图像配准。传统的登记方法估计全局平移或旋转运动。但如果超过一种类型的运动场景中共存等自然视频,全局运动估计不工作。在视频超限分辨图像配准算法,如基于块匹配(13)和基于光流的匹配(14,15经常使用。但是这两个算法都有一些缺点,并不适合在超限分辨重建。运动矢量不能获得准确的基于块匹配准则,和基于光流的性能匹配可能严重退化由于亮度的变化。

摘要图像匹配使用multiresolutional临界点过滤器(CPF-IM) [16- - - - - -18)提出了应用过程中超限分辨重建。CPF-IM适合代表全球和当地的运动。此外,在CPF-IM亮度变化的影响很小。在我们的实验中,首先通过CPF-IM进行像素级运动字段。然后迭代投影(IBP)算法被用来重建高分辨率图像的基于运动领域。实验结果表明,国际预算促进会与CPF-IM算法更好的性能比双线性插值算法,双立方插值算法,与IBP算法和基于光流的图像匹配。

本文的其余部分组织如下。部分2简要介绍了基于论坛的图像匹配算法。部分3描述了提出超限分辨算法使用迭代投影与CPF-IM (IBP)算法。部分4讨论了实验结果。最后,部分5本文总结道。

2。图像匹配使用Multiresolutional临界点过滤器

Multiresolutional临界点过滤器(CPF) [16- - - - - -18)提供一个精确匹配的两个图像进行像素级的方法。假设有两个图片,一个来源和目的地。一组图像构造多分辨率子图象。然后,从源到目标的映射子图象进行每一层粗分辨率最好的解决方案。映射计算像素的像素受制于遗传和双射性条件。映射的最低能源将选为最后的信件。

假设原始图像的宽度和高度尺寸和分别表示层次结构级别最好的决议。多分辨率层次结构的大小图像可以被计算。有四子图象计算,由提取的最小值,最大值,和鞍点,分别在每个级别的层次结构。让表示的像素()的子图象,等级和水平吗是子图象的类型。子图象的像素的层次结构是递归地计算像素的更高级别的子图象层次结构如下: 在哪里,这是原始图像的像素。

一旦构造多分辨率层次结构,自顶向下的方法是利用源图像的像素映射到目的地的形象。候选人的数量在每个水平约束映射的映射在其上层。一个像素在层次源图像的搜索对应的像素在目的地形象。假设4的像素的像素是,,,。他们的父母()被映射到,,,在层次。的父母,一个孩子像素被选中。四个孩子像素定义一个继承了四边形,在里面我们搜索像素与最低能量映射。

让是源图像的像素映射的位置和目标图像的像素来测试位置。能源的映射由和,定义为在哪里是一个实数。表示源图像像素强度差异及其对应的像素在目标图像。考虑的函数表示图像像素的强度。和成本相关像素的位置。考虑在哪里是一个实数。考虑是由之间的区别吗和为了防止一个像素被映射到一个像素太远。是由位移之间的距离和邻国的位移。这种能量用于光滑映射。

在映射过程中,候选像素满足上述条件的能量将计算和比较。最低能量的像素将作为最终确定相应的像素。

的优势将论坛建立图像匹配集成到视频图像超限分辨是进行像素级运动领域可以准确地获得。视频帧之间变化通常不同小区域;因此,基于块的图像匹配是不够准确的。此外,基于光流的图像匹配是严重受到亮度变化的影响。总之,基于论坛的图像匹配可以克服传统图像匹配算法的缺陷和适用于全局运动和局部运动模型。在图像匹配过程中,选择一个低分辨率的图像作为参考图像。论坛执行基于图像匹配参考图像和其他低分辨率图像之间获得运动领域。

3所示。基于集成论坛视频图像的图像匹配到超限分辨

本节介绍了如何将CPF-IM集成到视频图像超限分辨。一个新框架的迭代投影算法重建高分辨率的视频图像。

3.1。视频超限分辨重建模型

低分辨率的图像如图的收购1。之间的关系th观测图像和原始高分辨率图像可以表示为在哪里代表了仿射矩阵操作,表示模糊操作引起的点扩散函数(PSF)是将采样矩阵。

点扩散函数(PSF),将采样操作符用于相同的过程中,成像系统的图像采集。因此,模糊算子并将采样操作符可以假定为常数的序列图像采集。因此,成像模型(6可以转化为) 超限分辨的目的是获得高分辨率图像的最优估计从一系列低分辨率的图像。这是成像所示(的逆过程7)。

超限分辨重建算法的关键是准确的图像配准,这是一个困难的问题,因为视频帧之间的运动是复杂的和准确的运动领域是很难获得的。大多数传统的超限分辨重建算法提出了超限分辨图像而不是视频超限分辨图像之间的运动领域更容易估计。本文提出的算法适用于视频图像超限分辨,和实验结果验证其有效性。

视频序列,两个相邻帧之间的运动矢量相对较小。所以我们选择连续帧低分辨率图像。高分辨率框架可以通过(相邻帧的重建7)。基于滑动窗口的视频超限分辨重建模型(19图中所示2。

如图2在视频超限分辨重建,向前滑动窗口移动产生连续的高分辨率帧输出序列。为了确保登记的准确性,中间帧的滑动窗口选择参考系。图像匹配执行参考系和其他帧之间的滑动窗口获取运动领域。然后重建高分辨率帧基于这些运动领域。如果我们假设视频的总长度和滑动窗口的长度,()可以重建高分辨率帧低分辨率的视频序列。

3.2。原始迭代投影算法

迭代后投影(1,6,7)从一个初始估计的高分辨率图像。最初的高分辨率图像是由插值生成一个输入低分辨率的图像。然后,一系列的模拟产生的低分辨率图像重建超限分辨图像的图像采集模式。如果模拟的低分辨率图像符合相应的输入低分辨率图像,重建超限分辨图像与原始高分辨率图像是一样的。否则,模拟的低分辨率图像之间的差异和输入低分辨率图像将投影重建超限分辨图像。这个过程重复迭代,直到模拟低分辨率图像之间的差异和输入低分辨率图像是足够小。迭代投影算法可以制定在哪里代表了迭代数,重建的超限分辨图像吗th迭代,重建的超限分辨图像吗迭代。是一个常量值控制收敛速度,这对每一个迭代过程设置为0.1。滑动窗口的长度定义为,这也代表输入低分辨率图像的数量。是th背投影操作,这是相同的投影算子。表示模拟图像采集模型,定义的低分辨率的图像表示输入低分辨率的图像。代表了仿射矩阵操作,表示模糊操作引起的点扩散函数(PSF)是将采样矩阵。

原始迭代投影算法的流程如图3,逆矩阵的解模糊块表示。

3.3。提出迭代投影算法结合论坛建立图像匹配

在传统图像超限分辨,全局运动估计通常是作为图像匹配算法,得到了和全局运动参数之间的低分辨率图像。在这种情况下,高分辨率图像之间的运动参数可以直接转换得到的低分辨率图像之间的运动参数。因此在高分辨率的仿射变换很容易实现。本文通过论坛进行像素级运动字段建立图像匹配。和仿射变换应该执行像素到像素,这很难实现。此外,输入低分辨率图像之间的仿射变换已经包含在论坛匹配的过程。因此,图像采集的仿射变换模型可以取代,在论坛匹配,和一个新框架的迭代投影算法结合CPF-IM (IBP-CPF-IM)提出。

提出IBP-CPF-IM算法首先把一个输入低分辨率图像作为参考图像。然后,CPF-IM执行之间的参考图像和其他nonreference输入低分辨率图像进行像素级运动领域。和一系列模拟参考图像从这些nonreference产生低分辨率图像使用运动领域。每个输入低分辨率图像对应于一个模拟参考图像。接下来,一个初始重建超限分辨图像低分辨率的图像插值生成的参考。一般来说,更好的初始估计直接导致更好的最终重建图像的质量。此外,高质量的初始估计图像可以加快收敛的迭代算法。最后,模拟低分辨率的图像通过将采样重建超限分辨图像生成。如果模拟的低分辨率图像模拟参考图像是一致的吗重建的超限分辨图像与原始高分辨率图像是一样的。否则,模拟的低分辨率图像之间的差异和模拟参考图像将投影重建超限分辨图像。这个过程重复迭代,直到模拟低分辨率图像之间的差异和模拟参考图像足够小。拟议中的IBP-CPF-IM算法可以制定在哪里代表了模拟参考图像,模拟的低分辨率图像通过将采样超限分辨图像,然后呢代表的操作转换输入低分辨率图像模拟参考图像。

在最初的IBP算法中,仿射变换是实现高分辨率图像使用全局运动参数之间的关系。然而,仿射变换的算法被论坛低分辨率图像之间的匹配。,该算法的收敛速度。

控制何时停止使用的相对误差定义迭代过程如下: 在哪里代表规范。迭代停止时小于一个阈值(设置为在我们的实验)或迭代次数达到最大的值设置为100。

视频超限分辨IBP-CPF-IM算法的流程介绍如下。

步骤1。移动滑动窗口,把五个视频帧作为输入低分辨率帧。一般来说,当中间帧和匹配的帧之间的距离变大,他们的分歧也变得更大。在这种情况下,论坛匹配的准确性会降低,微妙的质量改进生成的框架可以获得。然而,计算复杂度将大大增加。得到一个计算复杂度和图像质量之间的权衡,滑动窗口的长度设置为五经验。

步骤2。滑动窗口的中间帧作为参考帧。论坛为基础进行图像匹配和参考系之间的滑动窗口的其他框架。四运动字段是通过这一过程。和四个模拟参考帧生成使用运动领域。

步骤3。参考帧插值获得初始重建超限分辨框架。

步骤4。模拟低分辨率框架是通过将采样重建超限分辨框架。

第5步。如果模拟的低分辨率帧不一样的模拟参考系,他们预计将重建超限分辨差异框架和我们回到步骤4。如果模拟的低分辨率帧之间的差异和模拟参考系是足够小,重建超限分辨框架所需的框架。

提出的迭代投影算法如图4,逆矩阵的解模糊块表示。

4所示。实验结果

4.1。对静态图像的实验

评估算法的性能、标准图像进行测试。输入高分辨率图像的大小。低分辨率图像通过图像采集模型如图1。首先由高分辨率图像仿射变换包含各种独特的垂直变化,水平变化和旋转。然后,这些受约束的图像模糊通过低通滤波器和downsampled 2倍产生低分辨率图像。模拟低分辨率输入图像的数量是4。在本部分中,该算法的性能与双线性插值相比,双立方插值,IBP频域注册(IBP-FR) [20.),和基于IBP光学流的图像匹配(IBP-OL)算法(基于光流的图像匹配算法中使用的实验提出了(14]和[15),职责)。论坛基于图像匹配应用于获取图像之间的运动领域。稳定的结果对每个测试图像在实验获得迭代数量大约是15。

数据5(一个)和6(一)辣椒和莉娜的原始高分辨率图像。选择一个生成的低分辨率图像作为参考图像每一个测试图像。数据5 (b)和6 (b)使用双线性插值图像从参考图像的算法,而数据5 (c)和6 (c)使用双立方插值图像的算法。超限分辨图像使用基于频域迭代背投影算法重建注册(20.)所示的数据5 (d)和6 (d)。数据5 (e),6 (e),5 (f),6 (f)使用迭代图像重建的背投影算法与基于光流的图像匹配(14,15]。IBP-OL2004代表基于光流的图像匹配算法(14]。IBP-OL2004表示基于光流的图像匹配算法用于(15]。和图像重建算法的数据所示5 (g)和6 (g)。响了工件的数据5 (g)和6 (g)有效地减少与数据吗5 (d)和6 (d)。此外,数据的边缘5 (g)和6 (g)在数据处理比吗5 (e),5 (f),6 (e),6 (f)。

(一)原始图像

(b)双线性插值图像

(c)双立方插值图像

(d) IBP-FR形象

(e) IBP-OL2004

(f) IBP-OL2010

(g) IBP-CPF-IM

(一)原始图像

(b)双线性插值图像

(c)双立方插值图像

(d) IBP-FR形象

2004 (e) IBP-OL

(f) IBP-OL2010

(g) CPF-IM

为了客观地评价重建图像的质量,PSNR值计算之间的原始高分辨率图像和重建超限分辨图像。表1给出了该算法相比,算法的性能。很明显,该算法实现了一个改进的客观质量。


	双线性	双三次的	IBP-FR	IBP-OL2004	IBP-OL2010	IBP-CPF-IM

芭芭拉	26.90 dB	26.96 dB	25.89 dB	26.01 dB	26.51 dB	28.37 dB
丽娜	26.81 dB	26.89 dB	25.32 dB	25.08 dB	26.17 dB	28.92 dB
辣椒	26.74 dB	26.88 dB	26.80 dB	26.79 dB	27.37 dB	29.29 dB

4.2。实验视频

验证该算法对视频图像的影响超限分辨重建,一系列的标准视频序列进行测试。在YUV格式的测试视频。算法应用于每个组件的视频。为了计算重建视频的PSNR性能,低分辨率的视频是通过将采样获得的高分辨率视频。和PSNR性能基于计算实验的结果组件。对于每一个序列,只使用第一个100帧和视频图像的大小。在这个实验中,滑动窗口(图的方案2)采用。进行像素级运动参考系之间的领域,另一帧由CPF-IM估计。考虑到方案的滑动窗口,输出重构帧的长度是96。该算法与双线性插值算法相比,双立方插值算法,并与基于光流的图像匹配算法(IBP光学实验中使用的基于流的图像匹配算法提出了(14]和[15),职责)。因此运动模式的频域注册算法的请求只是全球平移或旋转。基于频域迭代背投影算法注册不适合视频超限分辨。双线性和双立方插值,输出重构框架是通过插值的参考框架。每一帧的视频,一个稳定的结果是获得之前迭代数量达到最大值。列出了这些算法的PSNR性能表2。双立方插值相比,IBP-CPF-IM达到线性平均PSNR增益为1.27 dB。这些证明重建的数量信息,我们从一个以上的框架,更从只有一个框架,和客观质量重构帧的超限分辨算法通常高于重建帧插值。IBP-OL2004和IBP-OL2010算法相比,IBP-CPF-IM约为0.52 dB的PSNR值增益和0.60 dB。原因是光流对亮度变化敏感,经常发生在视频序列。和运动向量不能准确地通过使用基于光流的图像匹配。


	双线性	双三次的	IBP-OL2004	IBP-OL2010	IBP-CPF-IM

海岸警卫队	26.26 dB	26.34 dB	26.81 dB	27.14 dB	27.50 dB
容器	24.20 dB	24.33 dB	25.50 dB	25.50 dB	25.50 dB
大厅	25.61 dB	25.80 dB	26.83 dB	26.67 dB	27.12 dB
工头	27.71 dB	27.76 dB	28.14 dB	28.08 dB	28.95 dB
母女	31.85 dB	31.92 dB	33.13 dB	32.85 dB	33.45 dB
Tempete	24.26 dB	24.38 dB	24.56 dB	24.28 dB	25.61 dB

平均	26.65 dB	26.76 dB	27.50 dB	27.42 dB	28.02 dB

数据7和8展示实验结果对大厅的示例和集装箱序列。原始图片所示(一个)。重建图像双线性,双三次的IBP-OL2004, IBP-OL2010,和提出IBP-CPF-IM (c)所示,(e), (g),(我),(k),分别。为了显示重建的图像的细节,这些重建图像的一部分放大比例因子为1:4 (d)所示,(f), (h)、(j)和(l)。双立方插值相比,图的放大部分7(左)由IBP-CPF-IM重建清晰。当有大型运动或连续帧之间的变化是突然,IBP-OL产生的重影效果如图7 (h),而IBP-CPF-IM可以减少这种缺陷,如图7 (j)。

(一)

(b)

(c)

(d)

(e)

(f)

(g)

(h)

(我)

(j)

(k)

(左)