文摘
我们提出一种新颖的算法对图像序列融合和去噪同时在3 d shearlet变换域。一般来说,大多数现有的图像融合方法只考虑结合源图像的重要信息,不处理的工件。如果源图像包含噪音,噪音可能也一起转移到融合图像有用像素。在3 d shearlet变换域,我们提议首先执行递归滤波器在高通部分波段获得去噪高通系数。高通的部分波段然后结合采用融合规则的选择基于3 d的最大脉冲耦合神经网络(相)和低通子带的融合规则融合使用加权和。实验结果证明该算法产生令人鼓舞的效果。
1。介绍
视频传感器已广泛应用于视频监控和机器视觉领域的性能改进和降低成本。在真实的应用程序中,由于物体运动的影响,闭塞,和光照变化因素,单一的视频传感器可能不满足要求1]。一个场景的完整信息,同时使用多个不同的传感器来获取同一场景的内容(2]。利用从多个传感器捕获的信息充分和有效的,我们需要将内容从不同的视频传感器到一个图像序列。这可以很容易地满足图像序列融合方法,可以将多个不同传感器图像序列合并到一个图像序列包含所有重要的信息,消除冗余和提高可用性的信息。
在过去的十年中,各种各样的图像融合方法已经开发了不同的应用程序(3- - - - - -5]。最简单的是源图像的加权平均融合方法。然而,方法是减少脆性,容易导致对比和介绍构件。现在,基于多尺度分解的融合方法在变换域越来越受欢迎,因为更好的鲁棒性和可靠性6- - - - - -8]。大多数现有融合方法为静态图像;然而,融合方法特别是对图像和视频序列很少。静态图像的融合方法甚至可以确保质量的单帧由帧融合[9),但图像序列的时序一致性和稳定性很难被保留下来。到目前为止,有几种融合图像和视频序列的方法。利用时间轴的信息,近年来,一些先进的视频融合方法(10,11已经开发出来。基于三维surfacelet变换,Zhang et al。12]提出一种视频融合框架,融合多帧图像的输入视频作为一个整体过程。然而,该方法仍不足从视频中提取的时空信息与动态背景。Zhang et al。13]提出一种基于三维视频多传感器融合方法均匀离散曲波变换(3 d-udct)和时空结构张量。然而,这些方案仍然没有获得令人满意的结果由于代表运动信息的能力不足。
此外,大多数现有的图像融合方法仍然只注重把有用的源图像像素,很少考虑处理的工件。噪音很容易引入到融合图像的有用像素如果不进行进一步处理消除噪声。有一些融合方法融合时考虑增强和去噪过程执行。Piella [14)提出了一种变分模型执行输入图像的融合,同时保留重要信息和增强对比度。杨和李15)提出一个稀疏表示multifocus图像融合方法可以同时进行噪声的去噪和融合源图像。
在本文中,我们提出一种新颖的图像序列融合算法实现了融合,同时在3 d shearlet变换域去噪。输入图像序列是由3 d shearlet分解转化为高和低通部分波段,然后合并系数和频域去噪。最后,应用于3 d shearlet逆变换重建图像序列的融合系数。多个帧图像可以分解到不同的频率尺度由3 d shearlet,一旦在3 d空间有一定的方向选择性,可以避免混淆和不稳定系数的邻居帧。3 d shearlet认为时间轴的运动特性,这样可以近似分解系数足够在不同尺度的图像序列的时空特性。合并系数,保存帧间的一致性和稳定性系数,提出基于3 d的时空融合规则相(16),它可以提取相应的部分波段的时空信息的邻居帧。此外,大多数现有的图像融合方法仍然只注重结合源图像的像素,很少考虑处理噪音。在这里,我们将一起融合和去噪和直接处理噪音在使用递归滤波器系数。优于单独的融合和基于多尺度变换的去噪,我们的方法只会减少错误由于需要执行分解和重建。
本文的其余部分组织如下。部分2检查基本的3 d shearlet变换理论。部分3描述了该图像序列融合和去噪算法在细节。部分4提出并讨论了实验结果。部分5总结道。
2。3 d Shearlet变换
在本节中,我们简要回顾理论和3 d shearlet变换的性质,在本文的其余部分将使用(见[17]详情)。
shearlet方法继承了曲波和surfacelets的一般优势。在过去的十年中,克服小波和其他传统方法的局限性,介绍了一种新的多尺度方法通过一个新的框架。框架可以有效结合标准的多尺度分解和高效地获取各向异性特性。shearlet只是属于多尺度方法的新类的一部分。shearlet表示是一个多尺度金字塔距离定义波形在不同的位置和方向。这表示可以突破传统的多尺度系统的局限性在处理多维数据。
3 d shearlet变换是由shearlet系统与锥体相关区域。三个金字塔形的区域,,通过分区的傅里叶空间,定义如下(如图1):
(一)
(b)
(c)
的方向性shearlet系统通过使用剪切控制矩阵。3 d shearlet系统Parseval框架,这是通过使用一个适当的系统的组合与锥体相关shearlets地区吗(,)。通过这种方式,3 d shearlet系统被定义为集合组成的没过shearlets,内政shearlets和边界shearlets: 在剪切参数和控制的方向支持地区3 d shearlet系统。图2演示了一个典型地区的支持。支持的方向控制。可以看出,支持地区正变得越来越长增加。
的数值实现3 d离散shearlet变换利用稀疏属性相应的连续表示。3 d数字shearlet变换可以保持离散整数晶格,使一个自然的过渡从连续到离散的剪切设置由于使用矩阵而不是旋转。3 d数字shearlet变换算法实现通过级联的多尺度分解和定向筛选阶段。首先使用拉普拉斯算子实现的多尺度分解金字塔算法。然后获得的定向组件使用剪切伪球形域矩阵来控制方向。
3所示。提出了图像序列融合和去噪算法
在本节中,提出了图像序列融合和去噪算法。主要的思想是,图像序列融合和去噪同时实现3 d shearlet变换域。该算法的框架如图3。清晰的陈述,我们假设两个注册图像序列相结合。
两组图像序列和由3 d shearlet变换分解高通部分波段分成两组,两组低通部分波段数帧。然后,高通部分波段由递归滤波器去噪(RF) (18]。接下来,所有帧的融合子带系数得到雇佣一个3 d PCNN-based时空特点融合规则。最后,融合图像序列重建3 d shearlet反演变换的融合系数,所有帧。并给出了该算法的步骤如下。
步骤1。输入图像序列转换使用3 d shearlet转换到频域和产生低收入和高通部分波段和几帧,表示低通子带系数的粗尺度th框架和表示的高通子带系数的规模和th和方向框架。
步骤2。高通的子带系数,执行递归滤波器系数的每一帧来消除噪音。然后,3 d相是用来计算去噪高通的时空活动水平系数获取时空活动地图,这是用来合并融合高通部分波段选择的最大值。
步骤3。低通子带系数合并使用基于活动的时空能量加权融合规则;再利用产生的3 d地图。
步骤4。应用3 d shearlet反变换的融合系数为所有帧,然后获得融合图像序列。
3.1。3 d PCNN-Based时空融合
本节讨论拟议中的3 d PCNN-Based时空融合的细节。实验观察的基础上同步脉冲脉冲在猫和猴子视觉皮层,小说生物神经网络称为相。相神经元感受野,调制磁场,脉冲发生器(19,20.]。与传统神经网络不同,相是一个反馈网络,不需要训练。次要的接受域的相,称为连接领域,集成了输入从相邻神经元调节的主要喂养。在图像处理中,二维相是单层二维神经网络连接。考虑到二维图像平面的空间特征,2 d相利用空间邻域像素的输出作为下一个迭代的内部输入。相类似神经元产生脉冲同时有效地补偿空间不连贯和轻微的振幅变化,所以相地区完全可以测量的对象。它已经成功地用于处理单一的静态图像。然而,如果直接应用2 d相逐帧图像序列,不得提取时间运动信息。
相适应处理图像序列,二维相被扩展为三维相利用帧间的相关性。3 d相已成功用于立体图像的分割(16]。这里,3 d相是用来测量活动从3 d shearlet分解系数的能量。让表示位于系数在th规模在th方向和在框架。在每一次能带是喂养3 d相作为外部输入的输入。最后输出的空间邻居的邻居像素和相应的输出帧被用作内部链接输入。这样,3 d相可以提取足够的图像序列的时空信息。3 d相定义如下: 的系数喂养输入输入吗。连接输入等于神经元发射的总和乘以在连接范围,在哪里表示衰减常数和是振幅增益。加权系数(,,指出链接的大小范围在3 d相)。从上一次迭代的输出神经元。内部状态信号通过调节和,在那里是连接强度。是阈值,在哪里衰减常数和吗是振幅增益。表示迭代次数。如果,神经元就会产生一个脉冲,称为一个射击。如果,神经元不会生成一个脉冲。
摘要3 d相可以用来衡量系数的时空特点。通过结合系数相应的尺度和方向的相邻帧,我们构造一个3 d体积的大小。通过这种方式,一个神经元构建3 d相模型,其中每个系数的3 d相的外部输入。最大系数值的神经元是第一次发射。从三维空间后,类似的神经元由内部链接矩阵通过脉冲传播动机是产生同步脉冲。生成的脉冲序列形成一个三维二进制序列,其中包含显著的图像的信息,例如,区域,边缘,纹理,等等。
在应用程序中,点火时间通常用来表示图像信息。发射时间可以通过积累计算所有像素,包括当前的迭代,写如下: 在哪里通常是用来表示总发射次迭代。在这里,点火时间表示的活动能量系数。
3 d shearlet分解的高通部分波段包含丰富的细节信息,例如,线,边缘,轮廓等等。在融合图像保存详细的组件,我们提出一种融合规则基于3 d的时空选择最大高通部分波段相。系数大的发射时间选择的融合系数。因此,融合高通子带系数位于在th规模在th方向和在th框架表示为被定义为
3 d shearlet的低通子带分解的粗尺度包含源图像的主要能源和代表丰富的结构信息。低通子带采用时空融合规则的加权融合规则;再利用基于3 d射击的时候。低通部分波段的融合系数表示采用加权融合规则基于发射的3 d相系数和,它被定义为 在哪里系数和的重量吗计算(3)和(4):
最后,应用3 d shearlet反变换的融合系数帧,然后获得融合图像序列。
3.2。递归滤波器去噪
前一节中介绍了分解系数的融合方法。当输入图像包含一些噪音,融合图像也会引入噪声工件如果系数是直接合并。所以我们需要首先处理系数去噪。本节主要介绍了递归滤波器的方法(18)使用的去噪系数。递归滤波器是一个实时edge-preserving平滑滤波器。与单独的融合和基于多尺度变换的去噪,同时融合和去噪系数分解的3 d shearlet变换将减少造成的误差分解和重建。此外,去噪滤波器系数的不同尺度和方向上运行,使其增强了算法的鲁棒性。
低通子带包含了图像的主要能量和表示的结构信息。高通部分波段包含丰富的细节,例如,线,边缘和轮廓。一般来说,声音出现在高通部分波段,所以这里的递归滤波器只是执行高通子带系数获得去噪系数,定义如下: 在射频表示递归滤波器。当噪音消除,高通部分波段上的细节需要被保留下来。这可以很容易地满足edge-preserving滤波器,称为递归滤波器: 在哪里是一个反馈系数,的价值吗输入高通子带系数,是th过滤高通的子带系数,是高通的邻居之间的距离系数子带。作为的增加,趋于零,停止传播链和保留细节高通部分波段。更详细的递归滤波器可以参考(18]。
执行递归滤波器帧图像获得去噪高通系数。合并后,融合系数可以通过去噪系数。
4所示。实验和分析
在本节中,提出基于3 d图像序列融合算法;再利用shearlet和3 d(命名为3 dshearlet-3dpcnn)是几组测试图像序列。相比之下,除了融合方案提出,另外三个融合算法,离散小波变换(DWT)的基础上,基于3 d DWT,和3 d dual-tree基于复小波变换(3 d DTCWT)方法,用于熔断器相同的图像序列。所有这些方法使用平均总和和绝对最大选择低收入和高通方案合并子带系数,分别。分解层次的转换是三。假设源图像序列已经登记。测试集合包含清晰和噪声的图像序列。
4.1。融合结果清晰的图像序列
第一个实验是一对可见光和红外图像序列没有噪音。一对从输入图像序列帧和四个融合图像DWT, 3 d DWT, 3 d DTCWT,提出3 dshearlet-3dpcnn如图4。图4(一)是一个红外图像帧从输入图像序列,和图吗4 (b)是一个可见光源图像帧从相应的可见光图像序列。从图4,我们可以观察到图4 (c)是最糟糕的结果,对比度较低,倾向于模糊的运动对象。数据4 (d)- - - - - -4 (f)由3 d DWT, 3 d DTCWT,并提出3 dshearlet-3dpcnn,呈现更好的结果,具有更高的对比度,清晰的运动对象。然而,数据4 (d)和4 (e)有一些失真在窗户附近。窗户的边缘出现扭曲。中间的墙窗口之间引入了黑暗的区域。相比之下,该方法(图4 (f))产生最好的结果。这种比较表明,该融合方法有效地确定输入图像帧之间的互补或冗余信息。它可以保存所有的有用的信息输入图像帧,同时避免工件。此外,评估在时间序列图像融合方法的性能的稳定性和一致性,更清晰的对比是由检查interframe-difference (IFD)之间的当前帧和预装配,如图5。一套IFD源和融合图像帧之间的当前帧图4及其对应的预装配图所示5。显然,IFDs图5 (c)介绍许多工件,这既不存在在图5(一个)也在图5 (b)。在图5 (d)、工件都大大降低。在数据5 (e)和5 (f),我们几乎看不到任何工件。这进一步表明3 d DTCWT和提出了融合图像帧有更好的时间稳定性和一致性。
(一)
(b)
(c)
(d)
(e)
(f)
(一)
(b)
(c)
(d)
(e)
(f)
图6显示了一对输入图像帧和相应的融合结果。比较不同的融合结果(数据6 (c)- - - - - -6 (f)使用DWT)和帧融合,3 d DWT, 3 d DTCWT(数字6 (c)- - - - - -6 (e))不够清晰,对比度较低。特别是,工件在男人介绍了图6 (c)。图像帧融合使用该方法(图6 (f))是明显清晰,具有较强的对比。实验结果进一步表明,该算法可以有效地提高融合图像的质量序列。
(一)
(b)
(c)
(d)
(e)
(f)
为更准确的比较,除了视觉分析、融合算法的性能需要进一步衡量客观定量分析工具。这两个度量工具被使用:基于时空梯度保存视频融合性能指标(21)和IFD的互信息图像(IFD_MI) [9]。显示多少时空信息提取和传输到融合图像序列。IFD_MI反映在时间序列图像融合方法的性能稳定性和一致性。两个指标的值越高,更好的融合结果。
不同的融合方法的测量结果图的图像帧4和图6如图7。结果表明,DWT方法最低分数。与DWT相比,3 d DWT和3 d DTCWT方法改进的结果。该方法代表了最高的性能列融合方法和IFD_MI指标。定量结果与视觉分析一致,说明该融合方法具有优越的性能,同时它可以保存时间稳定性和一致性的图像序列。
(一)
(b)
4.2。噪声图像的融合结果序列
在之前的讨论,不同的算法的融合结果的清晰的图像序列,分析了视觉和客观度量工具。的部分,不同的算法的去噪和融合结果对噪声图像序列进行了比较。我们的方法是3 d DTCWT融合方法相比,其次是3 d DTCWT去噪(22),命名为3 d DTCWT-FD。
图8介绍了融合和去噪的结果产生了我们的方法和3 d DTCWT-FD方法从一对现实世界的噪声图像序列。观察源图像帧(数字8(一个)和8 (b)(图),可见光图像帧8(一个))是清晰和红外图像帧(图8 (b))被噪声污染。可以看出,融合图像帧(数字8 (c)和8 (d))已经消除了噪音。然而,3 d DTCWT-FD结果(图8 (c)由于over-smoothing)变得模糊。拟议中的去噪和融合方法产量最优结果几乎消除了所有的噪音和保留高对比度。
(一)
(b)
(c)
(d)
此外,评估不同的融合和去噪方案的性能,、IFD_MI和峰值信噪比(PSNR)指标。表1显示的结果和IFD_MI指标图8。我们可以看到,该方法在这两方面都得到了更高的分数和IFD_MI。这表明所提出的融合,同时去噪方法包含有用的信息从源图像,同时消除噪音。图9提出了1000帧融合图像的PSNR值结果与图有关8。这里,PSNR值结果,清晰可见光源图像帧作为参考图像。从图9,我们可以观察到的结果,该方法有更高的PSNR值分数表明,我们的方法产生更好的去噪图像。因此,比较的、IFD_MI和PSNR值指标,实验进一步证明该图像序列同时融合和去噪方法产生令人满意的结果,合并重要的互补信息,消除工件。
5。结论
提出了一种新颖的图像序列融合算法和基于3 d shearlet变换的去噪。大多数现有的图像融合方法不处理的工件时,融合过程执行。如果源图像包含噪音,噪音可能也一起转移到融合图像有用像素。因此,我们建议首先进行递归滤波器高通部分波段获得去噪高通系数在3 d shearlet变换域。高通的部分波段然后结合采用融合规则的选择基于3 d的最大相,和低通子带的融合规则融合使用加权和。通过这种方式,可以实现同时融合和去噪的噪声图像序列。实验证明,该方法大大提高了融合图像序列的质量。
利益冲突
作者没有任何实际或潜在的利益冲突。
确认
这项工作得到了中国国家基础研究计划(973计划)2012 cb821200 (2012 cb821206)和中国国家自然科学基金(没有。61320106006)。