空间可伸缩视频流的多描述编码

文摘

需要适应视频流交付在异构的和不可靠的网络需要自适应和错误弹性编码。网络带宽波动可以通过处理视频编码方案适应信道条件。然而,包丢失频繁的无线网络会导致在接收端重建和不匹配导致的错误积累,恶化了视频的质量。在像素域的多描述编码的组合和可伸缩视频编码方案既解决视频适应性和鲁棒性,本文提出了数据丢失。该方案结合了错误隐藏和空间可伸缩性视频。为了提高重构原始帧的忠诚存在数据包丢失一个多层多相空间分解算法。古典多个描述方法插入缺失的数据,结果在平滑和工件对象边界。该算法解决了质量退化由于低通滤波插值方法的效果。我们还比较分析了鲁棒性通道错误和编码效率之间的权衡。

1。介绍

提出了几种错误隐藏方法处理数据丢失在不可靠网络其中最重要的方法是前向纠错(1),内部/ intercoding模式选择(2),分层编码(3],和多描述编码(MDC) [4]。MDC方法开发越来越不可靠网络数据传输的可靠性。MDC方法,视频中分解为描述可能独立网络通道上传输(4]。这个分解可以应用之前执行任何转换后的视频数据或应用程序的变换,因此变换系数。数据的分解可以通过空间分辨率像素分配给不同的描述(5- - - - - -7在时间分辨率,帧分配给不同的描述8),在信噪比(信噪比)传输更少的精确的像素值在每个描述(9]。这个分解时应通过最小化重建误差优化一个或一些描述丢失,也通过最小化冗余的描述。争取民主变革运动方法的极端的例子是复制数据和传输相同的数据在每一个描述。在这种情况下,重建误差的描述损失或腐败是消除,只和接收一个描述提供了视频数据。然而,重复的数据减少了编码效率。因此,编码效率之间的权衡应该寻求和错误恢复的视频。一般来说,描述具有相同的重要性可以解码和数据率和每个描述独立于其他描述,尽管这不是一个必要的要求。提供的描述如果独立性意味着失去这些描述并不影响其余的解码10]。视频解码的准确性取决于收到的数量描述(11]。图1描述了多个描述编码器/解码器的基本框架和两个描述。

对于失败的一个渠道,输出信号重建的描述。此外,降低视频质量的空间和时间分辨率较低,或低比特每像素质量只交付的一些描述时,可以利用可伸缩性属性添加到视频。的空间分解的视频描述,框架的多相将采样数据12- - - - - -14)和梅花形二次抽样(15使用)。图2(一个)描述多相二次抽样有四个子集。每个子集描述和传输数据丢失的情况下,丢失的数据估计插值是对其附近的邻居。这种技术完全依赖视频帧中出现的相邻像素之间的相关性。图2 (b)描述了框架的划分像素分为两个子集的梅花形二次抽样中描述(15]。

在[13]作者结合视频的时空分解为多个描述。每一块的分解成四个多相组织的组0和4插入描述在哪里和组2和3为描述。块的运动补偿之前进行分解,因此都共享相同的运动矢量描述。这导致检索运动矢量描述时丢失。同时他们分解传输偶数和奇数帧的视频暂时在不同流。失踪的块被插值重建之前,下一帧。

在视频编码转换用于创建不相关的数据。出现在视频数据的相关性显示像素值之间的统计依赖现在被认为是一个冗余,可以利用更有效的编码(16]。这种相关性是通过应用转换,如离散余弦变换(DCT)。争取民主变革运动的错误隐藏也可以应用于变换系数(17]。分解系数设置为两个或两个以上的描述的问题估计丢失的数据从接收到的描述应用变换后系数不再是相关的。试图创建一个关联系数是在(18]。在他们的工作中,作者定义了两个子集的系数通过把奇数和偶数系数在不同的子集。假设和子集的差异吗和分别描述创建 与相关系数接收端。因此,当一个描述丢失它可以更有效地估计从接收到的描述比原来的子集作为描述。

2。错误隐藏的插值

许多不同的插值算法,如附近邻居复制(NNR),双线性插值(13),和双立方插值用于文献[5,19]。然而,缺失数据的插值像素域失去一个描述的并不总是从主观的角度提供令人满意的结果。尽管重建视频质量高PSNR等客观指标,主观评价可能表明在某些情况下退化的视频质量。这是整体质量评估的结果,在PSNR值执行;然而,主观评估考虑对象的结构特点和地区出现在视频。这种特性更能看到物体的边界,因为像低通滤波器插值执行。数据3和4描绘一个示例框架和其重建的结果的一个描述丢失和对应的像素插值找到相邻像素的平均值。从图可以看出4明亮,像素属于薄对象换成较暗的像素值插值后,导致工件。边缘保护提出了插值方法作为解决低通滤波插值的影响。在[5),提出一种非线性方法称为边缘传感插入缺失的数据,同时保留边缘像素。在这种方法中,水平和垂直梯度失踪计算为每个像素使用其相邻像素。如果其中一个梯度值大于一个预定义的阈值,假设边缘的像素,只有沿着边缘方向相邻像素用于插值。如果没有一个梯度值大于阈值,四个相邻像素的平均值用于插值。尽管他们的方法改善线性插入器的性能,性能降低等情况下很薄(厚一个像素)对象和边缘不垂直和水平方向。

3所示。该方法

我们的方法是一个多层MDC视频编码方法分解视频空间分为四个描述。标签的描述表示来代表四个空间的子集像素坐标系如图2(一个)对应于子集为最初的设置。分解定义了一个分区之间不存在重叠子集,和分区总结初始设置如下定义: 虽然像素空间直接相关,把帧分解成不相交的描述可以减少相关当帧包含薄与高对比度和小对象。这减少了相关帧质量恶化在重建完成包丢失的存在。因为在运动补偿时域滤波(MCTF)框架参考系(s)的重建,重建后的质量减少可以积累漂移误差。减少重建的影响与失踪的描述,我们作为一个公共基础包括downsampled块层在所有描述。因此,每个描述都使用公共基础层和增强层使基地层之间的区别在图的一个子集2(一个)。我们建议的方法分解宏模块像素成4块像素是用来创建基础和增强层。我们的动机是基于我们的观察,目前视频空间MDC方法假设失踪的描述可以从剩余的插值交付完整的描述。这个假设是无效的,当视频包含的对象一个高对比度的背景和一把锋利的边界。图3描述一个例子,失踪的描述是使用了插值的描述。暗点的明亮区域放大图后杆(如图所示4)是这种影响的一个例子。我们建议的解决方案这一问题描述如下。

该方法的主要思想是,当描述是完全分离的,插值丢失的数据(缺描述)是由利用像素间的相关性。然而,空间分解的帧可以减少这种相关性导致低忠诚的重建帧反过来会导致漂移误差。为了包括插值过程中丢失的像素值,因此增加像素之间的空间相关性,我们引入一个基础层包括在所有的描述。基地层平均4的值在频域描述。分解后宏模块分成四块,我们motion-compensate每个块,应用DCT变换、量化和计算的基础层包括在所有描述和增强层进行区别与基本层。基本层是通过发现的平均量化的DCT系数块分解得到的宏模块。因为每个宏模块分解为四个块,也是一个基本层块,每个元素的平均系数的相应位置量化DCT系数的四个街区。图5描述了该方法的框图,粗箭头代表四个输出,提单是指基础层,EL显示增强层。基础的数学定义和增强层是在(3)。每个描述的增强层的定义是量化的DCT变换系数之间的差异和量化的DCT系数块基地层: 在哪里指第i个块多相分解后的一部分。系数的基本层和增强层扫描宽度和熵编码传输之前虽然他们没有所示(3)。在大多数情况下的区别基础层DCT系数块的DCT系数很小。因此,增强层不会增加的总bit-per-pixel率描述。然而,在某些情况下的像素值的描述非常不同于一般描述或基地层,增强层会影响bit-per-pixel率。重建一个街区存在的损失进行如下描述。

由于基础层是量化的DCT系数的平均值的描述,量化的DCT系数失踪的描述可以被减去了发现描述从基础层。失踪的增强层描述的差异系数以这种方式获得和基地层。这个过程显示,当一个描述丢失,视频重建使用剩余的描述没有任何失真。在数据丢失的情况下在多个描述,失踪的描述块的插入通过添加了增强层的平均基础层。当只有一个描述交付,该方法相当于使用了描述所有失踪的描述。方程(4)显示了插值存在多个描述损失: 在哪里交付的数量描述和吗和是插值的增强层和内插量化DCT系数用于所有失踪的描述,分别。

该方法的一些重要特性如下。(我)在只有一个描述数据丢失的情况下,该方法可以重建帧,而不会产生任何错误。然而,数据丢失在多个描述需要插值所示进行(4)。(2)尽管该方法引入了冗余的基础层,其性能方面bit-per-pixel视频时不包括高频内容对象边界方法传统的多相MDC编码。这是由于这样的事实,信息传播在每个描述之间的差异和基地层四描述的(平均)很小,因此,增强层非常小。(3)该方法提供了可能性空间和信噪比可伸缩性视频通过分解每一块空间和编码数据作为基础和增强层。空间可伸缩性是通过提供只有一个描述这不会导致任何漂移误差。信噪比可伸缩性是通过提供基极层只有在这种能力会导致质量退化由于漂移误差。在[7)作者提出一个方法,分解多余地传输的视频为多个描述downsampled或低频版本的描述框架。虽然这项工作的方法是类似于[描述的方法7),该算法定义增强层,因此存在的插值重建视频包丢失是不同的。的作者(7)使用DWT创建一个低分辨率公共基础层和传送每个部分波段的高频系数作为增强层在每一个描述。在我们的方法增强层之间的区别是公共基础层和系数描述的块被传播。这让我们完全重建帧单描述时丢失。

4所示。实验结果

在接下来的段落我们介绍实验来验证该方法的性能。

4.1。测试设置

该方法是使用一些视频序列实验验证。我们已经选择了视频序列,它们包含低频平滑帧和高频率的内容。表1列出了测试视频和它们各自的属性。

编码是基于MPEG标准的假设的一个框架有相同的参考系,和共和党长度是固定IBBBPBBBPBBBPBBB 16帧类型。多相分解后的宏模块到模块分开,每一块motion-compensated,因而有其自身的运动向量。将采样率的色度值4:4:4。

一组实验我们已经考虑如下。(我)该方法定义了一个基础层是重复描述。第一个实验验证这种冗余的影响在bit-per-pixel每个测试视频的价值。自bit-per-pixel值依赖于频率的变化每一帧的内容,为了更清楚地说明这些变化,我们比较了framewise bit-per-pixel值在每个视频序列。(2)我们建议的方法的一个重要特性是其无损视频交付时只有一个描述丢失。在第二组实验中,我们比较我们与插值方法的性能的方法。(3)第三组实验考虑两个——或者three-description损失情况。我们将演示实验方法和插值方法的性能。图6描述之间的性能比较结果提出方法和多相分解的视频当所有交付完整的描述。

多相方法的更好的性能是由于造成的冗余重复基本层的方法。减少冗余和PSNR值对于任何给定的比特率是我们支付的价格更好的鲁棒性与包损失。很明显,从图6该方法性能更好(接近多相方法)在低比特率视频的高频内容就被消除了。

在第二组实验中,我们假定一个描述迷失在整个视频序列。描述使用方法和插值计算使用平均交付的描述、双线性插值和边缘检测。图中所描绘的一样7和8,该方法优于插值方法。低比特率的性能差异但是很近。此外,在频率较高的视频内容,该方法显示出更好的性能(图8)。

我们最后的实验评价该方法的鲁棒性损失存在一个以上的描述。实验包括two-description损失的情况下。这是因为three-description损失减少的原因更换视频帧与交付的信息描述,这意味着不进行插值。描述了视频序列中随机选择但仍然固定在传播。这种假设是兼容的传输通道误差可能会持续几秒钟造成损失连续帧的一个描述。图9描述了第三个实验的比较结果表明其优势插值方法。

实验结果表明,该方法优于传统的插值方法在视频编码中帧的损失。该方法包括四个描述的平均在每个其中之一。这意味着当两个描述丢失,使用四个描述和增强层的平均交付的描述,我们可以获取增强层的平均损失描述。这个属性的主要原因是该方法的更好的性能在一个以上的描述。的方法13相比之下,我们的方法。我们认为two-description损失我们的方法只有一个描述损失的方法13),因为我们的方法可以阻止没有失真,当只有一个描述丢失。最大的减少我们的方法是4.1 dB在PSNR值的方法13)可以达到8分贝PSNR质量损失。图10描述了PSNR值减少所有测试的帧序列。我们认为两个描述迷失在每个共和党从一个随机的位置。

我们需要澄清方法的一个重要特性是,更高的比特率,增加高频内容发送每个描述。这增加导致更大的增强层,降低了该方法的性能。然而,有非常不同的DCT系数描述(如正系数在一个描述和负系数)如果像素块只能发生高度不同。考虑到像素块用于将采样得到的每个描述宏模块相同通过多相,在实践中增强层很小。大差异可能来自宏模块时的边界具有鲜明对比的对象或非常薄的对象是我们的方法的主要担忧。然而,由于这些区域是整个框架相比比例小,总体性能不发生戏剧性的变化。

作为一个主观的比较,从序列Stefan框架的一部分已经重建假设两个描述丢失。图11描述了原始数据(Y分量),使用该方法重建,使用双线性插值和重建。

5。结论

一种空间分解成多个视频描述的新方法。该方法解决了质量退化由于低通滤波插值效果描述时丢失。该方法能无损恢复视频的形式失去一个描述。这个特点是添加了额外的冗余成本来描述。在two-description损失的情况下,该方法优于插值方法。之间的性能差异提出了方法和插值方法bit-per-pixel值增加而增加。这是一个迹象表明该方法更适合传输高质量的视频通信错误的存在。此外,可用性的基础,在每个描述提供了一个增强层的可能性空间和信噪比可伸缩性视频使该方法适用于网络带宽波动。的扩展方法可以将视频分解为超过4描述,结合该方法的插值方法估计增强层数据当多个描述丢失。

利益冲突

作者宣称没有利益冲突有关的出版。

引用

1. a . Nafaa t·塔勒布,l·墨菲,“前向纠错策略在无线网络流媒体,”IEEE通讯杂志,46卷,不。1,第79 - 72页,2008。视图:出版商的网站|谷歌学术搜索
2. r, s . l . Regunathan, k .玫瑰,“视频编码与最优国米/ intra-mode切换丢包恢复,”IEEE在选定地区通讯》杂志上,18卷,不。6,966 - 976年,2000页。视图:出版商的网站|谷歌学术搜索
3. C.-M。傅,w l。黄,C.-L。黄”,高效post-compression error-resilient 3 d-scalable视频传输数据包消除渠道,”IEEE国际会议上的音响,演讲,和信号处理(ICASSP ' 05),2卷,第308 - 305页,2005年3月。视图:出版商的网站|谷歌学术搜索
4. a . r . y . Wang Reibman,林,“多重描述编码视频交付”IEEE学报》,卷93,不。1,57 - 70,2005页。视图:出版商的网站|谷歌学术搜索
5. r . Bernardini m . Durigon r·莱l . Celetto和a·维塔利,“多相空间二次抽样多描述编码的视频流H264”《图像处理国际会议(ICIP ' 04)》5卷,第3216 - 3213页,2004年10月。视图:出版商的网站|谷歌学术搜索
6. j·贾h·金,“多相downsampling多重描述编码应用于h视频编码为基础,“IEICE交易基础电子、通信和计算机科学,E89-A卷,不。6,1601 - 1606年,2006页。视图:出版商的网站|谷歌学术搜索
7. t . shanableh S.-T。Hslang, f .人士”,为视频编码和解码方法和装置,”美国专利申请号12/108,680,2008年。视图:谷歌学术搜索
8. 美国高和h . Gharavi多描述视频编码在多路径路由网络,”《数字通信(ICDT 06年)国际会议上,42-47,2006页。视图:谷歌学术搜索
9. o·坎帕纳和r . Contiero h / AVC视频编码器基于多个描述标量量化器”学报40艾斯洛玛尔会议信号,系统和电脑(ACSSC 06年)太平洋格罗夫,页1049 - 1053年,加州,美国,2006年的10月。视图:出版商的网站|谷歌学术搜索
10. r . Venkataramani g·克莱默,v . k . Goyal“多重描述编码与许多渠道,”IEEE信息理论卷,49号9日,第2114 - 2106页,2003年。视图:出版商的网站|谷歌学术搜索|MathSciNet
11. v . k . Goyal“多重描述编码:压缩与网络”,IEEE信号处理杂志,18卷,不。5,74 - 93年,2001页。视图:出版商的网站|谷歌学术搜索
12. 弗兰奇,m . Fumagalli g•加蒂,r . Lancini”小说出错恢复3 d多描述视频编码方案,”程序的编码研讨会(pc ' 04)2004年12月,页373 - 376。视图:谷歌学术搜索
13. W.-J。蔡,J.-Y。陈,“联合时空错误隐藏多描述视频编码,“IEEE电路和系统视频技术,20卷,不。12日,第1833 - 1822页,2010年。视图:出版商的网站|谷歌学术搜索
14. t . Wiegand g·j·沙利文,g . Bjøntegaard和a . Luthra”概述h / AVC视频编码标准,“IEEE电路和系统视频技术,13卷,不。7,560 - 576年,2003页。视图:出版商的网站|谷歌学术搜索
15. c。金和S.-U。李,“多重描述编码的运动领域强大的视频传输,”IEEE电路和系统视频技术,11卷,不。9日,第1010 - 999页,2001年。视图:出版商的网站|谷歌学术搜索
16. v . k . Goyal和v . k . Goyal变换编码的理论基础”,IEEE信号处理杂志,18卷,不。5、9、2001页。视图:出版商的网站|谷歌学术搜索
17. 岑和p . c . Cosman”错误隐藏在视频解码,决策树”IEEE多媒体,5卷,不。1、1 - 7,2003页。视图:出版商的网站|谷歌学术搜索
18. m . t . y . Wang果园,a . r . Reibman”噪声通道的多描述图像编码配对变换系数”IEEE学报》1日研讨会多媒体信号处理普林斯顿大学,页419 - 424年,新泽西,美国,1997年6月。视图:出版商的网站|谷歌学术搜索
19. n Memon和吴x”,最近基于上下文devolpements predictiv e无损图像压缩技术,”电脑杂志,40卷,不。2 - 3、127 - 136年,1997页。视图:谷歌学术搜索

版权

版权©2014罗亚Choupani et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。