率失真和Rate-Energy-Distortion评估Compressive-Sensing视频编码

文摘

Compressive-Sensing视频编码(CSVC)是一种新的视频编码框架基于Compressive-Sensing (CS)的理论。介绍了评估的率失真性能和rate-energy-distortion性能CSVC通过比较它与流行的混合视频编码标准h和分布式视频编码(")系统发现。实验结果表明,CSVC达到一个贫穷率失真特性相比,h和发现,但其rate-energy-distortion性能有明显的优势;此外,其能源消耗的编码是大约不变无论重建质量。它可以得出结论,与有限的能源预算,CSVC优于h和发现,但它的率失真性能仍需改进。

1。介绍

视频通信是一个重要的类型的数据通信。压缩编码之前必须完成的高维视频信号在传播渠道有限的带宽。因此,视频压缩编码已成为数字视频通信领域的研究热点。国际视频编码标准h . [1)和ISO / IEC联合开发ITU-T,已广泛应用于各种视频技术和h取得巨大的商业成功。h标准使用运动估计和离散余弦变换来消除视频序列的时间和空间冗余,及其编码的复杂性远远大于解码复杂度。例如,当测试序列工头CIF格式是由h编解码器处理,编码时间是50到90倍,只要解码时间在不同的量化步骤,这意味着h具有较强适用性的情况一个编码和多个解码、视频广播和视频点播等。对于无线通信设备,长期编码意味着减少经济和实用性;因此,视频编码方法编码复杂度较低的需要作为替代。在这种情况下," (2),由怀纳首次提出和齐夫信息编码理论3),收到了广泛的关注。在陷落的初始阶段的研究中,主要包括Wyner-Ziv视频编解码器算法编码(4),棱镜视频编码(5),分层Wyner-Ziv视频编码(6,"的方案基于小波编码(7]。欧盟提高编码性能的目的,科学研究机构提出了特殊的研究计划,而且,现有的研究基础上,开发一个"的标准程序叫做发现(分布式编码视频服务)8]。发现不仅使低视频编码性能进一步提高。但反馈通道(9)和虚拟通道(10在发现计划备受争议,这是一个重要的工程问题阻碍其推广应用。CS理论(11- - - - - -13)结合视频编码导致出现新的低视频编码方案称为CSVC [14]。该计划仍然分布特征和不依赖于反馈通道或虚拟通道,具有重要的工程应用潜力,吸引了许多学者的关注(15- - - - - -17]。

目前,仍然存在缺乏讨论CSVC之间的率失真特性的比较,h和发现。它将有助于澄清性能改进的上限CSVC通过获得的结果之间的性能差异三个视频编码方案。率失真性能不能显示编码能耗之间的关系和视频重建质量。因此,rate-energy-distortion性能(18)也需要客观评价CSVC, h和发现。本文首先总结了h和发现的基本框架和技术细节。接下来,一个典型的算法CSVC将详细描述。最后,在理论阐述的基础上,率失真性能和rate-energy-distortion三个视频编码方案的性能评估,和之间的性能差异三个视频编码方案然后充分讨论。实验结果表明,在CIF视频的测试,分别命名公共汽车,足球,工头和移动的率失真性能,h是最优,发现虽然CSVC是最坏的,从另外两个大的性能差异;但rate-energy-distortion性能而言,CSVC是最优的,发现,和h是最差的。结果也显示出的能源消耗CSVC大约是相同的重建质量,不管,h和发现有密切相关性恢复质量和编码的能源消耗。结果,可以得出结论,当低能耗要求,CSVC程序可以充分发挥它的优势,但是它的率失真性能仍需改进。

2。典型的视频编码方案

2.1。h .

h系统功能分为两个水平:视频编码层(VCL)和网络抽象层(部分)。其编码框架如图1。在编码过程中,有两种选择来预测当前图像块:interprediction和intraframe预测。当采用interprediction,当前块的运动矢量运动估计根据获得的参考块,然后预测框架可以通过运动补偿方法;当使用intraprediction时,当前帧的预测块的加权平均选择当前块的相邻块解码。预测框架确定后,编码过程的主要步骤如下。

步骤1。计算剩余当前块之间和预测价值。

步骤2。获得量化系数通过改变和量化。

步骤3。形式重新排序和熵编码的位流量化系数。

步骤4。传输的比特流解码器通过NAL;同时,使用位流的一部分,这可能是解码在编码器端,作为参照系。

h的核心技术主要体现在其改善intraframe和帧间预测编码,例如,使用4×4整数离散余弦变换技术,而不是前8×8离散余弦变换技术在逆变换,以避免不匹配。

2.2。发现

发现系统的编码框架如图2。编码器端进行视频处理组的照片(共和党),其长度由具体情况决定。共和党的长度将增加到减少时间冗余图像包含少量的运动;另一方面,可以相应地缩短长度如果有大量的运动。为每个组,视频帧分为WZ框架和关键帧。h用于intracoding和关键帧的解码;同时,WZ框架是由Wyner-Ziv编码器编码和解码过程的核心步骤如下,因为它的复杂性。

步骤1。从关键帧提取方面的信息。

步骤2。通过虚拟通道模拟提取方面信息生成相关噪声。

步骤3。执行上的软输入计算相关噪声和转换后的信息。

步骤4。验证信息传播的软输入计算结果从编码器来判断是否成功与否的解码。

在信道编码过程中,发现使用低密度奇偶校验(LDPCA)代码积累,rate-compatible和接近的能力,所有类型的渠道相比,涡轮的代码。整体系统的复杂性将增加,因为请求发送的累积综合症的编码器端解码器的一面。因此,最低数量的综合症,每个位平面可以传输设置基于Wyner-Ziv率失真约束在发现解码器端减少请求的数量,从而获得更高的压缩效率。

3所示。Compressive-Sensing视频编码

CSVC系统遵循WZ视频编码系统提出Wyner-Ziv et al。4)的方式也将视频流分成关键帧和nonkey框架,和两种不同的方法用于实现编码和解码的两种类型的框架。关键帧,采用intraframe传统视频编码框架,或高速CS编解码器介绍,以确保高质量的重建的关键帧。nonkey帧数,低利率CS测量采用。信息是首先提取高质量的关键帧,然后结合测量向量的联合重建nonkey帧。早期研究的分布式压缩感知(DCS)视频,DCS理论第一次被提出(19),这也证明了分布式编码和CS的组合的可能性。从那时起,国内外学者耗费精力的研究DCS视频。典型的例子是分布式视频编码使用压缩采样(DISCUCS),提出Prades-Nebot et al。20.],提出的分布式视频压缩传感(迪斯科舞厅),做et al。21),和改进的迪斯科舞厅,Tramel和福勒(提出的22]。上述研究的基础上,我们提出了CSVC系统性能优越在[14]。在本文中,我们将评估h,发现,CSVC系统的率失真性能和rate-energy-distortion性能。编解码器的CSVC过程系统在下文描述。

3.1。编码器的框架

编码器CSVC系统框架如图3。首先,输入视频序列分为几个共和党,关键帧和nonkey帧分离。然后,关键帧和nonkey帧分为不重叠的子块的大小像素,每一块安排在光栅顺序列向量的长度()。最后,测量矩阵构造计算每一块的测量向量如下: 在哪里和表示th子块关键帧和nonkey框架,分别和是由随机测量矩阵构造的阿达玛矩阵。关键帧,测量矩阵的大小是,所以测量速度。nonkey帧数,测量矩阵的大小是,所以测量速度。

然后测量向量和块将传播到量化器形成位流。CSVC系统使用非均匀量化器基于差分脉码调制(DPCM),简称DPCM-NQ,首先计算剩余相邻子块之间的测量值来减少编码冗余,然后量化残余。考虑到高频的小的剩余价值,使用非均匀量化过程每个子块的残余为了降低量化误差。假设的测量的残余th子群是,它可以根据压缩法如下: 在哪里当前帧的最大测量残余,代表符号函数,是10。在逆量化,估计的价值计算使用以下减压公式: 后剩余的每一块量化,量化的数据块进行霍夫曼编码,并封装成数据包被发送到解码器。

3.2。译码器框架

CSVC系统的译码器框架如图4。收到数据包后在解码器端,测量向量关键帧和nonkey帧可以通过霍夫曼解码和逆量化。关键帧,intraframe重建模型如下: 在哪里 是矩阵的稀疏变换的视频帧,代表了正则化因子。重建模型(4)可以通过多种解决CS静止图像重建算法。以确保高质量的复苏的关键帧,CSVC系统使用多假设平滑Landweber迭代算法用于(22解决模型()4)。

nonkey框架,我们首先获得信息当前nonkey逐进行相邻的边信息预测重建的关键帧,然后计算残留测量向量之间的测量向量的每一块及其方信息如下: 在哪里 (6可以转换成) 在哪里之间的残余nonkey框架和边信息。根据(8),剩余的重建模型可以建立nonkey框架如下: 在哪里剩余的稀疏变换矩阵吗和表示正则化因子。剩余的重建模型(9)仍然使用Landweber迭代算法来解决。最后,重建nonkey框架可以计算如下: CSVC系统的特点构造根据上面的编码过程如下:()发现相比,CSVC系统消除了虚拟通道和反馈通道,从而减少工程的难度;()由于没有计算机科学测量和图像内容之间的相关性,确定编码速率的测量速度,这使得它更容易CSVC系统控制编码速率;()每个测量值包含所有的图像信息;因此,它很容易实现可伸缩编码;()可以提高数据安全性的随机测量矩阵的生成。上述特性赋予CSVC系统有更多的工程价值,使其成为一个潜在的新"的计划。我们更关心CSVC之间的能耗比较的编码系统和h和发现,所以,在实验部分,编码三个系统的能源消耗将详细评估。

4所示。实验结果和分析

h的表现,发现,和CSVC评估,分别用四个标准视频序列命名工头,公共汽车,移动,和足球在CIF格式。h .采用JM19.0标准编码配置模型,并实现了模内;发现使用默认编码配置;和CSVC采用实验参数配置14]。三个编码器的率失真和rate-energy-distortion表演相比,在率失真编码速率和峰值之间的关系反映了限幅比率(PSNR)而rate-energy-distortion反映了编码时间和PSNR值之间的关系。使用相同的实验平台,编码时间能量消耗成正比;因此,它可以表示编码能源消耗水平。实验平台是MATALB R2012b;计算机系统是64位的Windows 7操作系统安装8.00 GB的内存和英特尔酷睿i7 - 4900处理器的频率为3.60 GHz。

4.1。评估对率失真性能

图5显示了h的率失真曲线,发现和CSVC编码器在不同测试视频序列。从图可以看出5整个重建视频的PSNR值处理不同编码器一直生长在一个积极的趋势当代码率增加。总的来说,h和发现的编码效果总是比CSVC编码器。测试视频公共汽车和足球相同的代码的速度,h的视频重建效果是最好的;为工头和移动,速度相同的代码,具体代码速度范围内,发现更好的编码效果比h。可以看出,最优h的率失真性能,发现之前,CSVC是最差的,从其他两个有一个很大的性能差异。对于CSVC,测量速度决定了比特率。测量速度是0.05时,比特率大约是6000 kbits / s。如果我们进一步减少测量率,比特率将低于6000 kbits / s。重建视频的平均PSNR值逐渐减少与测量速度线性递减的。PSNR值的变化曲线是光滑的,PSNR值不可能突然降低时,比特率下降到低于6000 kbits / s。

4.2。对Rate-Energy-Distortion性能评价

图6显示了h rate-energy-distortion曲线,发现和CSVC编码器在不同测试视频序列。从图可以看出6对于任何视频,在同样的PSNR值,CSVC的编码时间是最短的,发现,和h是最长的。特别是CSVC的平均编码时间只有3秒,这意味着能源消耗的CSVC远低于发现和h复苏在同一水平。随着重建视频的PSNR值增加,h和发现的编码器时间逐渐增加。但是编码器的变化时间发现框架下陡和h框架更温和,这表明,h依赖高能源消耗的推广性能,并发现也需要一定的能量输入。CS测量计算的复杂性决定了能源消费的编码器。假设表示数量的视频帧和CS测量表示在一个视频帧的像素总数。CS测量的计算复杂度。因为远低于能源消耗非常小的变化,改变。然而,是重建视频质量的一个重要因素。可以提高重建质量有效的增量。因此,rate-energy-distortion曲线的斜率几乎是垂直的,表明能源消耗的小投资可以重建质量的显著提高。可以看出rate-energy-distortion CSVC的性能最优,发现之前,h是最差的。三国,能源消耗CSVC大约是不变的,不管重建质量,而h的重建质量和发现有很大的相关性与编码的能源消耗。

5。结论

本文进行了一次experiment-driven率失真和rate-energy-distortion表演CSVC算法的分析和比较他们与h和发现。率失真和rate-energy-distortion表演三个系统的评估在相同的实验环境。实验结果表明,CSVC的率失真性能从h和发现有一个很大的性能差异,但其rate-energy-distortion性能具有更大的优势;即快速提高重建质量并不依赖于编码能量输入。因此,对通信带宽的前提下有效地改善,CSVC可以用作候选人未来的无线视频通信,因为它的特性,它提供了无线视频终端能源消耗和计算能力的限制与更多的可能性。

目前,CSVC的率失真性能还不理想,还有一段路要走之前我们将CSVC投入实际使用。应该在以下方面改进CSVC的率失真性能。

(1)边信息估计。率失真性能CSVC大大相关方面信息的准确性估计,这意味着高质量的边信息极大减少了所需的供应负载从编码器。因此,寻找合适的运动估计算法来获取更加准确的边信息,实现最优解码重建将成为改善CSVC的率失真性能的关键。

(2)先验结构特征建模的视频帧。相同类型的图像通常有相似的结构信息。因此,重建模型可以由评估解码视频帧的结构信息和先验知识提取,这可以降低编码速率,提高重建质量。例如,统计相关性结构可用于图像变换系数和树结构可以采用小波系数。然而,由于自然图像的复杂性和不确定性,进一步的研究应如何利用先验知识来构建一个合适的模型。

(3)量化测量。均匀量化的主要方法是采用量化目前CS测量。但传统的熵编码方法压缩均匀量化值并不理想,因为之间的统计独立统一的量化值。然后,如何表达c值的比特数最少的信息理论的约束率失真编码定理是一个关键的主题下面的研究。因此,有必要提出一种新的非均匀量化的方法来建立量化值之间的统计相关性,特此设计一个新的熵编码方法匹配的统计相关性。

上述进一步研究在译码器改善CSVC的率失真性能,但CS测量编码器保证CSVC rate-energy-distortion性能的优势。因此,rate-energy-distortion性能不能同时提高CSVC的率失真性能的影响。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是支持部分由中国国家自然科学基金,在批准号61501393,部分重点科研项目的高校在中国的河南省,在格兰特16 a520069,部分青年信阳师范大学资助基金批准号下2015 - qn - 043,部分由科学研究基金会信阳师范大学研究生院批准号下2016 kyjj10。

引用

1. j . Ostermann j·博尔曼,p .列表et al .,“视频编码与h / AVC:工具,性能,和复杂性,”IEEE电路和系统杂志,4卷,不。1,7-28,2004页。视图:出版商的网站|谷歌学术搜索
2. 吉伦特b . a . m .亚伦,s .美国莱恩和d . Rebollo-Monedero“分布式视频编码”IEEE学报》,卷93,不。1,第83 - 71页,2005。视图:出版商的网站|谷歌学术搜索
3. 公元怀纳和j·齐夫,”源编码的率失真函数与侧信息译码器,”IEEE信息理论,22卷,不。1、1 - 10,1976页。视图:出版商的网站|谷歌学术搜索|MathSciNet
4. 答:亚伦,美国美国莱恩,r . Zhang和b·吉伦特“Wyner-Ziv编码视频:应用程序压缩和错误恢复能力,”数据压缩会议程序(DCC ' 03)雪鸟,页93 - 102年,犹他州,美国,2003年3月。视图:出版商的网站|谷歌学术搜索
5. r·普里a Majumdar, k . Ramchandran“棱镜:视频编码解码器范式与运动估计,“IEEE图像处理,16卷,不。10日,2436 - 2448年,2007页。视图:出版商的网站|谷歌学术搜索|MathSciNet
6. 问:徐和z Xiong,“分层Wyner-Ziv视频编码”2004年《视觉通讯和图像处理IEEE,页83 - 91年,圣何塞,加州,美国2004年1月。视图:谷歌学术搜索
7. 曾董l . w . Liu, w .,“运动基于细化的进步端版本信息估计Wyner-Ziv视频编码,“IEEE电路&系统视频技术,20卷,不。12日,第1875 - 1863页,2010年。视图:出版商的网站|谷歌学术搜索
8. x阿提加斯,j . Ascenso m .达赖s Klomp d . Kubasov和m . Ouaret”发现编解码器:体系结构、技术和评价”学报》26日的图片编码研讨会(pc ' 07)《里斯本条约》,页1103 - 1120年,葡萄牙,2007年11月。视图:谷歌学术搜索
9. j . Slowack j .Škorupa n . Deligiannis·兰伯特a . Munteanu r . van de机器人瓦力,“分布式视频编码与反馈通道的限制,”IEEE电路&系统视频技术,22卷,不。7,1014 - 1026年,2012页。视图:出版商的网站|谷歌学术搜索
10. c .英国和f·佩雷拉相关噪声建模有效像素和变换域Wyner-Ziv视频编码”IEEE电路和系统视频技术,18卷,不。9日,第1190 - 1177页,2008年。视图:出版商的网站|谷歌学术搜索
11. e . j .萤石、j·伯格和t .道,“强大的不确定性原则:准确的信号重建的高度不完整的频率信息,“IEEE信息理论,52卷,不。2、489 - 509年,2006页。视图:出版商的网站|谷歌学术搜索|MathSciNet
12. d . l . Donoho“压缩传感,”IEEE信息理论,52卷,不。4、1289 - 1306年,2006页。视图:出版商的网站|谷歌学术搜索|MathSciNet
13. e . j .萤石和m . b . Wakin介绍压缩采样:传感/抽样模式违背常识的数据采集、”IEEE信号处理杂志,25卷,不。2、21 - 30,2008页。视图:出版商的网站|谷歌学术搜索
14. r·李·h·刘,r .雪和李y”Compressive-sensing-based视频编解码器的自回归预测和自适应残余复苏,”国际期刊的分布式传感器网络文章ID 562840卷,2015年,19页,2015。视图:出版商的网站|谷歌学术搜索
15. x y . Liu朱、张l . s . h .秋”在相机传感器网络分布式压缩视频传感国际期刊的分布式传感器网络文章ID 352167卷,2012年,10页,2012。视图:出版商的网站|谷歌学术搜索
16. c . Di劳拉·d·Pajuelo和g . Kemper”小说SDTV-H速记式加密技术。264 / AVC视频编码。”国际期刊的数字多媒体广播卷,2016篇文章ID 6950592、9页,2016。视图:出版商的网站|谷歌学术搜索
17. y Lahbabi、e·h·伊本Elhaj和a . Hammouch P2PTV自适应流媒体的可伸缩的视频,“国际期刊的数字多媒体广播文章ID 283097卷,2015年,10页,2015。视图:出版商的网站|谷歌学术搜索
18. 美国Pudlewski和t .笛管音栓”,压缩视频流:设计和rate-energy-distortion分析”,IEEE多媒体,15卷,不。8,2072 - 2086年,2013页。视图:出版商的网站|谷歌学术搜索
19. d .男爵m . b . Wakin m . f . Duarte s Sarvotham Baraniuk r . g .,“分布式压缩感知,”http://arxiv.org/abs/0901.3403。视图:谷歌学术搜索
20. 马j . Prades-Nebot y, t .黄,“分布式视频编码使用压缩采样”程序的编码研讨会(pc ' 09),页1 - 4、芝加哥、生病,美国,2009年5月。视图:出版商的网站|谷歌学术搜索
21. 陈y, t·t·d·t·阮阮,l . Gan和t . d . Tran“分布式视频压缩传感,”学报》第16届IEEE国际会议上图像处理(ICIP ' 09)IEEE,页1393 - 1396年,开罗,埃及,2009年11月。视图:出版商的网站|谷歌学术搜索
22. e . w . Tramel和j·e·福勒,“视频压缩传感与多假设”程序数据压缩会议(DCC的11)雪鸟,页193 - 202年,犹他州,美国,2011年3月。视图:出版商的网站|谷歌学术搜索

版权

版权©2017 Bingyu et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。