用于容错H.264/AVC视频流服务的网络感知参考帧控制

摘要

为了在移动通信网络中提供高质量的视频流服务，需要大带宽和可靠的信道条件。然而，移动通信服务仍然面临有限的带宽和变化的信道条件。流式视频系统使用多个参考帧通过运动估计和补偿来压缩视频。多参考帧结构可以降低视频的压缩比特率；但是，当通道中的视频损坏时，它也会导致严重的错误传播。尽管流式视频系统包括错误恢复工具以减轻质量下降，但错误传播是不可避免的，因为在多参考帧结构下无法刷新所有错误。本文介绍了一种新的网络感知容错流媒体视频系统。所提出的系统可以通过基于信道状态控制参考帧的数量来缓解错误传播。通过与使用静态参考帧数的传统流媒体系统的比较，证明了该方法的性能增强。

1.导言

如今，高质量的视频内容是多媒体服务的基本要求，在移动通信系统中变得重要。由于强大的处理器成本低，以及移动通信服务的进步，消费者能够在其手持设备上使用高清多媒体流服务。这些多媒体流数据已被压缩以进行存储和传输。尽管许多服务提供商开发并提供了先进的移动通信服务，但由于不同的信道条件和无线信道的可用带宽有限的可用带宽，它仍然难以可靠地传输高质量的视频流。

目前的流媒体视频系统通常在编码器和解码器上分别使用运动估计和补偿程序，以获得较高的编码效率。这个系统大大减少了编码的比特数，因为它利用多个参考帧来消除时间冗余。H.264/AVC和H.265/HEVC由于编码效率高，适用于信道容量有限的环境下传输高质量视频序列的流媒体系统[1]．

然而，如果编码序列被信道错误损坏，则损坏可以传播到相邻宏块（MBs）和帧。即使使用多个参考帧的运动估计可以显著减少必须编码的数据比特数，压缩序列也可能容易受到错误传播的影响。为了减轻错误传播的影响，流视频系统包括错误恢复工具。错误恢复工具预处理通过对每个宏块的编码序列重新排序或插入冗余数据，使损坏的块可以分散（特别是在突发错误的情况下），来恢复视频数据也就是说，错误恢复工具可以改善受损的视频。这些工具可以使编码的视频序列对错误更具鲁棒性，但由于额外的比特数，编码效率会降低[2]．在典型的误差恢复方法中，常用的是内部更新(IR)算法来避免失真视频序列在易出错网络上的误差传播。当IR算法作为一种误差恢复方法时，H.264/AVC运动补偿中使用的多参考帧结构最近被发现在存在传输错误的情况下降低了接收视频质量[3.，4]．出现这种效果，因为在解码器处刷新的IR编码刷新的块可能不用于多个参考帧结构中的下一个帧的进一步运动补偿;因此，不总是拆除传播的扭曲。

本文提出了一种新的控制参考帧数的网络感知流视频系统，用于在容易出错的网络上实现可靠的视频传输。为了保证错误鲁棒性和编码效率，本文提出的流媒体视频系统同时采用了多参考帧结构和容错工具。为了证明错误恢复力和编码效率之间的权衡，在性能评估中使用了各种IR和参考帧条件。

本文组织如下2描述了典型的视频流系统。第节介绍了建议的容错系统3.实验结果在部分中提出4．最后，部分5提出了我们的结论。

2.典型的流媒体视频系统

２.１.多参考帧的运动估计

视频压缩的关键原理是消除冗余。通常，视频编码器通过去除时间、空间和统计冗余来压缩视频序列。具体来说，压缩策略中的运动估计和补偿通过消除帧间的时间冗余来提高编码效率。为了去除更多的时间冗余，典型的基于H.264/AVC和H.265/HEVC的流媒体视频系统使用多个参考帧进行运动补偿，并基于率失真优化(RDO)在其中选择最佳参考帧。然后搜索运动矢量，并对每MB的残差数据进行编码[5]．块的运动信息单独编码并通过网络传输;然后用它来重建原始块。

然而，这种压缩运动在不可靠的信道上可能被扭曲。如果在一个不可靠的信道上有由于丢包引起的错误，这些错误可以通过运动补偿程序传播到下面的帧中，即使有为了错误恢复而插入的内部刷新块[2]．此外，随着参考帧的数量增加，误差传播变得更严重。结果，使用多个参考帧的运动估计具有增加编码效率的优点;但是，它还使转移的视频序列对错误更稳健。

２.２.对传输错误的错误恢复能力

为了减轻错误传播导致的质量下降，流媒体视频系统包括错误恢复工具。这些工具在编码器中运行预处理，以使已编码的数据更健壮地应对错误。在任意片排序(ASO)中，每个片组可以以任何顺序发送，并可以(可选地)按照接收顺序解码，而不是按照通常的扫描顺序;柔性MB排序(FMO)也对MB的编码顺序进行重新排序。即使切片和mb被连续损坏，这些错误仍然分散并定位在邻近的编码单元中，因为这些单元在解码器中被重新排序[1]．此外，数据分区(DP)提供了将更重要和不太重要的语法元素分离到不同数据包中的能力。此外，当编码器插入额外的图像数据(如冗余切片)时，还增加了冗余切片(redundant slices, RS)，从而提高了对错误的鲁棒性[6]．

红外编码方法是传统流媒体视频系统中广泛应用的典型抗误码工具之一。当流编码器执行运动估计来编码mb时，它使用RDO来决定它们的编码模式(intra, inter, or skip)。然而，IR方法强制每个帧的MBs用内编码模式进行编码。在不显著增加RD成本的情况下，内嵌的MBs减少了误差传播，提高了对传输误差的鲁棒性。此外，为了保证所有mb最终都被刷新，并且错误不会无限传播，可以使用随机intrarefresh (RIR)，它以循环模式随机选择mb。然而，RIR方法有一些局限性，因为RIR随机决定了内嵌MBs的位置。即RIR不识别视频序列中运动目标与背景区域之间产生的比特率差[7，8]．此外，当使用多个参考帧进行运动补偿时，错误刷新能力会被削弱，因为即使通过IR方法刷新了前一帧的MBs，损伤仍会传播到下一帧[3.，4]．

2．3.视频流的RTP和RTCP

在通过视频编码层对输入视频流进行编码后，H.264/AVC编码器将编码比特打包成RTP数据包，用于网络传输。RTP是一种传输层协议，已开发用于在IP和UDP之上传输编码视频序列[9].RTPs伴生协议RTCP用于监控媒体数据的传输状态，并提供包括接收质量在内的反馈信息[10，11]。流媒体视频服务器向所有客户端多播RTP类型为发送方报告（SR）的RTP视频数据包，客户端使用接收方报告（RRs）进行回复，以告知发送方和其他接收方服务质量。通过这种方式，RTCP RR数据包可以提供关于延迟抖动和数据包丢失性能的端到端反馈信息[12，13]．基于这种反馈信道信息，编码器可以改变编码策略以减少误差并适应不断变化的网络条件。

3.建议的网络感知流式视频系统

3.1.流媒体视频系统的要求

通常，为了在初始视频编码期间建立的高编码效率，参考帧的数目被设置为大。在最近的视频编码方法中，这种多参考帧结构优于单个参考帧，尽管它需要大量的帧存储器和用于运动估计和补偿的计算能力。然而，在错误的网络中，多参考帧编码方法与典型的错误恢复功能（如RIR）相结合会使整体视频质量变差[3.，4]．

典型的纠错方法，即FMO [2]、ASO和DP在多参考框架结构下不能保持其弹性特征。因此，需要采用多参考框架结构和弹性函数相结合的策略来实现高编码效率和强容错特性。本文介绍了该策略。

3.2. 建议的网络感知错误恢复能力

本节提出了一种网络感知的容错流视频系统。该系统监控客户端发送的RTCP反馈消息(包括通道状态)，并管理参考帧的数量，以减少错误的传播。此外，本程序还可以增加每帧强制内插的mb数量。

数字1展示了提出的流服务器和客户端系统。流服务器有额外的功能来监视以RTCP包的形式发送的信道状态，并根据信道状态改变插入到帧中的参考帧和内编码mb的数量。在确定合适的参考帧和mb数量后，流媒体服务器对视频进行编码，并将其组装成RTP包。分组单元的大小由编码器的输入参数决定;然后，数据包被传送到网络[14]。在流媒体客户端，应观察解码视频序列的质量，并将其返回到流媒体服务器，以控制错误恢复能力。然而，由于客户端没有未损坏的参考帧，因此很难测量解码视频的质量。因此，所提出的流式客户端测量细化的分组丢失而不是解码的视频质量。通过指数加权移动平均（EWMA）方法平滑，该方法定义为 在哪里是一个权重因子，用于定义平均值和平均值的加速度是估计的数据包丢失率（PLR）。发送的对比预定义的PLR阈值在流媒体服务器上确定参考帧的数量。PLR比较和控制参考帧和内部编码MBs数量的过程如图所示2．

我们提出了一种在基于多参考帧的流式视频编码系统中实现高错误鲁棒性的策略。建议的流服务器减少了参考帧的数量来这是最小的参考框架，何时大于．当发现有损坏的视频帧时，流式视频系统使参考帧的数量变小。然后，Intracoded MB的刷新特征可以有效[3.，4]．即在多个参考帧结构中，使用RIR编码刷新的更多块对下一帧进行进一步的运动补偿。传输信道稳定后，即少于，流式视频编码器将参考帧的数量增加到，这是最大的参考帧数。此外，对于代码内模式，MBs数越高，，可与建议的系统一起使用，以实现更高的错误恢复能力，因为当错误传播得到缓解时，内部刷新将更有效。

这样，所提出的系统可以在高编码效率(对于稳定信道)和错误鲁棒性(对于不稳定信道)之间取得平衡。

4.业绩评价

4．1.实验装置

所提出的网络感知参考帧控制系统通过监测信道状态并进行适当调整，有望实现编码效率和错误鲁棒性。

对于实验，使用名为JM的H.264 / AVC标准的参考软件。众所周知，JM包括编码器，解码器和RTP_LOSS模型。具体地，所提出的误差弹性方法已添加到所提出的流式视频系统的JM的编码器中。桌子1显示了实验中使用的编码器参数。本文提出的网络感知流视频系统与传统的流视频系统使用相同的编码参数。此外，两个系统编码相同的测试序列，如表所示2在基线配置文件中，将压缩视频序列打包成RTP数据包。为了比较所建议系统在不同条件下的性能，使用了描述不同运动活动的输入视频序列。例如Akiyo.和汽车无线电话序列有慢动作和静态背景。因此，当视频包丢失时，它们比高活动的视频序列受到的损害更小。相比之下,足球运动和足球序列由快速运动组成。

为了模拟各种易于易置的无线网络，突破模式和用于分组丢失的随机模式，如图所示3.．此外，为了观察误差弹性的性能，降低错误传播，应考虑严重的信道错误条件。也就是说，在启动流视频开始后2秒钟的模拟时间，20％的分组帧以突发误差和随机误差丢失，在一秒钟内丢失。要解码和分析损坏视频流的质量，使用JM的解码器。如果传输的视频数据包丢失，则帧副本用于解码器的错误隐藏。这在流客户端被观察到被发送到服务器，并被期望在传输时间之后被接收到．确定在1 s和2 s之间具有均匀的分布。因此，在信道错误开始之前需要高编码效率，而频道错误后纠错功能更高。在我们的实验中，我们设置了最小和最大参考框数，和分别为1和7。同时，针对RIR产生了每CIF图片的6和18个陷入困境的MBS。

在本实验中，所提出的网络感知参考帧控制系统使用其中之一或者基于信道条件命名为NARF，并与NRF1和NRF7两种传统流媒体系统进行了比较。这里，NRF1和NRF7分别是使用静态参考帧数1和7的传统系统。

4．2．实验结果与分析

在第一个错误弹性实验中，我们使用突发错误模式来模拟移动网络中更糟糕的情况，如切换。如图所示3.，观察试验序列的损坏持续时间为1小时 s在模拟时间2时 s、 测试序列的所有PSNR结果如图所示4- - - - - -11．在丢包发生之前，NRF7常规系统在所有测试序列上的PSNR结果都比NRF1强(如表所示)3.)。然而，NRF7的PSNR结果可能会随着视频损伤的累积和传播而变得更糟，即使插入了6和18 Mb。也就是说，在多参考帧结构的情况下，RIR的错误恢复特性不能正常工作。然而，NRF1倾向于生成更好的错误恢复特性，因为其单一参考帧结构可以减少错误传播。具体地说，NRF1在两个足球运动和足球序列的抗误码能力比两者都强Akiyo.和汽车无线电话序列，因为足球运动和足球由快速运动组成的序列比其他序列有更严重的误差传播。此外，我们还可以衡量NRF1和NRF7之间的另一种权衡。NRF7可以利用多参考帧中远位置(未损坏)帧中的块在当前帧中进行运动补偿，因此，当前一帧有少量损坏，即一帧或两帧损坏时，NRF7部分表现出比NRF1更好的PSNR性能。因此，即使检测到丢包，NRF1也不一定比NRF7表现出更好的PSNR。

另一方面，由于其信道适应性，所提出的鼻系统比NRF7表现出比NRF7更强的误差稳健性。建议的匕首用途在无差错的情况下提高编码效率，而对于识别信道错误后的错误恢复性能。事实上，纳鲁夫维持在向流媒体服务器通知频道错误的时间段内。此编码平衡和使建议的NARF始终优于NRF7，在某些错误条件下优于NRF1。它在编码效率和错误鲁棒性方面都是有效的。图12呈现具有代表性的足球在各种参考框架条件下编码的序列。另外，各测试序列观测到的平均PSNR值如表所示3.．其中，阶段1表示仿真时间0 - 2秒的无错误周期，阶段2表示仿真时间结束2秒的错误周期。在第一阶段，NRF7和NARF使用表现比NRF1更好。然而，在第二阶段，NRF1和NARF的使用表现优于NRF7。也就是说，所提出的NARF在错误的时间内管理其编码，以便在无差错时间和NRF1处工作。

在第二次误差恢复实验中，我们利用标准C库中的随机函数和JM参考软件中的rtp_loss模型，将随机误差模式应用到仿真中。这里的编码条件与第一次实验相同(见表)1和2使用)。

NARF和常规流系统在随机误差下的实验结果如图所示13- - - - - -20.．从2秒的模拟时间来看，1秒内会丢失随机的帧数。与第一次仿真相同，在RIR6和RIR18情况下，NARF系统的编码效率和容错能力均优于NRF1和NRF7。数字21呈现具有代表性的足球运动不同参考系条件下的序列。试验序列观察到的平均PSNR值如表所示4．

观察结果表明，所提出的流媒体方法在编码效率和容错性之间取得了平衡，能够有效地实现更可靠的流媒体视频传输。

结论

在最近的移动和无线通信环境中，对可靠的实时流媒体视频服务的需求是巨大的。然而，当消费者对流媒体视频的需求增加时，这些频道仍然不可靠。因此，视频编码标准通常包括应对错误传播的防错工具和多种参考帧结构，以实现更高的编码效率。然而，容错工具降低了编码效率。此外，多参考帧结构在运动估计和补偿中采用了更高的编码效率，干扰了传统的误差恢复工具。在本文中，我们提出了一种基于信道状态的网络感知参考帧控制系统，该系统在编码效率和容错能力之间保持平衡。实验结果表明,该视频系统提供更好的PSNR大约比传统的视频流系统从0.2到0.5 dB (NRF1)使用单独的参考系时不损坏的视频帧和更好的PSNR值从0.3到3 dB比传统系统(NRF7)使用7参考帧视频帧时损坏。即，所提出的流视频系统通过控制基于信道状态的参考帧数来保持较高的视频质量。此外，该系统还可以采用信道自适应内刷新方法提高误差鲁棒性。

竞争利益

两位作者宣称他们没有相互竞争的利益。

致谢

本研究得到了朝鲜大学2015年研究基金的支持。

工具书类

1. T.Wiegand、G.J.Sullivan、G.Bjøntegaard和A.Luthra，“H.264/AVC视频编码标准概述，”IEEE视频技术电路和系统汇刊，第13卷，第2期7，页560 - 576,2003。查看在：出版商的网站|谷歌学术搜索
2. T.H.Vu和S.Aramvith，“基于FMO和错误传播的H.264视频编码在易出错信道中的错误恢复技术”，年IEEE多媒体与博览会国际会议记录（ICME'09），页205-208，纽约，纽约，美国，2009年7月。查看在：出版商的网站|谷歌学术搜索
3. S. Moiron，I. Ali，M.Ghanbari和M.Feury，“H.264 / AVC循环内刷新线的多个参考框架的限制”电子信件，第47卷，第47期。2, pp. 103-104, 2011。查看在：出版商的网站|谷歌学术搜索
4. S.I.Chowdhury，J.-N.Hwang，P.-H.Wu，G.-R.Kwon和J.-Y.Pyun，“错误网络上H.264/AVC流式视频的容错参考选择”，年IEEE消费电子国际会议论文集，第418-419页，IEEE，美国内华达州拉斯维加斯，2013年1月。查看在：出版商的网站|谷歌学术搜索
5. P.Nunes，L.D.Soares和F.Pereira，“H.264/AVC视频编码的抗差错宏块速率控制”，年IEEE图像处理国际会议论文集，页2132-2135，圣地亚哥，加州，美国，2008年10月。查看在：出版商的网站|谷歌学术搜索
6. Xu Y.， Zhu C.，“用于H.264多描述视频编码的端到端速率失真优化描述生成”，IEEE视频技术电路和系统汇刊，第23卷，第9期，第1523-1536页，2013年。查看在：出版商的网站|谷歌学术搜索
7. R. M. Schreier和A. Rothermel，“H.264视频编码标准的运动自适应内部刷新”，消费电子产品的IEEE交易号，第52卷。1，页249 - 253,2006。查看在：谷歌学术搜索
8. X. Wang，H. Cui和K. Tang，“基于关注的自适应帧内刷新方法，用于鲁棒视频编码”清华大学学报英文版，第17卷，第1期，第67-72页，2012年。查看在：出版商的网站|谷歌学术搜索
9. H. Schulzrinne, S. Casner, R. Frederick, V. Jacobson，“RTP:实时应用的传输协议”，技术代表RFC 3550, 2003。查看在：谷歌学术搜索
10. M. Sivabalakrishnan和D. Manjula，“在3G上使用RTCP进行多媒体流媒体的决策反馈分析”计算机与通信工程国际会议论文集(ICCCE '08)，PP。2008年5月，马来西亚吉隆坡IEEE 1023-1026。查看在：出版商的网站|谷歌学术搜索
11. H.Gharavi，K.Ban和J.Cambiotis，“多径衰落信道上IP视频通信基于RTCP的帧同步反馈控制”，年IEEE通信会议的诉讼程序，卷。3，PP。2004年6月1512-1516。查看在：谷歌学术搜索
12. N. Baldo，U. Horn，M. Kampmann和F. Hartung，基于RTCP反馈的基于RTCP反馈，用于3G无线多媒体流的传输速率控制，“第十五届IEEE个人、室内和移动无线电通信国际研讨会论文集(PIMRC '04)，第3卷，第1817-1821页，IEEE, 2004年9月。查看在：谷歌学术搜索
13. 王丽丽和陆俊德，“基于RTCP分层反馈的IPTV质量监控系统”，年国际电子、通信和控制会议论文集(ICECC’11)，PP。中国宁波870-873，2011年9月。查看在：出版商的网站|谷歌学术搜索
14. S.Wenger，“H.264/AVC over IP，”IEEE视频技术电路和系统汇刊，第13卷，第7期，第645-656页，2003年。查看在：出版商的网站|谷歌学术搜索
15. k . SuhringH.264/AVC参考软件- jm 17.2, 2010,http://iphome.hhi.de/suehring/tml/．

版权

版权所有©2016 Hui Seon Gang等人。这是根据知识共享署名许可协议如果正确引用了原始工作，则允许在任何媒体中的不受限制使用，分发和再现。