SVC视频优化多层适应异构环境

文摘

可伸缩视频编码(SVC)是一种新的视频编码格式提供了可伸缩性的在三维空间(spatio-temporal-SNR)。在本文中,我们集中在适应信噪比维度。通常,一个SVC比特流可能包含多个空间层,每个空间层可能由几个投篮增强层。去见一个比特率限制,不同空间的细粒度的可伸缩性(投篮)数据层可以被截断在各种礼仪。然而,投篮层整体的贡献/集体视频质量是不同的。在这项工作中,我们提出一个优化框架来控制信噪比可伸缩性跨多个空间层。我们建议的框架的灵活性在分配资源(即。,b我trate) among spatial layers, where the overall quality is defined as a function of all spatial layers' qualities and can be modified on the fly.

1。介绍

上下文中的通用多媒体访问(UMA)、多媒体内容应该适应满足各种约束的异构环境(1]。在现有的媒体类型,视频内容强加了许多挑战一个透明的交付链的发展(2]。目前,主要有两种技术视频改编,即代码转换和可伸缩编码。由于代码转换的高复杂性,许多努力都集中在可伸缩编码的发展(3,4]。

可伸缩视频编码(SVC) [5)是一种很有前途的视频格式多媒体通信的应用程序。SVC格式,从最新的先进视频编码(AVC) [6),适合创建各种各样的比特率和高压缩效率。一个原始SVC比特流以不同的方式可以很容易地截断来满足各种设备和连接的特征和变化。三维的可伸缩性是可能的:空间、时间和信噪比。SVC的空间可伸缩性明智地将多个空间层组合成一个单一的比特流,已更好的编码效率比同播多个流的不同空间大小。颞支持可扩展性等级B的图片使易于截断和high-coding效率。此外,细粒度的可伸缩性(投篮)数据信噪比可伸缩性可以任意截断的比特率约束连接。通常,投篮数据截断以自上而下的方式(7),也就是说,从最高的空间层最低的空间层。

尽管可伸缩编码格式、特别是SVC提供灵活性删除编码比特流,有一种强烈的需求在各种情况下最优适应战略和解决方案(8]。近年来,许多研究都集中在适应mpeg - 4的投篮视频(例如,9,10]),比特流只包含一个空间层。在我们先前的工作(11,12),我们已经开发出一个MPEG-21-enabled适应系统,SVC比特流中适应全spatio-temporal-SNR空间。然而,目标仍是优化的质量只有一个决议。

在这项工作中,我们关注的投篮数据截断multispatial层(或多层)SVC比特流,以最大化的整体/集体质量空间层提供的比特流。例如,让我们考虑以下场景(图1)。假设一个监控录像是由SVC编码格式有两个空间层次,每一个投篮增强的数据。视频是构建两个流到远程用户将消费内容。第一个用户有一个电脑,将解码的最高空间层和第二个用户有一个PDA解码空间最低层。为了满足连接建筑的比特率,投篮数据将被截断。注意,投篮数据可能占很大一部分(例如,三分之二)的总比特率。

目前,上面的投篮数据比特流可以用一些方法被截断。与传统的自上而下的方法截断(7),最低的空间层总是最好的质量,最高的空间层可能会退化。相反,用的方法13),一些投篮低空间层中的数据可以删除,最高的空间层总是最好的质量。我们称这种方法为highest-max,暗示空间层的最高质量的最大化。应该指出的是,highest-max截断不是“自下而上”的截断,在截断仅仅是从最低的空间层最高空间层。稍后讨论,自下而上的截断不是有用的。

此外,在实践中从用户的需求可能是复杂和变体。例如,上面的两个用户请求一个“加权平衡”的品质(或两个空间之间的层);或者当一个关键(初级)用户终端设备之间移动,质量应该相应地重新分配。我们认为这一事实是一种用户协作(14],它应该被利用来改善整体/集体质量跨多个用户。

在本文中,我们提出一个通用框架适应SVC比特流有多个空间层。我们建议的框架的灵活性在分配资源(即。,b我trate) among spatial layers, where the overall quality is defined as a function of all spatial layers' qualities and can be modified on the fly. The adaptation process is first formulated as a constrained optimization problem. Then we propose a solution based on the Viterbi algorithm to find the optimal bitrate allocation between spatial layers. We will also show that the approaches of [7,13)是两种极端情况下的总体框架。

本文组织如下。节2,我们现在制定的问题。此问题的解决方案,这是维特比算法的基础上,提出了部分3。部分4介绍了实验显示我们的框架的有效性和性能。最后,结论部分提供5。

2。问题公式化

SVC的投篮截断进程可以在概念上见图2。假设我们有一个SVC比特流由2层空间。每个空间层由一个基本层和投篮数据质量,逐步提高空间层的信噪比质量。的投篮空间层较低的数据可用于层间预测更高的空间层。然而,投篮可以任意截断数据不管位置。总之,投篮数据给定空间层应该被截断的“自上而下”的,也就是说,最高质量的基本质量。

注意,基地质量层代表最低一层空间的质量。然而,在实践中,用户可以请求自己的质量阈值,这可能是高于基础质量层。

表示infoq“综合素质”(或集体质量)截断的比特流,N空间层的数量,R_我和问_我“投篮比特率”和相应的空间层的质量我,所请求的最小空间层的质量我。也让R^c表示所有的投篮的比特率约束数据的差异总体比特率约束和基础质量的比特率。适应框架可以制定如下:

最大化infoq受 infoq通常被定义为一个函数空间层的品质: 目前,我们计算使用加权和的总体质量如下: 在哪里w_我层的重量吗我,0 =w_我= 1。

(3不同空间层之间),协调质量改变的值可以调节w_我的。例如,节中描述的场景1,如果w₁= 1,w₂= 0,截断将自上而下的第一层空间总是有最好的质量。

应该注意的是,由于层间预测在SVC,更高的空间层的质量取决于品质,更确切的是比特率,较低的空间层次。也就是说, 所以删除所有的投篮数据空间层次较低的“地方”的投篮数据最高的空间层并不总是提供最好的质量,最高的空间层。这将是更详细地讨论在实验。

这个框架,本质上是一个资源分配问题,它可以扩展到覆盖时间可伸缩性只要我们使用质量度量,支持多维适应(例如,15])。在以下部分中,我们将提出一个方法基于维特比算法解决优化问题(1)。

3所示。维特比算法解决方案

虽然投篮可以截断数据精细截断在实践中完成离散步骤(例如,一个单位的1 ? Kbps)。因此,比特率R_我在上面的问题公式化的可以用一些步长离散值。此外,如上所述,空间层次之间的依赖应该考虑在优化问题(1)。这问题可以解决了维特比算法优化的动态规划(16- - - - - -18]。在下面,我们称之为选择作为一个离散截断操作在给定空间层。

维特比算法的原理在于构建一个格子代表所有可行的分配在每个瞬间,给所有预定义的约束。基本的算法中使用的术语定义如下(图3)。

(我)格子:一个格子是由所有幸存路径连接初始节点到节点的最后阶段。(2)阶段:每个阶段对应于一个空间层被截断。(3)节点:在我们的问题中,每个节点是由一对(我,一个_我),我是舞台上的数字,然后呢一个_我是所有的投篮数据积累的比特率,直到这个阶段。(iv)分支:给定的选择k_我在阶段我的比特率一个节点(我1,一个_我1)在前一个阶段(我1)将有关价值的一个分支节点(我,一个_我), 令人满意的 (v)路径:一条是一个连接的分支。一条路径从第一阶段到最后阶段对应于一组可能的选择空间层。在SVC,高空间层依赖于低空间层(但不是亦然)。所以当格子正在增长,各个阶段在递增的顺序排列(即空间层。空间层,从最低到最高空间层)。注意,第一阶段(0)阶段只是一个起点,这并不对应任何空间层。同样的,质量不仅取决于选择k_我的层我但也选择相应的前一个节点的路径。此外,由于下面描述的修剪,每个节点(我,一个_我)只对应一个选择k_我。所以我们可以重写=。

从上面,我们可以看到,最优路径,对应的最优的选择,是一个具有最高的加权和。我们现在用维特比算法生成框架,并找到最优路径如算法1所示(17,18]。

让K_我表示数量的选择空间层我。使用上面的算法,从初始节点(0,0),将有最多K₁分支机构越来越多K₁第一阶段的节点。分支机构的数量K₁如果所有的值一个₁不大于R^c。类似地,将会有最多K₂树枝从阶段1的每个节点。由于这种增长,可能有多个分支达到相同的比特率积累(或到达相同的节点)。然而,由于第2步,剩下的只有一个分支(即。,最好的一个),到达一个节点。

我们看到,这个解决方案的复杂性取决于层数和选择的数量是由截断步长。正式的空间层SVC可达8。然而,为了保持良好的编码效率,一个SVC比特流包含最多三层空间(不同分辨率)7]。如图所示后在下一节中,在实际条件下,优化解决方案基于实时维特比算法可以找到。

应该注意的是,上面的解决方案提供的算法是最优的“离散”的问题。然而,正如前面提到的,实际截断通常是基于一个特定的步长。从我们的经验,一个截断等于总数的1%的投篮比特率不会导致任何知觉差异。所以,从业者会寻找离散问题的一个解决方案,而不是连续值问题。

目前,r d信息(例如,R_我,问_我在我们框架是操作)。虽然操作r d并不容易获得实时数据,他们可以提前计算和动态适应作为元数据比特流在以往工作的视频编码(16,19]。此外,一些分析模型可以用于表示r d信息以紧凑的方式(9,19]。

4所示。实验

在本节中,提出了一些实验显示我们提出框架的灵活性和实用性。我们开发了一个SVC适应发动机由决策引擎和缩放引擎(图4)。决策引擎使用元数据操作r d信息的输入比特流,和其他元数据包括比特率限制,权重w_我的空间层,然后提供了适应作为输出指示。说明这是投篮比特率的数量应该被截断在每个空间层。缩放引擎需要的指令,并相应地调整输入比特流。

4.1。分配结果

测试视频编码软件JSVM7.12最近。结果提出以下的足球视频编码2空间层,QCIF和CIF 30帧率?fps和共和党的尺寸16。相应地,两个用户会使用这个场景的内容部分1。基础质量QP空间层都是38的价值观。QCIF空间层增强3的投篮空间层2层和CIF的投篮层。CIF的投篮比特率和QCIF层,分别是1924年(Kbps)和1877 (Kbps)。我们假设用户没有特殊要求质量阈值(即,)。质量指标用于优化问题(1对所有视频帧)平均PSNR值。给人的总体质量

为了便于演示和讨论,投篮截断的步长设置为400 (Kbps)和显示的质量是根据截断比特率。每个空间层将被截断在四个点,也就是说,400,800,1200,1600。数据5和6显示操作r d QCIF信息层和CIF层根据截断数据的数量。

现在假设w₁= 0.33,w₂= 0.67。这些重量值会给一些平衡两个空间层的PSNR值QCIF层通常是高于CIF层。截断的目的是优化整体质量OQ =0.33问₁+ 0.67问₂。最佳的选择是由固体路径(用和谐路径)在图7。我们可以看到,当截断总额增加(从0 ?3200 Kbps吗?Kbps, with step size of 400?Kbps), the selections of multilayer truncation correspond to the boxes (400, 0), (400, 400), (400, 800), (400, 12000), (400, 1600), (1200, 1200), (1200, 1600), (1600, 1600), where (一个,b)表明,截断的QCIF和CIF层,分别一个? Kbps,bKbps。注意,在图7箱相同的模式和灰度截断数据的总量相同(CIF和QCIF层)。

如果w₁= 1,w₂= 0,这意味着自顶向下截断总是用来最大化QCIF层的质量。显然,在这种情况下,选择由虚线路径(表示QCIF-max路径),投篮CIF层数据截断。

如果w₁= 0和w₂= 1,这意味着截断,旨在最大化CIF层的质量。在这种情况下,选择由dashed-doted路径(表示CIF-max路径)。如图所示的路径,投篮QCIF层的数据首先被截断直到1200年的数量(Kbps),然后投篮CIF层数据截断。这里的选择(1600、400)和(1600、800)不习惯因为截断的1600 Kbps的QCIF层会导致显著退化CIF层由于层间预测。因此,投篮QCIF层的数据将不会完全截断CIF的投篮之前删除数据。即自下而上的截断不会是一个好的选择对于大多数实际的条件。

图8详细展示了和谐截断的优势。上述重量值,w₁= 0.33,w₂= 0.67。在这些数据中,横轴表示的总量数据截断的投篮(CIF和QCIF层),纵轴代表每个空间的PSNR值层(QCIF图8(一个)和CIF在图8 (b))。我们可以看到CIF-max截断,CIF层的质量总是最大化(图8 (b)),但是很快QCIF层减少(图的质量8(一个))。QCIF-max截断,使倒转现象。同时,和谐截断的曲线显示了一个中间的解决方案这两种极端情况之间。例如,当截断数据的总量是1600吗?Kbps, QCIF层的质量是37.4 ?dB, 4.9 ?dB高于CIF-max截断;和质量的CIF层是32.54吗?dB, 1.3 ?dB高于QCIF-max截断。

现在我们w₁= 0.15,w₂= 0.85,这意味着强调CIF层。上面的解决方案提供的算法对应的路径(400,0)、(400、400),(1200,0)、(1200、400),(1200、800),(1200、1200),(1200、1600),(1600,1600)。图9显示相应的质量比较。我们可以看到,现在的和谐曲线接近CIF-max曲线。然而,在一些点,涨幅QCIF层仍然是几个dBs QCIF-max方法相比(图9(一个))。因此,通过调整权重值,我们可以灵活控制两层之间的权衡。我们发现,曲线的形状有更好的步骤非常类似于当前的曲线。这意味着当前曲线(步长为400 ? kbps)代表充分适应行为。

当重量值相等(w₁= 0.5,w₂= 0.5),这个给定的比特流的协调截断是一样QCIF-max截断。这是由于这一事实的PSNR值QCIF层通常高于CIF层(如上所述),因此QCIF层总是在截断“强调”的过程。这意味着直观的nonweighted PSNR值之和的CIF和QCIF层不会给任何两层的权衡。

数据10和11的最优协调路径相比CIF-max和QCIF-max路径两个案例,(w₁= 0.33,w₂= 0.67)和(w₁= 0.15,w₂= 0.85)。水平轴代表截断的投篮的总量数据,和纵轴代表了整体质量计算(7)。我们可以看到,协调路径的总体质量总是高于或等于其他两条路径。这意味着基于CIF-max截断和QCIF-max路径不能提供最优的结果。

应该注意的是,数据的PSNR值10和11仅仅代表了集体质量,用于保证层之间的最佳折衷。为了看到我们建议的方法的优势在改善用户的质量,还应该考虑一个特定空间的r d曲线层(即。,数据8和9)。例如,虽然图曲线间的缝隙10有时小,实际的改善为特定用户可能几个dBs见数据吗8(一个)和8 (b)。我们也发现了类似的观察与其他序列。事实上,只要存在一个差距的两个极端的截断,权衡它们之间总是可以实现的。

4.2。算法的复杂性

检查算法的复杂性,我们测量算法的处理时间与不同的步骤大小,即1 ?Kbps, 2 ?Kbps, 5 ?Kbps, and 10?Kbps. The quality values of new truncation selections are linearly interpolated from the previous sample points obtained with the step size of 400?Kbps (which is similar to [20.])。复杂性是由处理时间衡量的系统时钟节拍数(1000每秒滴答声)。该算法运行在一个笔记本在奔腾M 1.86 ?GHz处理器和1 ?G RAM。图12显示了处理时间对截断比特率的总量。我们可以看到,当步长1 ?Kbps, the processing time can be up to 80 milliseconds; however, with the other step sizes, the processing time is just around 20 milliseconds. Especially, when step size is 10?Kbps, the complexity become so small that the processing time is mostly zero (more exactly, less than 1 tick).

随着空间层数量的SVC的比特流在实践中是最多3 (7),我们增加了比特流一个空间层(4 cif),投篮的数据量是3500 ? Kbps。再次运行该算法的步骤大小1 ?Kbps, 2 ?Kbps, 5 ?Kbps, 10?Kbps and the corresponding results are shown in Figure13。现在我们看到的处理时间与步长1 ?Kbps increases significantly which is up to 900 milliseconds. However, when step size is 10?Kbps, still the processing time is usually less than 1 millisecond, sometimes reaching to 15 milliseconds. Note that, with this bitstream, even the step size of 10?Kbps is less than 0.2% of the total FGS bitrate.

同时,应该注意的是,在实际视频通信,可接受的处理延迟可以到400毫秒双向应用和10秒为单向程序(21]。

显然,比特流的比特率更高,步长应成比例地增加。然而,从上面的例子我们可以看到,即使步长只有0.5%或1%的总比特率,维特比算法的处理时间会变得微不足道。此外,从我们的经验与主观测试视频质量(22),规模与质量的9或10的水平,它仍然是终端用户很难区分邻质量水平。这意味着步长可能不需要小1%的总比特率。确切的步长导致最小可觉差(算法)在用户感知在我们未来的工作是一个有趣的问题。

从上面,我们可以看到,当用户请求中有任何改变或者比特率限制,可以动态地重新计算优化问题和适应将无缝的用户。这意味着我们建议的框架可以为截断的灵活性提供了最佳的结果对于任何比特率约束条件和质量层之间的权衡。

5。结论

在本文中,我们提出了一个总体框架适应SVC比特流在投篮截断跨多个空间层。我们建议的框架的灵活性在分配资源(即。,b我trate) among spatial layers, where the overall quality is defined as a function of all spatial layers' qualities and can be modified on the fly. The adaptation process of the proposed framework was formulated as a constrained optimization problem and then optimally solved by the Viterbi algorithm. Through experiments, we also showed that the current approaches of FGS truncation were special cases of our general framework. For future work, we will consider some perceptual quality metrics in our adaptation system and employ analytical models for R-D representation. Also, the framework will be extended to cover other constraints of heterogeneous environments, such as terminal capability and packet loss.

确认

作者要感谢李董苏ICU的帮助在这个工作。这项工作是支持的研发程序的麦克风/ IITA [2005 - s - 103 - 03,无处不在的内容访问技术的发展融合的广播和通讯)和二期的大脑韩21项目由教育部和人力资源开发(韩国首尔)。

引用

1. a . Vetro”MPEG-21数字项适应:支持通用多媒体访问,”IEEE多媒体,11卷,不。1,第87 - 84页,2004。视图:出版商的网站|谷歌学术搜索
2. S.-F。Chang和a . Vetro”视频适应:概念、技术和开放问题,“IEEE学报》,卷93,不。1,第158 - 148页,2005。视图:出版商的网站|谷歌学术搜索
3. a . Vetro“代码转换、可伸缩编码和标准化的元数据,”第八届国际研讨会上进行视觉内容处理和表示(VLBV ' 03),卷2849,页15 - 16岁,马德里,西班牙,2003年9月。视图:谷歌学术搜索
4. a . Vetro c . Christopoulos和h的太阳,“视频转码的架构和技术:概述”,IEEE信号处理杂志,20卷,不。2,29,2003页。视图:出版商的网站|谷歌学术搜索
5. h·施瓦兹、d . Marpe和t . Wiegand“SNR-scalable扩展h / AVC,”学报IEEE国际会议上图像处理(ICIP ' 04)5卷,页3113 - 3116,新加坡,2004年10月。视图:出版商的网站|谷歌学术搜索
6. ITU-T和ISO / IEC JTC1视频编码通用视听服务,”2003年,ITU-T建议h - ISO / IEC 14496 - 10 AVC。视图:谷歌学术搜索
7. 2007年1月,联合可伸缩视频模型(JSVM) 9.0。ITU-T VCEQ JVT-V202,马拉喀什。
8. d·慕克吉e . Delfosse J.-G。金姆,y,“最佳适应终端和网络服务质量进行决策时,“IEEE多媒体,7卷,不。3、454 - 462年,2005页。视图:出版商的网站|谷歌学术搜索
9. c .许和m . Hefeeda“FGS-encoded视频序列,率失真模型”第17届国际会议进行计算机理论和应用程序(ICCTA 06年)亚历山大,页334 - 337年,埃及,2006年9月。视图:谷歌学术搜索
10. t·金姆和m . h . Ammar,“最佳质量适应mpeg - 4细粒度的可伸缩视频”学报的22日联合年会IEEE计算机和通信的社会(INFOCOM ' 03),1卷,页641 - 651,旧金山,加州,美国,2003年3 - 4月。视图:出版商的网站|谷歌学术搜索
11. j·w·康工程学系。荣格,J.-G。金,J.-W。在香港,“QoS-aware无处不在的内容访问试验台的发展,”国际会议消费电子学报》(ICCE ' 07),页1 - 2日,拉斯维加斯,内华达州,美国2007年1月。视图:出版商的网站|谷歌学术搜索
12. t . c . Thang y s . Kim y . m . Ro j·w·康,J.-G。金,“SVC bistream适应MPEG-21多媒体框架,”国际包进行视频研讨会(PV 06年)2006年4月,杭州,中国。视图:谷歌学术搜索
13. m·马修k . Lee, W.-J。汉族,“多层质量层”,2006年4月,ITU-T VCEQ JVT-S043,日内瓦。视图:谷歌学术搜索
14. z李、黄j .和a . k . Katsaggelos”定价基于协作多用户视频流在功率受限的无线链接,”《IEEE国际会议音响、演讲和信号处理(ICASSP 06年)5卷,图卢兹,法国,2006年5月。视图:出版商的网站|谷歌学术搜索
15. m . h . mike vanderboegh和狼,“一个新的标准视频质量客观测量方法,”IEEE广播,50卷,不。3、312 - 322年,2004页。视图:出版商的网站|谷歌学术搜索
16. a·奥尔特加,k . Ramchandran和m . Vetterli“最佳trellis-based缓冲压缩和快速近似,”IEEE图像处理,3卷,不。1、26 39,1994页。视图:出版商的网站|谷歌学术搜索
17. g·d·福尼“维特比算法”,IEEE学报》卷,61年,第278 - 268页,1973年。视图:谷歌学术搜索
18. t . c . Thang y . j .荣格,y . m . Ro”与形态转换,有效适应多媒体文件”信号处理:图像通信,20卷,不。5,413 - 434年,2005页。视图:出版商的网站|谷歌学术搜索
19. 张x m ., a . Vetro y史,和h的太阳,“恒定质量约束率分配FGS-coded视频。”IEEE电路和系统视频技术,13卷,不。2、121 - 130年,2003页。视图:出版商的网站|谷歌学术搜索
20. L.-J。林和a·奥尔特加的“码率控制使用分段近似率失真特性,”IEEE电路和系统视频技术,8卷,不。4、446 - 459年,1998页。视图:出版商的网站|谷歌学术搜索
21. ITU-T”,终端用户多媒体QoS类别,“2001年,推荐G.1010。视图:谷歌学术搜索
22. t . c . Thang y . j .荣格,y . m . Ro”形态转换通用多媒体QoS管理访问,”IEE诉讼:视觉、图像和信号处理,卷152,不。3、374 - 384年,2005页。视图:出版商的网站|谷歌学术搜索

版权

版权©2008 Truong Cong Thang et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。