率失真优化帧删除多用户流媒体和视频会话

文摘

我们考虑为降低帧率失真优化的策略从多个会话和流媒体视频共享网络节点资源有限。删除策略是基于方面的信息在编码和提取发送沿着固定的比特流。额外的传输开销和拟议的框架放弃计划的计算复杂度进行了分析。我们的实验结果表明,显著改善实现端到端性能相比,基于优先级的随机早期下降。

1。介绍

在今天的互联网、视频数据包通常传播使用的最优服务。网络节点的数据包转发服务显著退化,如果网络拥挤。在本文中,我们考虑的场景流媒体视频和对话的视频通过网络节点(例如,一个多媒体网关)转发资源有限,如图1。包可以暂时缓存在节点的缓冲区,但如果过载一直持续,缓冲溢出和一些数据包都将丢失。我们的目标是提高整体质量流的转发资源的节点。

对于视频应用程序,代码转换(1- - - - - -3]或修剪的视频可以适应执行源速率可用的传输速度。代码转换计算昂贵,不适合快速的一个节点,不同用户的数据包。此外,视频源修剪随机框架下降可能对重建视频质量产生巨大的影响。在[4- - - - - -6),静态优先级为I -标签,P -, B-frames用于执行基于优先级的随机下降(PRD)流媒体视频。特别是,视频帧根据他们被丢弃优先级标签。随机选择的框架中执行相同的优先级标签。基于优先级的随机早期下降(PRED) [7)提高珠三角早期下降的低优先级帧在特定的预定义的缓冲丰满的水平。然而,静态优先级标签不能准确地描述视频帧的重要性。例如,第一个P-frame一组照片(共和党)在大多数情况下,比去年P-frame更重要,虽然他们属于同一优先级类。在[8,9),视频帧的decodability用于做出放弃的决定。

率失真优化(RD)已被广泛用于处理不同的视频帧的重要性。在[10),例如,用于实现RD-optimized帧调度一个视频流。RD-optimization比特分配源编码和信道编码之间使用,例如,在[11]。RD-optimization也是最先进的视频压缩编码模式选择的(12,13]。RD-based健壮的交货计划提出了(14,15]。然而,所有这些作品关注的视频编码发送方选择最佳编码和发送策略根据限制传输速率和预期的丢包率。当RD-optimization是在网络的中间节点,边信息传输以及视频(16- - - - - -18]。特别是,(16)认为RD-optimization在广播网络场景中,只对单个流和执行优化,而[17)采用RD一边转码在网络节点的信息。只有视频被认为是在18还),而在本文中,我们研究的额外案例框架下降流和对话视频,同时进行。

在本文中,我们提出RD-optimized视频帧删除策略或会话视频流在网络节点过载。率形成流媒体视频,我们使用一个失真矩阵和一个速度矢量(19作为边信息。我们表示我们的方法是基于函数的方法,成本最小化一个拉格朗日代价函数为了找到最优模式。成本函数采用以下数量来确定最优模式:速度矢量和失真矩阵所有传入的流,以及当前的输出缓冲区。成本函数的拉格朗日乘数被选中作为缓冲丰满的函数,用于调整下降过程的攻击性。的失真矩阵只能提取为共和党结构化视频。与IPPP对话视频……结构,只提示跟踪(20.,21)可以计算,因此,基于用途用于会话视频帧删除策略。帧删除决策只有当缓冲区没有足够的空间来存放它们。

此外,我们还研究场景当流媒体和视频会话都是通过一个网络节点。在这种情况下,我们建议使用单独的分类缓冲结合调度程序的动态资源分配两个缓冲区,位于两个分类之间的缓冲和即将离任的链接节点的缓冲区。为简单起见,在我们的框架取代连续时间和离散视频序列的帧槽,这意味着放弃的决定只会在一帧持续时间的倍数。流有不同的帧速率,减少决策可以同步流的帧率最高。另一种方法是收集一个小从所有传入流的帧数,然后执行一个放弃的决定。然而,这种方法将引入额外的延迟。

这项工作的主要贡献包括以下:(1)共同塑造流媒体和视频会话,(2)大量的仿真结果提供一个全面的性能比较不同的参考系下降计划以及参数选择,(3)分析计算和存储的成本可以作为参考来选择不同的下降计划对于一个给定的场景。

剩下的纸是组织如下。部分2描述了边信息用于流媒体视频和相应的帧删除策略。接下来,边信息和删除策略和对话视频介绍了部分3。一个集成RD-optimized流和对话的视频应用程序框架提出了部分4。此外,在节5我们分析内存需求和计算复杂性的技术考虑。部分6给出了仿真结果,证明通过我们提出的改进RD-optimized帧删除策略。结论部分7。

2。流媒体视频帧删除策略

在本节中,我们首先介绍基于优先级帧删除方案,用于比较。然后,定义和过程来构建方面信息(失真矩阵和速度矢量),我们的方法。根据这边的信息,我们建议一个RD-optimized帧删除策略基于当前缓冲区丰满的网络节点。

2.1。基于优先级的随机早期下降(PRED)

PRD使下降的决定基于固定优先级标签分配到视频帧。与当前传统的编码方案,框架可以优先根据帧类型:I - P -或B-frame。当帧同时从多个视频流到达一个网络节点,它是最高优先级的I-frames其中放置到节点的缓冲区。可能发生但这些I-frames不能放入缓冲区,因此他们下降之前缓冲完全是满的。在这种情况下,P-frames下试图被放入缓冲区,最后剩下的(如果有的话)B-frames。这种策略会导致最有效的使用节点的缓冲区。然而,失去I-frames P-frames有戏剧性的重建视频质量的影响。

PRED集阈值下降的数量根据优先级的视频流。在这里,我们只有三个优先级级别,所以只需要两个阈值下降。但是如果我们有不同的优先级级别所有P-frames根据他们的立场的共和党,我们可以设置阈值,是共和党的长度吗表示两个I / P-frames B帧的数量。如图2,当缓冲区丰满,最不重要的B-frames都下降了。最后一个P-frame共和党时下降是达到了。I-frames有最高的优先级,不应早期下降,所以所有P-frames下降当缓冲丰满达到最高的阈值()。早期下降的重要框架减少的可能性下降更重要的帧在稍后的时间。

2.2。失真矩阵(DM)和速度向量(RV)

的失真矩阵提出了在19)允许我们计算下降造成的失真在共和党结构化视频帧。在计算重建失真,假设一个简单的“复制和冻结前一帧”的错误隐藏方案采用的译码器。特别是,一个失踪的框架和所有的后裔¹所取代,在重建,由译码器与暂时的前一帧解码。请注意,这样做是不管的存在状态,在译码器,后代的帧。因此,隐藏计划的名称。

我们的方法框架遵循这种逻辑。当网络节点滴到视频帧,随后下降其所有依赖帧到达节点。因此,视频帧下降模式包含在我们的例子中传入框架目前下降及其后代帧之后将下降。²重建失真影响视频流的增加引起的掉帧模式的总和个人增量隐藏视频帧重建失真。这是因为的帧解码不为重建失真的增加作出贡献。的失真矩阵共和党的结构在(1),代表时观察到的畸变增加MSE取代框架通过作为隐蔽的策略的一部分。列矩阵显示替代框架矩阵的每一行。例如,代表了额外的重建失真如果共和党的第一B-frame丢失,因此被共和党的I-frame所取代。从先前的共和党,一帧作为替代所有的帧在当前共和党如果当前共和党的I-frame丢失。作为一个最坏情况的假设,我们使用前共和党I-frame作为替代框架在这种情况下:

的条目速度矢量对应表达的视频帧的大小字节。然后,在一个网络节点,传入的帧的大小和其后代帧的大小是总结确定储蓄通过放弃这些帧率。

2.3。成本基于函数的视频帧下降

节2.1,我们回顾了PRED的想法和讨论了“早期”获得的效益下降。在本节中,提出了一种基于函数的方法成本,利用RD的信息以支持更灵活的帧删除决策,同时仍然使用缓冲丰满信息提前下降。

如果缓冲区为空或者负载轻,没有帧应该下降。然而,当缓冲区满了,框架,至少对感知质量的影响在接收者应该先删除。决定放弃哪些帧联合我们的方法对所有视频流。鉴于RD方面介绍了部分信息2.2,主动网络节点可以执行RD-optimized帧下降。为此,节点检查当前缓冲区丰满和拉格朗日代价函数最小化为了确定最优模式。在(2),是当前(离散)时间即时(槽),中引入的额外失真视频吗对于一个给定的模式,相应的利率储蓄以字节为单位。

当失真矩阵和速度矢量节中描述2.2,放弃的决定应该遵守以下规则。如果当前帧到达活动节点是一个I-frame,我们可以把这个帧缓冲区或将其发送到外向链接。如果我们放弃它,这意味着所有下面的P -和B-frames在同一个共和党无法解码,必须也下降。这种下降策略导致显著增加失真这个共和党但同时允许我们这个共和党降低发送率为0。如果我们不把I-frame在这个时刻,我们仍然可以决定随后的P-frames和B-frames下降。这将导致减少失真,还节约率将会更小。我们也可以把B-frames P-frames只有我们决定不下降。再次,额外的失真将减少,还节约率将会更小。

因此,如果当前的框架是一个I-frame,总共有4滴选择,在那里表示放弃整个共和党,代表放弃随后的P - B-frames在共和党意味着放弃所有B-frames只在当前共和党和代表“没有下降。“如果当前帧是P-frame,选择减少。如果当前帧是B-frame,选择也,在那里表示的情况下放弃所有其余B-frames共和党,包括当前和代表随后下降(相对于当前B-frame) P -和B-frames。

现在,如果我们表示的数量可能下降的模式视频作为,然后视频中我们得到下降包括不同的模式。一个下降的模式将减少(2)。这种模式代表了最优策略的时间。为了执行这个最小化,我们必须确定一个合理的拉格朗日乘数的值在(2)。在这项工作中,我们确定作为一个缓冲丰满的函数。如果缓冲区为空,我们当然不想放弃任何视频帧。这反映了一个适当的选择。另一方面,如果缓冲区已满,应该选择排队等,所有传入的帧都下降在outlink缓冲区会失败。为了确定合适的值对于任何缓冲水平,我们定义了一个最小缓冲丰满,低于没有下降应该发生和最大缓冲丰满以上所有传入的框架了。这两个缓冲区丰满的水平,和相应的策略导致拉格朗日乘数法两种极端值和。的值之间的和可以插入。我们考虑两种不同的插值方案在这工作。

图3(一个)演示了一个线性插值之间的和作为当前缓冲区的丰满函数。因此,我们写

插入线性插值是最简单的方法。一个插值函数导致更激进的下降如果缓冲丰满的方法二次插值法可以实现的吗,如图3 (b)。有三个控制点,和,我们可以定义一个二次贝塞尔曲线与内插点在这条曲线上的移动来通过改变参数从0到1。对于一个给定的,我们决定然后从(6)。

为了确定我们评估(2),每一滴模式和选择这样的最小值(2)是获得下降模式没有下降视频流。这意味着在哪里代表当没有帧模式下降发生在任何的视频流。作为等于零,这就导致我们选择尽可能大而仍然满足所有的不平等(8)。的值推导出以类似的方式。为此,最小化(2)现在应该导致决定尽可能多的帧(下降的模式),导致这将导致我们选择要尽可能小,同时满足所有的不平等(10)。

3所示。对话视频帧删除策略

与流媒体视频相比,视频会话通常是编码在一个IPPPPP…的形式。B-frames通常不习惯,因为额外的延迟将会介绍。因此,没有“早期”,甚至基于优先级的下降所部分2.1可以使用视频对话。视频帧的多个用户放入缓冲区轮循(RR),如果缓冲区不能持有下降。作为共和党结构对话视频没有,失真矩阵在这里也不能使用执行决策。因此,我们建议使用提示跟踪(20.,21)作为边信息和执行基于用途的帧删除会话视频有选择地删除最不重要的帧。

3.1。视频会话的信息

率失真提示跟踪被喂养特定损失测量模式的解码器在MSE和总结结果增加所有受影响的视频序列的帧。没有周期性I-frames对话视频,就没有再同步编码器和译码器之间。因此,为了提高视频的错误弹性流在传输过程中数据包损失,片(或行)定期intraupdated宏模块的视频帧,通常以循环的方式。这就是所谓的部分intraupdate。图4说明了误差传播时框架丢失在假设没有剩余误差传播从先前的帧。总失真在这种情况下扭曲的和所有的帧,直到结束的视频流。然而,随着部分intraupdate,我们可以假定误差传播损失的框架可以完全同等intraupdate段后停止了吗帧。³因此,只有个人扭曲框架需要考虑。请注意,这里我们计算提示跟踪假设每一帧的损失是独立的,也就是所谓的零阶失真链模型在[20.]。这边给准确的信息失真估计只有一帧时的损失连续帧。当然我们可以构造高阶提示跟踪通过喂养一些损失模式,可以提取更多的损失。然而,高阶提示跟踪有很高的成本的计算复杂度以及巨大的存储要求。

因为未来对话视频帧信息是未知的,是不可能premeasure提示跟踪()值与给定损失相关的模式。因此,该模型提出了(22)是用来预测/估计失真值与未来相关的框架在亏损的情况下/下降的框架。特别是,在哪里相当于intraupdate时期,如上所述,然后呢表明未来之间的距离(隐藏)框架和失去的框架。在(11),MSE信息发送视频流,代表当前帧的扭曲在这是唯一的情况下失去了框架和被复制前一帧。衰减因子占空间滤波和术语的影响intraupdate账户。最后,整个额外失真影响视频序列帧的损失未来,包括误差传播到帧,然后计算

“复制并继续解码”错误隐藏方案应用在这种情况下,保存信息与给定的下降模式只是掉帧的大小的总和。因此,只有个别帧字节或位的大小需要一起发送提示跟踪失真的信息。

3.2。实用为基础框架下降

与流媒体视频不同,未来对话视频帧的重要性不可用。因此,它没有意义做出放弃决定对话视频,直到缓冲区无法保存新传入的帧。特别是,所有新传入的帧被放置在缓冲队列的尾部如果有足够的剩余空间。否则,我们比较这些帧,使下降的重要性决定。

在提示跟踪框架(18),对变形()和速度()信息关联到一个视频帧分别包含额外的变形影响重建视频序列和相应的数据率减少,当单个视频帧从压缩视频流被删除。distortion-per-bit实用程序的框架然后比值计算(20.]。在我们的方法中,我们当前的输入(th)框架他们扭曲的视频递减顺序每比特效用。从列表的排序,框架放入缓冲节点的外向链接。帧在当前列表的顶部不符合缓冲区,我们转向下一帧排序列表,直到没有额外的框架可以被放置到缓冲区。请注意,由于紧延迟约束,优化只做新传入的视频帧中对应于一个时间即时(一帧槽)。

4所示。RD-Optimized下降流媒体和视频会话

在部分2和3,我们已经讨论了流媒体和视频会话信息和删除策略。在本节中,我们考虑的情况下这两种类型的视频通过网络节点同时共享一个外向链接。

4.1。提出了框架

如图5,RD-optimizer执行两个独立的决定为流媒体视频和对话视频,提出了(23]。幸存的(不是被删除)帧缓冲区存储在两个独立的分类。缓冲的视频相对较小,以限制这些帧的转发延迟经历了这种类型的视频应用程序需要低延迟。另一方面,分类为流媒体视频缓冲区较大是由于更放松要求的交货延迟。调度器坐落在两个缓冲区,动态地分配共享资源(转发数据速率)两个缓冲区获取视频数据包从他们,并将它们放入共享缓冲区外向链接。

对于流媒体视频,我们选择采用基于函数的降成本策略中引入部分2.3。distortion-per-bit实用程序中引入部分3.2是用于视频会话。流媒体视频,考虑未来帧信息。当会话的放弃决定视频,我们只能比较当前帧与前一帧的重要性。所选框架是首先放入分类缓冲区,我们假设可以访问RD-optimizer,帧替代启用此缓冲区。当新的帧到达节点和分类缓冲区已满,效用较低的帧缓冲区比新传入的框架将标记为删除的候选人。如果公布的缓冲区空间下降这些框架足以把一个新的框架,它们身体从时间缓冲。另一方面,如果释放空间不足以容纳新的框架,这意味着新的框架太大或不够重要的重建质量相应的流。那么这个新框架是下降和标记帧缓冲区中恢复。请注意,这种方法就相当于在[20.)用于创建优先级帧中传输流媒体服务器窗口。

4.2。调度策略

两个单独的分类缓冲区用来限制额外的延迟会话视频流经历,如前所述。压缩视频有一个可变码率,因此固定资源分配的转发数据速率有时浪费资源,导致不必要的帧下降。动态资源分配到位,多个流的多路复用降低码率的变化,提供了更高效的资源利用率。在这里,我们提出两个方案动态分配数据速率的外向链接。

4.2.1。准备短期Mean-Rate-Based调度

压缩视频流通常VBR(可变比特率),所以当即将离任的联系提供了一个传输速率等于传入的平均数据速率视频流,最有可能一些数据包将会下降,如果只有一个非常小的节点缓冲区。但是如果我们能够执行任务的自适应变化后的流率,节点的转发可以更有效地使用资源。没有未来的帧的大小的知识对话视频,我们只能做估计未来的比特率,考虑到传入的数据率历史的知识。在这里,我们提出一个简单的方式解释。我们把过去从每个流作为评估框架窗口。当前资源分配然后计算如下:在上面的方程中,和字节从以前的总和吗帧的流媒体视频和分别对话的视频。和代表了传输速率分配给这两个缓冲区。总传输速率在即将离任的链接,它被假定为常数在整个传播。与相同的公式(15)和(16),动态资源分配可变数据速率的外向链接速度也可以通过考虑是时间的函数。

4.2.2。缓冲Fullness-Based调度

缓冲fullness-based调度器的调度是一个有效的方法来避免缓冲区溢出。当装载一个缓冲严重,这意味着它的传入流量率大于指定的服务速率,因此新传入的框架可能会下降。在这种情况下,大部分outlink率应该分配给这个缓冲区。另一方面,负载轻的两个缓冲区时,它仍然可以容纳一些新传入的帧。因此,应该分配给其他更多的传输插槽缓冲区。此外,当两个缓冲区有大致相同的饱腹感,这不是有效的分配相同数量的资源他们每个人,他们相应的利率可能差别很大。这是因为这两个缓冲区提供两种不同类型的应用程序:流媒体视频和对话视频,通常有不同的数据速率。因此,我们为每个缓冲区分配一个权重根据传入的利率,和分发转发资源其中基于这些权重。

平均利率计算(13)和(14)代表最近的(短期)利率喂养两个缓冲区。因为他们迅速改变随着时间的推移,使用它们来确定缓冲区的重量可能是不恰当的。特别是,他们可能过于影响两个缓冲区之间的资源分配,从而呈现其瞬时丰满不那么重要了。因此,为了避免这种效果,我们使用(17)和(18)而不是提供更稳定的累积平均利率。

分配给流媒体视频帧的传输速度可以计算(19),剩下的传输容量分配给对话视频,在这里和分别是平均传入的流媒体视频和对话视频从一开始直到框架。和分别表示,丰满的两个缓冲的时间百分比实例时帧的每个流到达节点。

5。复杂性分析

在本节中,我们讨论了计算复杂度和存储需求的两种RD-optimized帧删除策略提出了流和对话视频,分别。

5.1。内存成本

珠三角/ PRED基于静态优先级的标签分配给每一帧,都包含在比特流,所以没有额外的存储成本珠三角/ PRED。

所示(19),失真矩阵有共和党组成的条目框架与B-frames两个P -或I-frames之间。然而,更少的条目需要存储在现实的成本函数(2),我们只考虑整体(累积)额外失真引起的选择放弃选择当前帧。特别是,部分将对此进行说明2.3最多,有四种可能放弃的决定,可以为每一帧。因此,不超过4个变形值需要一个视频帧相关联。此外,考虑到额外的畸变为零当没有下降,剩下只有两种选择的失真值需要存储的P - B-frames,并对于I-frames三个这样的值。因此,变形矩阵可以压缩成的每一个共和党的条目。

当提示跟踪框架的基础上,扭曲链模型,框架下降模式是由考虑每个视频帧独立(21]。因此,只有条目的视频流帧需要存储和发送信息的情况提示跟踪吗?。然而,当高阶失真链模型中使用提示跟踪框架,更要求的内存需求。特别是失真值需要存储的数量增加多项式与失真的顺序链。例如,需要存储的条目提示跟踪吗?。

率需要存储的信息在这两种方法都是一样的,包括视频帧的大小、部分将对此进行说明2.2和3.1。因此,有率的条目帧。此外,对于一个给定的模式,相关的降息代表的总和的大小掉帧的情况提示跟踪框架,而为失真矩阵方法,这个量包括除了所有依赖帧的大小。

5.2。计算复杂度

基于函数的框架成本下降流媒体视频战略提供了四种可能的下降的选择对于每一帧,导致的一个上界删除模式传入的流媒体视频。因为我们需要计算每一滴水的失真和利率储蓄模式来选择最佳的一个,在这种情况下计算复杂度非常高。然而,在成本函数(2)只有一个用于每一帧槽。出于这个原因,最小化最小化是一样的吗分别为每个流。因此,我们可以把成本函数这样的最大数量可能下降的模式是减少。包括计算,总计算复杂性为视频,每个长度帧。请注意,这是最坏的情况下,在实践中实际上是高不可攀的。这是因为帧删除决策只会让当缓冲丰满达到一个预定义的阈值。此外,减少决策影响未来帧减少潜在的数量下降模式优化再次执行时,在下一帧槽。

实用为基础的方法的对话视频,个人帧被认为是独立的模型。因此,只有两个可能下降为每一帧的选择,放弃或不放弃和由此产生的总体计算复杂度,在那里是在每一帧槽的重要性排序的成本。特别是,分类缓冲区在混合场景中,假设帧的时间缓冲,需要根据distortion-per-bit效用排序,生成的计算复杂度在这种情况下。

6。仿真结果

在本节中,我们检查几个框架的性能下降流和会话策略的视频。首先,我们展示了改进通过拟议中的RD-optimized帧删除策略中引入部分2和3。然后,从部分优化器框架的性能下降4考虑到流媒体和视频会话。

使用的视频在我们的仿真实验与h . mpeg - 4编码/ AVC编解码器(2425)的帧速率?赫兹。长期测试序列是由连接几个短的测试序列生成的。对于流媒体视频,每个短序列是附加在尾巴的长序列相关的共和党长度的整数倍。这意味着的帧数的短序列可能排除如果它的长度不是一个共和党大小的整数倍数。在表1,第一行的条目名称下的短序列代表相应长度的帧数。例如,序列汽车无线电话长380帧。此外,在每个下面的行条目,走向桌子的底部1,代表的相对顺序连接的短序列,每个产生的长时间序列。例如,长时间序列SV_1_20代表一个短序列的连接:克莱尔,美国小姐,工头,克莱尔,汽车无线电话,母亲和女儿,在这个秩序。流媒体视频测试序列命名SV_X_YY, YY代表共和党的长度和X是视频的索引。B-frames数量两个P -或I-frames之间设置为1在我们的实验。对于对话视频,叫CV_X。对话视频的编码结构是IPPP……intraupdate间隔的。

表2总结了8的编码(速度和质量)特征测试序列用于我们的实验。此外,该条目在表的最后一列2分别代表的总和意味着率和平均PSNR值的两类:流媒体视频和视频会话。如部分所示5。1,一个共和党视频框架的需求和条目的失真和速度信息,分别。假设每个条目需要两个字节,每一帧SV_1需要平均6.1个字节,从而导致0.152 ?交通kbps开销。视频的比特率相比92.44 ?kbps,这不到0.2%的开销可以忽略。对话视频,失真条目的数量更小和比较的比特率视频方面的开销信息是无关紧要的。

为了避免潜在损失的第一个I-frame对于每个测试序列,我们假设这些帧转发的网络节点,所有下降后决定每个流的第二帧的到来。出于这个原因,我们将7.5 ?16 KB的吗?KB (total buffer size) as the initial buffer load in the case of streaming video when the frame dropping process starts. For conversational video, because of the strict delay constraint, the buffer size is set to be 5?KB. Again, the influence of the first I-frames is ignored and the initial buffer load is set to be 0 byte. The relation between the buffer size and the corresponding frame dropping performance and the decisions have been investigated in [23]。

在我们的模拟中,我们测量一个框架的性能下降策略通过亮度(Y)的PSNR值重构视频帧平均所有视频。这个量计算在哪里是视频的数量,每个长度帧,是框架的MSE失真的视频。

6.1。PRED阈值设置

PRED的实现非常简单,唯一的重要的一点是选择合适的阈值的随机下降B-frames ()和P-frames ()。在我们的实验中,在前一节中介绍的四个流媒体视频是用作测试视频。注意,没有对话视频用于实验,因为没有静态优先级可以提前为他们建立标签。PRED等内容的操作减少随机下降没有重点。在我们的实验中,我们通过所有可能的值从30%到100%的缓冲区丰满总是大于或等于。

在图6,我们显示平均重建质量(Y-PSNR)的四个流媒体视频的函数和在不同outlink传播率,用不同的表面图表示。原则上,传输速率越高,重建视频质量越高。然而,我们可以看到,在低利率,性能表面不是平的,性能下降时可以观察到较大的值和被选中。性能以更高的利率更稳定,观察到的视频质量的减少因不当的选择阈值不超过11.5 ?dB。上部和下部的性能界限的PRED如表所示3,最高和最低分在每个表面图6。标准化率可用传输速率的百分比和所有用户的平均速度。从表中我们可以看到,一个巨大的性能差距之间存在的两个边界情况转发链路的传输速率远小于平均总源视频的速度。然而,它是不容易的在实践中总是选择最优阈值,较高的性能限制。

节中描述2.1,我们可以有不同的阈值下降P-frames共和党取决于他们的立场。例如,如果我们设置删除帧的起始点在50%的缓冲区大小,然后每个连续的阈值下降与进一步增加5%,达到较高的性能限制的情况下只有两个阈值。这意味着可以更精确的帧删除决定,当细优先步骤框架就业下降。

6.2。成本基于函数RD-Optimized帧下降

在下面,我们检查的影响在成本基于函数的框架的性能下降两种插值方法中引入部分2.3。在数据7(一)和7 (b)成本基于函数的框架,我们将展示结果下降策略在使用二次和线性插入的乘数,分别。在所有的模拟,我们修复100%的缓冲区大小。

二次插值展品质量退化时很高的值选择在outlink率非常低,如图7 (b)。这是因为二次插值法导致积极的帧删除决定当缓冲区丰满的方法远离。设置大于0.8的结果在后期下降的重要框架,进而造成不必要的损失一些帧高的重要性。曲线是光滑和公寓小,缓冲时放弃的决定是非常温和的轻加载。当使用线性插值时,小值在高outlink利率导致不必要的放弃一些重要性较低的帧。总而言之,选择大于0.5很好线性插值和二次插值,应该选择小于0.6。通过选择在0.5和0.6之间,我们计划获得良好的效果。

6.3。所有视频帧删除方案性能比较

在本节中,我们比较框架的性能下降方案视频检查本文转发数据速率的函数的外向链接。在图8,珠三角表示基于优先级的随机框架下降。PRED修复的阈值和分别为70%和90%,缓冲丰满,PRED_UB曲线在图8对应表的上界3。我们提出了基于函数RD-optimized成本下降策略使用失真矩阵作为边信息显示为CF_DM曲线在图中,选择的是0.6。

PRD表现最糟糕的,我们可以看到从图8。PRED还显示链接率低的表现不佳,而PRED_UB执行更好的正确选择阈值下降。CF_DM优于所有其他方案由于其精确的失真估计和动态调整的攻击性根据缓冲丰满水平下降。

6.4。基于实用会话视频帧下降

我们比较实用为基础框架与纯随机删除会话视频以循环方式。当视频数据包到达时,如果外向链接缓冲区仍然可以保存它,包放入缓冲区,否则,这只是将数据包丢弃。基于实用的方法,当新传入帧到达节点和缓冲不能持有他们所有人,他们排序根据效用和放入缓冲一个接一个,直到缓冲区已满。

表4显示了平均亮度(Y)组件的PSNR值的四个测试会话视频不同的外向链接率。四个视频的平均得分(粗体的数字)介绍了整体重建质量。实用为基础框架下降优于随机框架顺道middle-to-high率的范围,因为在非常低的利率,连续下降导致大量帧失真的不准确的估计。然而,如果我们看个人用户的性能,更公平的使用基于用途的方法(最大的区别)相比,纯随机删除方法(最大的区别)。因此,除了整体质量,我们的方法也显示了良好的特征对用户之间的公平性。

6.5。联合优化流和对话的视频

在这个实验中,我们比较联合优化器流和对话的视频参考方案,使用PRED / RR为这两种类型的视频应用,分别。特别是,流媒体视频提供了三种类型的静态优先级的标签,如前所述。因此,在参考方案我们可以执行PRED流媒体视频的B -或P-frames年初下降。另一方面,对话视频,所有的帧,除了第一个,P-frames因此没有静态优先级之间的差异。因此,当多个帧到达同时在网络节点,一个简单的循环方案(在这些帧所属会话视频)是用来确定有多少人可以放在相应的缓冲视频会话。

我们提出了优化器使用失真矩阵流媒体视频和提示跟踪视频会话。在会话的情况下视频,我们采用(11)和(12)来估计总体变形与单帧的下降有关,部分将对此进行说明3.1。方程的等效intraupdate时期将18帧和衰减因子设置为0.997。最后,为了进行比较,我们也考虑到假设的情况下发生变形时,放弃对话视频帧也可以预先计算的。

图9显示了性能改进通过拟议中的RD-optimized降帧流和战略对话的视频。的几个实例提出了优化器被认为是在图9。特别是RD_FIX表示提出优化器与固定资源分配40%的流媒体视频和60%的视频。注意,这个任务对应的总体平均数据速率这两个类型的视频。此外,RD_BUF和RD_RAT图中代表缓冲区fullness-based和短期mean-rate-based调度策略中引入部分4.2,分别。在RD_RAT的情况下,在(13)和(14)将10帧槽在这个实验中。

首先,它可以看到,当速度大于的外向链接的意思输入率(当标准化率大于1),RD-optimizer和PRED / RR的表演是相似的。然而,仍有一个性能改进的1 ?在900 dB ? kbps。这是因为即使在这种速度,从对话的视频帧删除需要发生在PRED / RR,每当传入的数据速率视频流的山峰,作为会话的小缓冲视频不能持有太多的框架。RD-optimizer更成功地处理这种情况,因为优化框架将有更多的机会下降最不重要的帧,即使他们已经在分类缓冲等待安排。同时,动态资源分配节省掉一些多余的流媒体视频传输插槽,可以适当地分配给对话视频之后,部分将对此进行说明4.2。当即将离职率小于总交通率,改善周围3 ?dB是观察,如图9。

此外,以低利率,RD_FIX的表演,RD_BUF, RD_RAT几乎是相同的。然而,在高动态资源分配的方案执行更好,因为重新分配的一些资源从流媒体视频缓冲的视频缓冲区不会显著影响视频流的质量,这些资源通常保存在低数据率部分传入流发生的节点。但随着固定资源分配,这些视频的未使用的资源浪费,从而导致退化性能在高外向链接率相比,动态资源分配的情况。表5给出了分配传输资源时的流媒体视频和对话的视频缓冲区fullness-based调度策略。更多的传播资源分配给对话视频相比,他们的平均比特率。这是小尺寸的结果分类缓冲由于紧延迟约束对话的视频。

最后,预先计算的提示跟踪对话视频不可用在实践中,但是我们无论如何计算它们为了检查如果近似(11)和(12)导致了准确的结果。我们的实验表明,预先计算的提示跟踪(RD_BUF_M)对话视频和获得的近似(RD_BUF)使用(11)和(12)导致几乎相同的性能结果,我们可以看到从图9。模型的估计偏差(11)和(12)不影响结果,因为distortion-per-bit效用的相对价值在各个帧保存在这两种情况下。

7所示。结论

我们提出了RD-optimized帧删除策略和会话视频流应用程序可以应用于有源网络节点。该技术采用方面的信息通过视频内容,提取压缩时间和发送视频流。唯一的额外信息,需要运行在一个活跃的技术节点的丰满outlink缓冲和平均流量速率视频流通过节点。它是通过模拟表明,显著改善视频质量达到以前的方法,由一个明智的选择信息和优化帧删除策略。

笔记

¹这些帧编码链中依靠丢失的帧来解码,解压缩。

²在他们到达的节点。

³这是所有帧的数量需要intrarefresh宏模块的位置在一个视频帧中使用这种方法。

承认

这项工作已经被脱硫部分支持格兰特STE 1093/3-1。

引用

1. a . Vetro c . Christopoulos和h的太阳,“视频转码的架构和技术:概述”,IEEE信号处理杂志,20卷,不。2,29,2003页。视图:出版商的网站|谷歌学术搜索
2. j .鑫C.-W。林,M.-T。太阳,“数字视频转码”,IEEE学报》,卷93,不。1,第97 - 84页,2005。视图:出版商的网站|谷歌学术搜索
3. a . Vetro j . Cai和c·w·陈,“降息代码转换设计无线视频流,”无线通信和移动计算的杂志,卷2,不。6,625 - 641年,2002页。视图:出版商的网站|谷歌学术搜索
4. w·冯·m·刘,b . Krishnaswami和A . Prabhudev”基于优先级的技术的最优存储视频,”多媒体计算机和网络卷,3654学报学报1999年12月,页286 - 300。视图:谷歌学术搜索
5. y Lu和k·j·克里斯坦森”,利用选择性丢弃改善以太网局域网的实时视频质量,”国际期刊的网络管理,9卷,不。2、106 - 117年,1999页。视图:出版商的网站|谷歌学术搜索
6. h . Cha, j .哦,r·哈,“动态带宽控制帧删除在MPEG流媒体系统中,“多媒体工具和应用程序,19卷,不。2、155 - 178年,2003页。视图:出版商的网站|谷歌学术搜索
7. r . Mahajan s .弗洛伊德,d . Wetherall“控制高带宽流量拥挤的路由器,”学报IEEE国际会议网络协议(ICNP ' 01)河边,页192 - 201年,加州,美国,2001年11月。视图:谷歌学术搜索
8. j . Kritzner m•卡普曼,喇叭,“比较适应视频帧删除策略,”学报》国际研讨会图片编码(pc 04年)329年,页325 - 2004年12月旧金山,加州,美国。视图:谷歌学术搜索
9. j . Kritzner,喇叭,m .•卡普曼“优先生成使用流decodability视频流,”学报》第十四届国际包视频研讨会(PV 04年)美国加州尔湾分校,2004年12月。视图:谷歌学术搜索
10. p . a .周和z苗”,通过媒体的率失真优化流”,技术。众议员msr - tr - 2001 - 35,2001年2月。视图:谷歌学术搜索
11. 翟,r·贝瑞t·n·帕帕斯,A . k . Katsaggelos”的率失真优化的错误控制方案可伸缩视频流在网络上”学报IEEE国际会议多媒体和世博会(ICME ' 03)2003年7月美国巴尔的摩,马里兰州。视图:谷歌学术搜索
12. g·j·苏利文和t . Wiegand”,对视频压缩率失真优化。”IEEE信号处理杂志,15卷,不。6,74 - 90年,1998页。视图:谷歌学术搜索
13. h·施瓦兹和t . Wiegand改进mpeg - 4编码器使用拉格朗日编码器控制”第四届国际ITG学报》会议上源和信道编码(SCC的02),柏林,德国,2002年1月。视图:谷歌学术搜索
14. r, s . l . Regunathan, k .玫瑰,“端到端失真估计RD-based健壮的预压缩视频,”学报艾斯洛玛尔会议信号,系统和电脑(艾斯洛玛尔的01),1卷,页210 - 214,蒙特利,加州,美国,2001年11月。视图:谷歌学术搜索
15. e·马沙拉·h·杨,罗斯和j·c·德·马丁”率失真优化切片,分包和编码错误弹性的视频传输,”IEEE数据压缩研讨会论文集(DCC的04)雪鸟,页182 - 191年,犹他州,美国,2004年3月。视图:谷歌学术搜索
16. 布亚齐兹,“Size-distortion优化代理缓存健壮的mpeg - 4视频传输,”学报》国际研讨会上多媒体交互式协议和系统(MIPS ' 03),没有。2899年,页131 - 142,那不勒斯,意大利,2003年11月。视图:谷歌学术搜索
17. p .阴,a . Vetro m .夏,b . Liu“视频转码率失真模型”图像和视频通信学术会议和处理卷,5022学报学报,页479 - 488年,柏林,德国,2003年5月。视图:谷歌学术搜索
18. j . Chakareski和p . Frossard率失真优化带宽适应分布式媒体交付”学报IEEE国际会议多媒体和世博会(ICME ' 05)卷,2005年,页763 - 766,阿姆斯特丹,荷兰,2005年7月。视图:出版商的网站|谷歌学术搜索
19. 施泰因巴赫w .涂、w·凯勒和大肠,”率失真优化的视频帧落在主动网络节点,”学报》第十四届国际包视频研讨会(PV 04年)美国加州尔湾分校,2004年12月。视图:谷歌学术搜索
20. j . Chakareski j . Apostolopoulos s .凌晨W.-T。棕褐色,b·吉伦特“r d提示追踪为低r d优化视频,”学报IEEE国际会议多媒体和世博会(ICME ' 04),卷2,页1387 - 1390,台北,台湾,2004年6月。视图:谷歌学术搜索
21. j . Chakareski j·g . Apostolopoulos s .凌晨W.-T。棕褐色,b·吉伦特”率失真提示跟踪自适应流媒体视频,”IEEE电路和系统视频技术,15卷,不。10日,页。1257 - 1269年,2005年6月。视图:出版商的网站|谷歌学术搜索
22. y . j .梁j·g . Apostolopoulos和b·吉伦特”分析压缩视频的包丢失:突发长度有关系吗?“在学报IEEE国际会议音响、演讲和信号处理(ICASSP ' 03)5卷,第687 - 684页,2003年4月,香港。视图:谷歌学术搜索
23. w .涂,j . Chakareski施泰因巴赫和大肠,”率失真优化框架下降和调度多用户对话和视频”第16届国际学报》包视频研讨会(PV 06年)2006年4月,杭州,中国。视图:谷歌学术搜索
24. HHI。JVT h / mpeg - 4 AVC参考软件。http://iphome.hhi.de/suehring/tml/index.htm。

版权

版权©2008魏涂等。这是一个开放的分布式下文章 知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。