不模块化的视频质量预测模型H.265 / HEVC和VP9编解码器在移动设备上

文摘

我们提出一种模块化不视频质量预测模型的视频编码与H.265 / HEVC VP9编解码器和移动设备上。的障碍会影响视频传输分为两大类型根据TCP / IP模型的哪一层他们起源于。从网络层损伤被称为网络QoS因素,而从应用程序层被称为应用程序/负载QoS的因素。最初我们对待网络和应用QoS因素分别和找出1:相应的QoS 1关系因素和相应的视频质量或体验质量。QoS体验质量域的映射是基于一个决策变量,给出了最优性能。接下来,在每组我们选择多个QoS因素并找出这种多因素的体验质量受损的视频通过使用添加剂,乘法,回归方法。我们称这些为集成网络和应用程序体验质量,分别。最后,我们用多元回归方法结合的网络和应用程序体验质量构建最终的模型。我们也使用人工神经网络方法构建模型,并比较其性能和回归的方法。

1。介绍

有快速推进各种视频服务及其应用,如视频电话,高清晰度(HD)和超高的定义(UHD)电视、互联网协议电视(IPTV),近年来移动多媒体流。因此,质量评估的视频直播和在线观看已经成为一个活跃的研究领域。根据公布的一份报告(1),通过互联网视频越来越受欢迎屏幕设备上有小的形式(4英寸到6英寸)。大部分的手机今天至少有屏幕分辨率1280×720像素(HD)或1920×1080像素(高画质)。有些手机甚至有更高的屏幕分辨率为2556×1440像素(2 k的分辨率)。手机的价格也有所下降,很大程度上使他们一个完美的候选人观看视频。进步在移动硬件加上成本下降,导致了人们对高分辨率视频内容的更大需求,可以随时观看。在发表的一份报告2)证实了这一事实,指出目前视频流量构成整个互联网流量的55%以上。为了减轻负载增加的问题在现有的网络基础设施,先进的视频压缩技术已经开发出来,提供优秀的观看质量没有流媒体会话期间消耗大量的网络带宽。H.265 / HEVC(高效视频编码)由国际电信联盟(ITU)的视频编码专家组(VCEG)和VP9由谷歌(Google inc .)是现代编解码器'这样的例子。他们提供一个优良的品质压缩比。

服务质量(QoS)被定义为ITU为“电信服务的特点,在满足明确和隐含需要的能力的用户服务”(3]。相反,质量的概念的经验(体验质量)是影响多维系统,用户和其他上下文因素(4]。为了成功的体验质量管理的互联网服务提供商(isp),它是极其重要的理解体验质量之间的关系和底层网络和应用程序层QoS参数。事实上,QoS参数是最重要的互联网服务提供商的业务相关的参数(5]。因此,为了测量用户满意度,需要体验质量的QoS域的映射。

摘要视频质量预测模型提出了视频编码与H.265 / HEVC和VP9编解码器和在移动设备连接到一个无线局域网(wlan - 802.11交流标准)。我们只考虑基础设施模式。共有七个QoS参数被认为是(四个代表网络QoS和其余三个用于应用QoS)。大规模的主观测试进行了模型建立的目的。丢包、抖动、吞吐量和汽车决议扩展网络QoS因素考虑,而比特率,帧率,视频分辨率应用QoS因素考虑在内。为了一个模块化的概念,介绍视频模型是建立在三个阶段。在阶段1和2的视频质量模型的网络和应用QoS因素分别是建立一个接一个相互独立的。在三个阶段,从阶段1和阶段2的视频模型组合在一起以获得最终的综合模型。这种模块化方法提供了更大的灵活性,因为它将网络和应用视频独立模型。这种模块化特性应该特别有用的isp,因为如果需要任何改变或修改模型后; then they can work on only those specific factors without having to disturb the remaining ones. Detailed methodology has been provided in a later section.

剩下的纸是组织如下。节2、相关文献综述。部分3提出了构建视频模型的详细方法。部分4说明了主观测试,以及相关的数据进行分析。部分5和6现在网络的视频模式和应用QoS因素,分别,而部分7礼物最后集成视频模式。部分8介绍了人工神经网络(ANN)模型建立的方法以及相关的统计数据。最后,在节9,我们提供的结论和未来工作的范围。

2。文献综述

在本节中,我们简要回顾所有的相关工作。

2.1。视频服务质量评估方法

有两种主要的技术视频质量评估:主观和客观的方法。提供了一个简洁的报告,在这两种技术在以下段落。

直到目前为止,主观测试被认为是最准确的视频质量评估方法。通常,在主观测试,用户聚集在一个房间里看一些视频样本。然后他们要求这些样本(通常是在1到5),其中1表示最坏的和5最好的质量。由用户给出的评级通常称为平均意见分(MOS),也称为体验质量。国际电信联盟有几个建议,进行主观测试的过程被详细规定。不同的技术可用于进行主观测试取决于应用程序的需求。绝对的分类评级(ACR),绝对的类别与隐藏的参考评级(ACR-HR),降解分类评级(DCR),和一对比较(PC)是最常采用的一些技术。ACR和ACR-HR都是单一的刺激方法的例子,一次只显示一个视频序列。DCR和PC的双重刺激方法,原始和退化的视频序列的用户对所示。更多细节关于这些技术可以获得有关ITU建议(6- - - - - -8]。建议建议使用视频序列有至少10秒的持续时间。然而,使用视频的影响小于或大于10秒的主观质量评估尚未占(9]。论文(10,11)提供一个详细的比较不同的主观的技术之一。尽管主观方法很准确,他们是耗时而昂贵的进行。因此,有一个客观的方法的必要性。

客观的技术都是基于确定的算法或数学公式,试图预测人类观察者感知到的视频质量。一个客观的方法可以不干扰侵入或类型。侵入性的方法也被称为完整的参考(FR)技术,因为评估过程需要原始和退化的视频序列。峰值信噪比(PSNR),结构相似度指数(SSIM),视频质量指标(VQM)是这样一个方案的例子12- - - - - -15]。还有另一种变异的侵入性的方法只有一个子集的原始视频序列是向用户提供质量评价的目的。这被称为减少引用(RR)方法(16]。不干扰方法不需要任何原始视频序列的存在;因此,又被称为不(NR)方法。提出的模型(17- - - - - -19代表这种技术。视频流的场景,NR模型更为可取,因为它涉及到最低的开销,因为它不需要原始视频序列的存在。这些方法可以从[获得进一步详细信息20.]。

还有第三个技术,是近年来越来越受欢迎。它包括主观和客观的结合方法如上所述。最近发表了ITU-T推荐P.1203是这种方法的一个例子21]。

2.2。QoS和体验质量之间的相关性的研究

由于高成本的主观测试和目标算法精度相对较低,研究人员试图估计不同QoS的体验质量的因素。ITU-T推荐P.861估计听力从各种语音传输质量因素和建立一个非线性关系(22]。在[作者类似的工作已经完成23),详细讨论如何人类HTTP服务的满意度(网页浏览)是受到两个网络QoS参数的影响,也就是说,网络带宽和延迟。非线性网络的QoS和体验质量用户满意度之间的关系提出了作者。然而,工作只考虑网络QoS参数和需要看到如果相同类型的关系也适用于视频流量。

通用公式的体验质量和QoS参数连接通过一个指数的关系称为IQX假说提出了作者在24]。IQX假说是两个不同的测试服务:语音IP (VoIP)和web浏览不同的丢包值,抖动,和重新排序条件。然而,IQX假说的有效性等互动和流媒体应用视频是进一步研究的问题。同样,作者在25解释体验质量之间的关系和QoS的Weber-Fechner法律(WFL)心理物理学的一个重要原则。测试环境仅限于VoIP系统和移动宽带应用场景包括网页浏览、电子邮件、和下载。IQX假说和WFL VoIP应用程序和web服务测试,他们发现彼此的倒数。视频,其他因素如视频分辨率,类型的使用的编解码器压缩,视频内容的性质等对确定视频体验质量是非常重要的。然而,他们不能考虑IQX假说或WFL因为他们只解释网络QoS的因素。

一种自适应体验质量测量方案IPTV服务提出了在文献[26]。作者提出一种视频智能探测器(VIP)相结合的视频处理和网络参数的分析。评估是基于图像视频信号中包含的质量,包丢失,包到达时间。在[作者类似的工作已经完成27]IPTV服务延迟的影响,抖动、丢包率、错误率、带宽和信号的成功率。这两个作品主要考虑网络QoS因素并针对观看视频等大屏幕电视。然而,有相当大的差异在电视观看体验和小型移动设备28,29日]。

作者在30.)移动平台上的视频质量评估考虑空间分辨率的影响,时间分辨率,量化步长。所有的视频,被认为是解决4 CIF (704×576)。体验质量建模VP9和H.265编码视频在移动设备上已经被作者在调查31日]。虽然应用QoS比特率和视频分辨率等因素考虑,不包括任何网络QoS的因素。同时,帧速率的影响还没有被考虑到。基于内容的视频质量预测模型在无线局域网,结合应用程序和网络级别参数提出了在32]。比特率和帧速率是应用QoS因素考虑,而只有包丢失的影响被考虑为网络QoS的因素在不同的视频内容。也有类似的模型提出了(33- - - - - -36]。

基于动态自适应流媒体通过HTTP (DASH)的多视图视频系统可以最小化view-switching延迟采用适当的缓冲控制、并行流,服务器推送方案提出了作者在37]。类似的基于HTTP的视频流长期演进(LTE)提出了蜂窝网络(38]。作者在39- - - - - -41]试图预测基于少量的视频场景的视频体验质量。论文(42- - - - - -44)提供了一个绝妙的体验质量调查评估技术在一个视频流的场景。

从这一节中,我们得出结论,很多研究已经完成评估视频质量。考虑的因素属于应用程序层或TCP / IP协议的网络层套房。有些作者认为影响与老一辈都使用低分辨率视频编码解码器mpeg - 2和h / AVC。同时,很少的工作已经完成对视频质量评估在移动设备上。考虑到巨大和日益流行的在线视频服务,这是需要时间来开发一个全面的质量预测模型考虑因素来自网络和应用程序层的视频编码与当前一代H.265 / HEVC和VP9编解码器在移动设备上。

3所示。方法

3.1。问题陈述

在视频流服务中,有几个因素影响视觉感知的质量最终用户。这些QoS因素可以分组类别下的网络和应用QoS的因素。图1给一个详细分类的因素,我们认为本文。因此,对于我们的情况下,网络层感知QoS /视频模型的函数

同样,在应用程序层中,这将是一个函数 既和有相同的规模(相当于1到5的金属氧化物半导体规模),因此,整个/最后视频模型可以表示为 方程(1)和(2)是完全相互独立的,而(3)集成(1)和(2)在一起。这是原因,我们建议的模型在本质上是模块化的。根据需求 , ,或可以获得。图2描述了后整体方法论构建视频模式。

选择11参考视频从SVT高清多规格测试集数据库维护的视频质量专家组(VQEG) [45]。然后将这些参考视频受到各种类型的网络和应用程序级别的障碍。退化的视频序列然后显示给用户的速度在1到5的范围。从主观测试结果用于创建目标模型。

我们首先映射个人网络和应用QoS因素相应的体验质量。各种类型的拟合函数被认为是,但我们选择最佳的一个基于决策变量(DV),讨论了在后面的论文的一部分。在这之后,我们发现感知到的视频质量由于多个障碍因素,也就是说,多个网络和应用QoS因素,引用它们和 ,分别。这样做是在下面讨论三个步骤:

在步骤1中,我们使用一个加权和(添加剂)的方法来寻找网络和应用体验质量,利用层次分析法(AHP)算法和引用它们和 ,分别。然而,由于一个缺点在这种方法中,我们使用一个乘法技术。

在步骤2中,我们使用一个乘法的方法来发现网络和应用程序体验质量和引用它们和 ,分别。

在步骤3中,我们考虑到交互的加法和乘法的方法找到最终的网络体验质量和应用程序用和 ,分别。

最后的视频模式发现从和用多元回归的方法。由于不同的机器学习算法的广泛使用,我们也发现使用人工神经网络(ANN)方法和比较在两种方法的结果。

接下来我们详细讨论不同的QoS因素被考虑。

3.2。网络QoS因素

这里我们提供细节考虑网络的QoS的因素。

(1包丢失(PL)。IP数据包通过网络可能被丢弃在交通或删除任何中间节点由于网络拥塞或缓冲区溢出。在这里,我们考虑一个随机丢包模式,因为它有一个重大不利影响视频质量相比其他类型的包丢失(46]。不同的包丢失的水平,我们认为已从值所显示的推荐范围ITU-T通过他们的推荐ITU-T Y.1541 [47),表中给出4。

(2抖动(J)。它被定义为变量延迟接收数据包在接收机端。它可以发生由于网络拥塞,不排队,或其他因素。

(3)吞吐量(T)。它指的数据量是成功地从一个地方转移到另一个在给定的时间范围内。对视频体验质量的影响被研究社区广泛接受。

(4)汽车分辨率缩放(ARS)。在一个自适应视频场景中,视频编码在多个离散比特率,也就是说,在不同的决议。例如,YouTube是最常用的视频分辨率的144 p, 240 p, 360 p, 480 p, 720 p,或1080 p。根据可用的网络带宽和其他因素,特定比特率流分解成多个部分或块,每一段持续2到10秒。为了这项研究,我们选择的分辨率组合(360 p + 480), (720 p + 360), (720 p + 480), (360 p + 1080 p)和(1080 p + 720 p)。视频序列的时间我们在我们的实验中使用每10秒。考虑到每个支离破碎的片段的时间应该是2到10秒的分辨率切换,我们只考虑两个分辨率转换为特定的视频回放。更高的分辨率开关没有被认为是记住原始视频序列的总长度。数据分析的目的,我们ARS因子表示为一个特定的比例分辨率组合的最小分辨率组合使用视频。例如,ARS因素(720 p + 360 p)组合(1280×720 + 640×360)/ (640×360 + 854×480)= 1.8。 Similarly, for (360p + 480p), (720p + 480p), (360p + 1080p), and (1080p + 720p), the ARS factors are 1, 2.1, 3.6, and 4.7, respectively.

现在我们解释二级ARS相关因素是主要的。汽车决议扩展是一种自适应比特率的流媒体技术,使用视频内容提供商,目的是提高浏览体验质量。视频内容提供程序存储在多个分辨率相同的视频内容,然后根据不同的网络可用的网络带宽等因素,抖动程度和整体网络负荷条件选择一个特定的分辨率显示给用户。自动切换到更低或更高的分辨率比目前扮演的发生取决于网络条件和因素,如播放缓冲区的左边,视频观众呈现能力的设备,等等。因此,ARS的因素,我们认为是主要的的结果。

3.3。应用QoS因素

比特率,帧率,解决源视频应用QoS的因素考虑。实验中使用的不同的视频在一个广泛的视频内容。比特率的因素是不同的吞吐量(尽管它们使用相同的测量单位)。比特率是一个相关的编解码器的特性,而吞吐量是一个网络的属性指的是在任何时间点的可用带宽。

感知到的视频质量取决于类型的视频内容在很大程度上已经讨论了作者在32,48- - - - - -50]。定义不同类型的视频内容我们已经考虑了空间信息(SI)和时间信息(TI)的源视频。如果给的空间细节,每一帧的数量,它有一个更高的价值空间复杂的场景。SI值为每个视频帧被过滤计算每一个他们使用Sobel滤波器计算标准差紧随其后。框架的最大值表示的SI含量。同样,TI值给一个估计时间变化的数量在一个特定的视频序列。它有一个更高的价值序列有更大数量的运动。方程(4)和(5)如果和TI值的计算,分别 在哪里视频帧在时间吗 , 标准差是所有每个过滤帧的像素,然后呢中相应的最大值被认为是时间间隔。SI和TI值相乘以到达任何视频序列的整体内容的复杂性。

Sobel过滤器由卷积实现两个3×3内核/视频帧和采取的平方和的平方根的这些运算的结果。为 ,如果 表示的输入图像的像素th行和列,然后第一个用卷积的结果 是由

同样的, 这是第二次卷积的结果是

因此,索贝尔滤波器的输出图像th行和列是由

计算执行 和 ,在那里表示的行数列的数量。

图3显示了SI和TI的11个视频序列的值用于本文。

对于每个视频序列,我们采取了四种不同的决议(VGA、原、高清、高画质)。该决议的因素被认为是与前面所讨论的ARS因素完全不同。仅仅指视频的分辨率没有受到任何形式的网络障碍。然而,ARS因素引入了网络QoS因素为了考虑流媒体自适应比特率的影响。为了数据分析,我们表达的解决一个特定的示例用视频在一个比格式给出的 在哪里是指实际的视频正在考虑和解决指其相应的最小分辨率。例如,全高清的分辨率值内容 。同样,任何VGA分辨率值内容 。因此,一个视频有更高值将被在一个更高的分辨率。接下来,我们将讨论实验进行了详细和后续的数据分析。

4所示。实验的细节

首先,我们现在的视频序列用于这项研究。

4.1。视频选择

VQEG的公开视频数据库已经被用于选择参考视频。共有11个序列;表中所示的细节1。所有的序列是每人大约10秒的持续时间和在本地YUV 4.2.0格式。原始视频编码使用H.265和VP9编解码器。表2和3显示编码器配置用于编解码器,分别。

数据4(一)- - - - - -4 (k)显示视频的快照。

4.2。模拟试验台

仿真试验台如图5。我们已经创建了2发送节点,即恒定比特率(CBR)背景交通源节点和流媒体服务器包含所有我们使用的视频序列编码与H.265 VP9编解码器。CBR的比特率一直固定在2 Mbps为了模拟真实的场景。这两个在网上发送节点连接到路由器在20 Mbps的链接。路由器是依次连接到路由器B /变量链接。路由器B再次连接到一个无线接入点在20 Mbps进一步传播这交通移动节点在传输速度高达600 Mbps通常发现在802.11 ac无线局域网。没有数据包被丢弃在有线视频传递路径的一部分。最大传输数据包大小是1024字节。我们使用一个随机模式,包丢失,需要6值(0.1,0.5,1,3,5,和10%)。抖动的影响增加了通过引入固定延迟100 ms +五变量延迟对应(1、2、3、4和5 ms)。 The network throughput is varied by changing the bandwidth of the variable link between routers A and B and has been fixed at (500, 1000, 2000, 4000, and 8000 Kbps). As previously mentioned, range of all the values considered is based upon the ITU and ETSI recommendations provided in [47,51,52]。实验中使用的所有参数值表提供4。的视频只由单一ARS因素受损或任何特定的应用程序QoS因素,仿真试验台并没有被使用。为了模拟ARS的因素,一个特定的视频分段,每段回放在两个不同的决议。例如,在视频总共有300帧的情况下,第一批150帧回放在一个特定的分辨率和其余150帧回放在不同的分辨率。

实验进行了Evalvid框架(53)和网络仿真工具NS2 (54]。整合与Evalvid NS2平台给了我们一个很大的灵活性在选择参数。

接下来,主观评价过程被详细描述。

4.3。主观的评价

59岁的参与者参与的主观测试和他们在性别混合。图6显示了参与者的年龄的百分比。在招募参与者之前,石原色觉测试了它们,以确保没有人患有色盲(55]。测试在实验室环境控制。它花了16周完成整个主观测试。表5给出了详细的观看条件测试已经完成。

受试者评估462视频序列已经被完全受损1网络QoS的因素。网络损伤条件下的总数量是21(6为J PL + 5 + 5 T和5 ARS)。考虑到11个视频序列在2编解码器(21受损条件××11个视频序列2编解码器),我们到达462号。为了评估视频质量受多个网络QoS因素,我们测试序列的数量限制在176。由于进行主观测试消耗大量的时间和精力;因此,这不是可行的包括所有可能的值不同的损害而提出的测试视频序列组合。相反,我们选择176具体组合,已显示在表的细节6。

32个视频序列由所有网络QoS因素受损,而对于所有剩下的其他条件,我们为每一个使用16序列。单一和多因素受损的视频,一半的数量样品用于模型构建和其他验证。

同样,视频模型用于创建应用程序,我们有308个视频序列受1应用QoS的因素。五个不同的BR和FR水平,分别与4不同分辨率值2编解码器和11个序列共有308种组合。创建多因素受损的视频,正如前面所解释的那样我们使用总可能组合的一个子集。特别是,140序列,提供在表的细节7。和之前一样,140序列分为均匀模型创建和验证的目的。

最后一个模型是由所有网络和应用QoS因素结合在一起。因此,我们一共有7个不同的因素。因为它是不可能让用户观看如此大量的视频,我们限制不良视频的数量到156年。表8显示的相关信息。对于这种情况,在创建视频序列时,已经采取谨慎措施包括网络和应用QoS的影响因素为每个条件。78序列被用于模型创建和验证。

所有的视频都在三星Galaxy报告为目的的评估。我们选择这个设备作为硬件级H.265和VP9编解码器解码功能。硬件级解码软件解码有一定的优势。有时软件解码结果紧张/扭曲回放某些格式的视频编码特别更新的编解码器。硬件加速是这种情况下非常有用。在硬件加速的情况下制造商专门实现多媒体芯片的主板协助视频解码过程,而软件解码器只使用CPU来播放视频。因此,之间的选择是一些特定的(硬件解码器)和一些通用的(软件解码器)。这是我们选择三星Galaxy的确切原因因为它有一个专门的解码器芯片H.265和VP9编解码器。

单一刺激ACR ITU-T推荐P.910中技术已被用于设计实验。测试视频的总数参与者观看是安静的大(1242序列)。约,每个主题需要大约4个小时的时间来完成整个评估过程。我们将整个测试持续时间分为9个不同的子。五个交易日完成后第一天,其余4第二天为每个主题。每个会话持续了大约30分钟后跟一个15分钟的休息,从而消除可能出现的任何形式的疲劳和疲劳由于延长观赏期。视频被提交给受试者在一个随机的顺序。

接下来,我们将讨论所使用的数据处理方法。

4.4。异常值检测和估计

的科目的分数在一定程度上偏离均值得分,进行孤立点检测是为了消除偏见。约,分数分布应该是正常的,我们发现使用测试(通过计算函数的峰态系数,即:,the ratio of the fourth-order moment to the square of the second-order moment). For a particular test video sequence ,我们计算均值 ,标准偏差(),峰态系数作为 在哪里N的主题和总数吗给出的是分数th用户th测试视频

为每一个观察者我们发现和下面给出。如果 ,那么:如果 , 如果 , 其他:如果 , 如果 , 。

上述过程后,任何话题从分析如果将被删除 和 。因此,评级从4主题包丢失的因素,5个科目的抖动因素,7个主题ARS的因素,和3个科目的帧速率的因素了进一步分析。基于用户体验质量评级或MOS计算 在哪里主题和数量吗是分数的th用户th视频

接下来,我们给出了网络视频模型。

5。网络视频模式

构建网络视频模型首先考虑单一网络QoS的影响因素对用户体验质量。此后,我们发现所有网络QoS因素的联合效应。

5.1。个人QoS因素映射到用户体验质量

我们做一个非线性曲线拟合的主观数据集到达QoS因素之间的关系及其相应的体验质量。选择一个最优拟合基于决策变量(DV)介绍。整体拟合优度统计数据通常是表达的平方误差的总和(SSE),均方根误差(RMSE),改变,或变化值。上交所和RMSE值接近0表明模型随机误差较小组件,适合将更有用的预测。同样的,和值接近1表明,占更大比例的方差模型。和给出了作为 风场的总和方总,是数量的观察,是数量的回归系数包括拦截。基于上面的讨论,我们提出了可变DV 方程(13DV)表明,更高的价值总是可取的。我们考虑各种类型的拟合模型和选择一个优化的DV可能的最高价值。拟合优度统计数据为每个单独的映射表所示9。

方程(14)- (17)给体验质量从QoS的映射域包丢失,抖动,吞吐量,分别和汽车解决比例因子。 在哪里 , , ,和从曲线拟合系数,发现和展示在表吗10。

数据7- - - - - -10显示之间的关系QoS和相应的体验质量/金属氧化物半导体。

一般我们观察到,所有的因素、视频编码与VP9编解码器有稍微更好的体验质量比H.265编解码器。

新闻申诉委员会(皮尔逊相关系数)也被计算为上述方程组获得个人因素。这是显示在表11。结果表明,方程的体验质量值预测有高度的相关性与实际主观分数。

接下来我们目前个人QoS的综合体验质量测量技术因素。

5.2。综合体验质量测量网络因素

一个加法和乘法的方法用于发现集成体验质量。最后网络视频模型进行回归得到的不同的方法。

在一种添加剂,体验质量通常表示为 在哪里和是需要发现的权重QoS因素和 ,分别。这里并不是所有的网络QoS因素考虑有相同的对感知到的视频质量的影响。因素影响更应给予更高的重量比是较小的重要的因素。之前的添加剂的方法,为了明确找出不同网络QoS参数的影响体验质量,我们进行方差分析(方差分析)的主观数据集收集到的分数从176年视频序列已被所有网络因素受损。表12从方差分析显示了结果分析。

小价值 表明,所有被认为是很重要的参数。基于的大小值我们可以进一步声称,抖动影响MOS结果最包丢失和汽车分辨率缩放紧随其后。吞吐量的影响最小。这个观察是非常重要的在分配适当的权重的不同因素添加剂的方法。

分配权重,层次分析法(AHP)算法被使用(56,57]。它是一个著名的结构化技术,常用于多准则决策系统。作为第一步,我们获得的标准比较矩阵表所示13。

下一步是构建的正规化矩阵我们可以得到每个因素的权重考虑。这个归一化矩阵见表14。

因此,对于网络的情况下体验质量在添加剂形式(18)减少

从(19),很明显,重量与抖动相关因素是最大的,虽然它是最小的吞吐量的因素。体验质量计算的添加剂方法有一个缺点,现在解释道。

视频,已经扭曲了两QoS指标不应该有一个更好的体验质量比视频已经扭曲了只有一个两个QoS的指标。例如,我们参考表15这显示了一个示例计算。

为每个网络体验质量价值因素是计算从个体QoS体验质量映射函数,我们以前在(14)- (17)。每个体验质量的添加剂贡献因素是计算每个网络QoS系数乘以它的重量。最后,通过添加相应的损伤方面的贡献。对于这个特殊的情况,个人因素的体验质量值的范围从0.62到4.07不等。体验质量添加剂获得的价值是1.4,这是在这个范围内。然而,它与体验质量的事实不应大于0.62(最低)获得的体验质量。因此,显然有一个异常而计算使用添加剂的体验质量的方法。

因此,我们考虑另一个乘法的方法。受试者给他们的意见在1到5的规模,我们目前的体验质量方程乘法形式 每个单独的QoS因素一直承压5的规模,而对最终的乘法体验质量评估其贡献。表16显示了一个示例计算使用(20.)。出于演示的目的,同一组已经采取了QoS值的方法。的获得的价值是0.08(0.62体验质量小于最小值对应的抖动)。

比较的方法获得的体验质量值相同的一组网络QoS条件表明,添加剂的方法往往overpredict实际查看质量,而乘法方法往往低估了一样。因此,构建最终的网络视频模型 ,我们使用一个基于回归的方法,结合了加法和乘法技术了。

回归模型建立基于(19)和(20.)以及主观数据集的结果,有88个视频序列由多个网络QoS因素受损。方程(21)代表的网络视频模型如图11。

方程(21)表明,网络视频模型的贡献乘法是更多比添加剂。准确的网络模型如图12,而表17报告的准确性在建模阶段每个阶段。在创建图12,我们用看不见的主观数据没有被用于建模的目的。我们注意到,在每一个阶段有一个逐步提高建模精度。

接下来,我们现在视频模型的应用程序。

6。应用视频模式

类似的方法如网络视频模型是跟着视频构建应用程序模型。首先,个人应用QoS的影响因素看质量检查,然后是一个集成的应用程序体验质量评估使用相同的三种技术之前提出。

6.1。个人应用QoS因素映射到用户体验质量

方程(22)- (24)展示体验质量的变化对比特率,帧速率,分别和解决不良视频。所有的映射已经完成对决策变量,已经在前一节中介绍。 相关系数从表中给出的实验和发现18。相应的图形如图13- - - - - -15。所有VP9编解码器的因素提供了一个更好的浏览体验。图14表明每一个视频序列有一个最优帧速率超出查看质量不提高和进入饱和阶段。同样,决议对感知质量的影响遵循一个高斯分布的明显(24)和图15。我们认为这个观察人类视觉系统的局限性和屏幕的大小的视频被观看。在我们的实验中,这些视频是在一个移动设备。结果清楚地表明,对于小尺寸的屏幕,没有任何实质性的改善通过增加视频的分辨率查看质量。

单个应用程序的模型拟合统计因素如表所示19。PCC系数表20.显示一个相对较高的主观评分之间的相关性,计算金属氧化物半导体。

接下来,我们提出综合方法对寻找应用程序级别体验质量。

6.2。综合体验质量测量应用的因素

应用视频模型也是建在三个阶段组成的添加剂,乘法,分别和回归的方法。和之前一样,在开始进行方差分析分析主观数据集包含140个视频,被所有应用QoS因素受损。这个分析的结果用于选择因素的相对重要性,并将适当的权重分配给他们基于AHP算法。方差分析报告提出了在桌上21。查看质量由帧率影响最大比特率和分辨率,紧随其后。

应用程序的添加剂形式因素所示(25)。中间标准比较矩阵和最终的归一化权重矩阵,得到AHP算法给出的表22和23,分别。

添加剂的方法患有相同类型的异常,已经在前一节中讨论。因此,我们现在的乘法形式

和之前一样,添加剂的方法往往overpredict查看质量,而乘法方法往往低估了一样的。因此,提出了基于回归模型(27)相结合的方法寻找最终的视频质量由于应用的因素。构建基于回归模型(25)和(26)随着主观评分从70年获得视频序列受损的所有有关应用QoS因素。

应用视频模型及其精度数据所示16和17,分别。表24介绍了建模精度在所有三个阶段。

接下来,我们找到最终的综合视频模式,结合网络和视频应用程序模型。

7所示。最后综合视频模式

直到现在,单独的网络模型建立和应用QoS的因素。旨在构建一个跨层模型,我们现在将这两个模型合并成一个单一的实体。

78年创建最终的视频模型视频序列。所有这些视频序列受多个网络和应用QoS因素被认为是在这里。提供了视频序列表的详细信息8。基于MOS得分获得在这些78序列和(21)和(27);回归的方法是用来构建最终的视频模式。使用变量的分段法进入计划。在任何步骤中如果我们获得一个无意义的结果,然后删除对应的参数。方程(28)代表最后的视频模型和图18描述是一样的。每个因素的系数表明,虽然计算整个视频质量,网络的影响由于体验质量比的影响 应用程序的体验质量。 ,调整 ,和PCC值为0.953、0.952和0.976,分别获得了最终模型。建模精度一直是显示在图19。寻找出最终模型的准确性,我们使用剩余的78序列的主观数据集没有用于建模的目的。

接下来,我们现在相同的视频模型使用一个基于人工神经网络(ANN)方法。

8。基于ANN的视频模式

到目前为止我们使用一个基于回归技术构建视频质量预测模型。模型能够预测感知到的视频质量合理的准确性。然而,最近由于不同的机器学习技术的广泛使用的数据进行分析,我们决定使用相同的人工神经网络方法构建模型局限于相同的参数,我们之前已经考虑并评估两者的性能。相同的主观数据组成的78受损的视频序列,我们以前也在这种情况下。

视频质量评估使用不同类型的神经网络已经被一些研究人员试图在过去。概率神经网络(并),反向传播神经网络(摘要),自适应Neurofuzzy推理系统(简称ANFIS)和随机神经网络(RNN)是常用的一些技术。然而,随着指出在文献综述部分,移动设备上的视频质量评估已经完成与低分辨率视频和只使用h和MPEG-2/4视频编解码器。为了评估视频质量等主观指标的MOS前馈型人工神经网络是最常用的58- - - - - -61年]。这就是为什么我们决定使用一个安记住当前研究技术差距和努力克服这些。

我们使用的安我们的工作是一个多层感知器模型有一个隐藏层。考虑输入的数量,也就是说,7,要更多的隐藏层会不必要地增加了系统的整体复杂性也导致过度拟合问题。因此,我们选择了一个隐层的体系结构。神经网络的训练已经完成使用Levenberg-Marquardt (LM)算法在MATLAB通过发行trainlm命令。trainlm命令是一个网络的训练函数更新重量和偏见的不同节点根据LM优化技术。它被认为是一个最快的反向传播算法和强烈建议作为首选监督算法,尽管它消耗更多的计算机内存相比其他算法。隐藏层,我们使用双曲正切乙状结肠tansig命令传递函数。为输出层,使用纯粹的线性传递函数给purelin命令。神经网络具有相同的7参数之前我们已经讨论了作为输入,加上一个额外的因素编解码器使用的类型。作为输出,我们比分预测质量的视频。

我们使用70:30分流比为输入数据作为训练、测试和验证集。找到的配置网络达到最佳性能,几轮测试是由不同隐层神经元的数量和观察结果。因为我们有8输入和1输出,因此我们各种隐藏的神经元的数量从4到15。与10隐藏节点最优性能观察。系统架构显示最好的配置图20.。在图中,符号w和b代表重量和偏见因素对于每个节点,分别。w的值和b为我们配置提供了输入层和隐层设置为在表25和26,分别。

在训练我们的模型的性能,测试和验证集,如图21。最好的验证性能获得时代5和图中标记。也,我们发现模型在培训阶段,学习的均方误差(MSE)在所有三组降低,然后变得几乎不变。图22显示了回归各3套的阴谋。整体值的所有视频序列是0.964这是相当高的。新闻申诉委员会获得的价值是0.984的显著性水平小于0.01。回归方法相比,ANN模型给出了一个稍微更好的性能。

9。结论和未来的工作

在本文中,我们提出了一个不视频质量预测模型相关的网络和应用QoS因素一个视频流的场景。我们建议的模型是一个交叉分层考虑因素从多个层次的TCP / IP协议栈。同时,它的独特的特点是模块化的。根据要求,预测模型可以调谐质量由于网络和应用程序因素或两者的结合。在每个阶段,适当的主观测试已经完成模型构建和验证的目的。ANN方法提供了更好的预测精度比基于回归的方法。

所有的视频,使用全高清分辨率和编码使用最新一代H.265 / HEVC和VP9编解码器。即使这些编解码器能够压缩视频4 k在更高的分辨率,我们并不认为他们在本文中由于有限的4 k视频内容的可用性。有更多的改善网络的速度和普及4 k的视频内容,我们计划在未来的工作更高的分辨率的影响进行调查。此外,所有的视频序列,使用约10秒持续时间。更长的视频序列的影响没有进行这项研究,这将被认为是在未来。

的利益冲突

作者宣称没有利益冲突有关的出版。

引用

1. 2013视频Index-TV不再是一个单一的屏幕在你的客厅美国Ooyala集团,2013年。
2. 思科全球移动数据流量预估更新报告2014 - 2019美国思科公司,2016年版。
3. ”相关的术语的定义,请参阅服务质量”,ITU-T推荐E.800,2008年9月。视图:谷歌学术搜索
4. p . Le荡妇,s·穆勒和a . PerkisQualinet白皮书的定义质量的经验- 20122012年,瑞士洛桑。
5. m t . Hoßfeld r·沙茨是万利拉,c . timmer“体验质量管理云应用的挑战,”IEEE通讯杂志,50卷,不。4,几个,2012页。视图:出版商的网站|谷歌学术搜索
6. “主观视频质量评价方法对于多媒体应用程序,”ITU-T推荐P.910,200年6月。视图:谷歌学术搜索
7. “方法论的电视画面质量的主观评价,“ITU-T推荐BT.500,2012年1月。视图:谷歌学术搜索
8. “主观确定传输质量,方法”ITU-T推荐P.800,1996年8月。视图:谷歌学术搜索
9. f·f·m·莫斯k . Wang, r··巴德利和d·r·牛”的最优表示主观视频质量评估时间,“IEEE电路和系统视频技术卷,页没有。99年,2015年。视图:出版商的网站|谷歌学术搜索
10. m . mike vanderboegh和狼,“主观视频质量测试方法比较,”2003年《视觉通讯和图像处理瑞士,页573 - 582,2003年7月。视图:出版商的网站|谷歌学术搜索
11. d·m·劳斯r . Pepion p . Le荡妇和s . s . Hemami“权衡在主观测试图像和视频质量评估方法,”《人类的视觉和电子成像十五2010年1月,美国,。视图:出版商的网站|谷歌学术搜索
12. “参考算法计算峰值信噪比处理视频序列的常数补偿空间变化,持续时间转变,和恒定的亮度增益和偏移量,”你叫推荐J.340,2010年6月。视图:谷歌学术搜索
13. z, a·c·Bovik h·r·谢赫和e . p . Simoncelli“图像质量评估:从错误的可见性结构相似,“IEEE图像处理,13卷,不。4、600 - 612年,2004页。视图:出版商的网站|谷歌学术搜索
14. “客观感知数字有线电视视频质量测量技术的一个完整的参考,”ITU-T推荐J.144,2001年3月。视图:谷歌学术搜索
15. “客观感知视频质量测量技术标准定义数字广播电视的一个完整的参考,”ITU-R推荐BT.1683,2004年6月。视图:谷歌学术搜索
16. s . Kanumuri p c . Cosman a . r . Reibman和v . a . Vaishampayan“建模包丢失在mpeg - 2视频的可见性,”IEEE多媒体,8卷,不。2、341 - 355年,2006页。视图:出版商的网站|谷歌学术搜索
17. j . Søgaard s Forchhammer, j . Korhonen”不使用编码分析视频质量评估,”IEEE电路和系统视频技术,25卷,不。10日,1637 - 1650年,2015页。视图:出版商的网站|谷歌学术搜索
18. m . Shahid a . Rossholm b . Lovstrom,周宏儒。Zepernick”,没有参照图片和视频质量评估:最近的分类和评估方法,”Eurasip杂志在图像和视频处理,卷2014,不。1,货号。40,2014年。视图:出版商的网站|谷歌学术搜索
19. “看来视频电话应用程序模型”,ITU-T推荐G.1070,2012年7月。视图:谷歌学术搜索
20. m .μ,p . Romaniak a . Mauthe m . Leszczuk l . Janowski和e . Cerqueira“框架集成的视频质量评估,”多媒体工具和应用程序,卷61,不。3、787 - 817年,2012页。视图:出版商的网站|谷歌学术搜索
21. “基于参数位流渐进式下载和适应性视听流媒体服务质量评估在可靠的运输,”ITU-T推荐P.12032017年1月,P.1203 ITU-T建议。视图:谷歌学术搜索
22. “客观质量测量的电话乐队(300 - 3400赫兹)语音编解码器,”ITU-T推荐P.861,1996年8月。视图:谷歌学术搜索
23. 美国Khirman和p . Henricksen”,服务质量和质量之间的关系为公共互联网服务的经验,”学报》第三届研讨会被动和主动测量2002年3月,页23-28,。视图:谷歌学术搜索
24. m·菲德勒t Hossfeld, p . Tran-Gia”一个通用的量化质量的经验和服务质量之间的关系,“IEEE网络,24卷,不。2,36-41,2010页。视图:出版商的网站|谷歌学术搜索
25. p . Reichl s症、r·沙茨和a . D 'Alconzo”体验质量的自然对数和Weber-Fechner体验质量评估、法律的作用”IEEE国际会议通信学报》(ICC的10),页1 - 5,开普敦,南非,2010年5月。视图:出版商的网站|谷歌学术搜索
26. j . A . Lozano A·卡斯特罗富恩特斯,j·m·冈萨雷斯,。罗德里格斯:“体验质量自适应测量视频流IP服务,”学报》第七届国际会议上网络和服务管理2011年,页1 - 4,巴黎,联邦铁路局。视图:谷歌学术搜索
27. h·j·金和s . g . Choi”体验质量评价模型使用QoS参数,为多媒体流媒体服务”多媒体工具和应用程序,1-13,2013页。视图:出版商的网站|谷歌学术搜索
28. w·歌、d . Tjondronegoro和m . Docherty”探索和优化用户体验在在手机上观看视频,”软件工程和知识工程的国际期刊,20卷,不。8,1045 - 1075年,2010页。视图:出版商的网站|谷歌学术搜索
29. h . Knoche j·d·麦卡锡和m . a .船闸”小可以漂亮吗?评估图像分辨率要求移动电视”学报13 ACM国际多媒体会议,2005毫米新加坡,页829 - 838年,2005年11月。视图:出版商的网站|谷歌学术搜索
30. Y.-F。马Ou,薛y, z, y,“移动平台的感知视频质量模型考虑影响的空间,时间,和振幅决议,”学报2011年IEEE 10 IVMSP车间:感知和视觉信号分析,IVMSP 2011美国,页117 - 122年,2011年6月。视图:出版商的网站|谷歌学术搜索
31. w·歌,y, d . Tjondronegoro, a .李欧塔”体验质量造型VP9和H.265视频在移动设备上,”学报》第23届ACM国际会议多媒体,2015毫米10月,页501 - 510,澳大利亚,2015年。视图:出版商的网站|谷歌学术搜索
32. 答:汗,l .太阳和e . Ifeachor”内容基于聚类的视频质量预测模型对MPEG4视频在无线网络,”学报2009年IEEE国际会议交流,国际商会2009年2009年6月,德国。视图:出版商的网站|谷歌学术搜索
33. h . Koumaras a . Kourtis学术界。林,C.-K。Shieh”理论框架MPEG-based序列的端到端视频质量预测,”学报》第三届国际会议上网络和服务,icn 20072007年6月,希腊,。视图:出版商的网站|谷歌学术搜索
34. z Duanmu, a·拉赫曼曾k, z,“流媒体视频体验上的品质预测,”学报2016年IEEE国际多媒体会议和博览会,ICME 2016美国2016年7月。视图:出版商的网站|谷歌学术搜索
35. p . Calyam e . Ekici C.-G。Lee m . Haffner和n·豪斯”,一个“缺口模型”框架为在线体验质量VVoIP测量为基础,通信和网络杂志》上,9卷,不。4、446 - 455年,2007页。视图:出版商的网站|谷歌学术搜索
36. 答:汗,l .太阳和e . Ifeachor”学习视频质量预测模型在无线局域网和通用移动通信系统网络,”专业的沟通,4卷,不。12日,第1403 - 1389页,2010年。视图:出版商的网站|谷歌学术搜索
37. d . Yun k涌,“DASH-based多视点视频系统,”IEEE电路和系统视频技术1 - 1页。视图:出版商的网站|谷歌学术搜索
38. s . Colonnese f·科莫,t·笛管音栓和鲁宾,“跨层带宽分配方案基于http的视频流在LTE蜂窝网络,”IEEE通信信,21卷,不。2、386 - 389年,2017页。视图:出版商的网站|谷歌学术搜索
39. 陈郭k .贾y, y, y赵,“测量和预测在LTE DASH-based视频流的体验质量,”学报19个人多媒体无线通信国际研讨会(WPMC),页102 - 107,深圳,中国,2016。视图:谷歌学术搜索
40. m . t . Maki Varela, d . Ammar,“分层HTTP的视频质量评估模型QoS测量,”学报》第11届国际会议上Signal-Image技术和网络系统,提2015那,页591 - 598年,2015年11月。视图:出版商的网站|谷歌学术搜索
41. j .江诉Sekar h·张,“改善公平、效率和稳定的基于http的自适应视频流的节日,“IEEE / ACM交易网络,22卷,不。1,第340 - 326页,2014。视图:出版商的网站|谷歌学术搜索
42. 吴k . y . Chen,张问:“从QoS体验质量:教程视频质量评估,”IEEE通信调查和教程,17卷,不。2、1126 - 1165年,2015页。视图:出版商的网站|谷歌学术搜索
43. m . Seufert症,m . Slanina t .寻t . Hoßfeld和p . Tran-Gia”调查质量的HTTP自适应流媒体的经验,“IEEE通信调查和教程,17卷,不。1,第492 - 469页,2015。视图:出版商的网站|谷歌学术搜索
44. p . Juluri t·马纳,d . Medhi”测量质量的视频点播服务的经验:一个调查,“IEEE通信调查和教程,2015年。视图:出版商的网站|谷歌学术搜索
45. “VQEG标准数据库维护”,http://www.its.bldrdoc.gov/vqeg/downloads.aspx。视图:谷歌学术搜索
46. c . j .夜莺问:Wang希腊,戈马,“网络障碍的影响质量的经验(体验质量)H.265 / HEVC视频流,”IEEE消费类电子产品,60卷,不。2、242 - 250年,2014页。视图:出版商的网站|谷歌学术搜索
47. “基于ip网络性能目标服务”你叫推荐Y.1541,2011年12月。视图:谷歌学术搜索
48. k .顾j .周,肯尼迪。乔,g .翟、w·林和a·c·Bovik“不质量评估的屏幕内容图片,”IEEE图像处理,26卷,不。8,4005 - 4018年,2017页。视图:出版商的网站|谷歌学术搜索|MathSciNet
49. h . Malekmohamadi w·a·c·费尔南多,a . m . Kondoz“基于内容的主观质量预测与机器学习立体视频,”IEEE电子信件,48卷,不。21日,第1346 - 1344页,2012年。视图:出版商的网站|谷歌学术搜索
50. t . Ghalut、h·拉里贾尼和a . Shahrabi“基于内容的视频质量预测使用随机神经网络视频流在LTE网络,”学报》第15届IEEE计算机和信息技术国际会议上,CIT 2015年第14届IEEE国际会议上无处不在的计算和通信,IUCC 2015年13 IEEE国际会议上可靠,自主和安全计算,DASC 2015和13和计算IEEE国际会议上无处不在的智慧,PICom 2015gbr,页1626 - 1631年,2015年10月。视图:出版商的网站|谷歌学术搜索
51. “框架和方法测定和应用QoS参数,“ITU-T推荐E.802,2007年2月。视图:谷歌学术搜索
52. “语音和多媒体传输质量(STQ);端到端传输抖动规划要求实时服务的NGN的背景下,“ETSI TR 103 210 v.1.1.1(2013 - 10)的建议,2013年。视图:谷歌学术搜索
53. j . Klaue b Rathke, a . Wolisz”Evalvid-a视频传输和质量评估框架”计算机性能评价。造型技术和工具卷,2794在计算机科学的课堂讲稿施普林格,页255 - 272年,纽约,纽约,美国,2003年。视图:出版商的网站|谷歌学术搜索
54. “NS2,”http://www.isi.edu/nsnam/ns/。视图:谷歌学术搜索
55. l·h·哈迪·g·兰德,m . c . Rittler”测试的检测和分析色盲三世Rabkin测试,”美国光学学会杂志》上,35卷,不。7,481年,页1945。视图:出版商的网站|谷歌学术搜索
56. t . l . Saaty层次分析法美国麦格劳-希尔,纽约,纽约,1980年。视图:MathSciNet
57. f . Zahedi“层次分析处理t他的调查方法及其应用,”接口,16卷,不。4、96 - 108年,1986页。视图:出版商的网站|谷歌学术搜索
58. 张x, y, l . Wu和h .江“FR的视频质量评估的研究实时视频流,”国际期刊《先进的计算机科学和应用程序,3卷,不。6、2012。视图:出版商的网站|谷歌学术搜索
59. p . Reichl s Egger s·穆勒et al .,“对一个全面的体验质量和用户行为建模框架,”学报》第17届国际研讨会上的多媒体体验质量(QoMEX 15),页1 - 6、IEEE Pylos-Nestoras,希腊,2015年5月。视图:出版商的网站|谷歌学术搜索
60. l•皮耶路奇指出,d . Micheli神经网络在移动通信质量的经验估计,“IEEE多媒体,23卷,不。4,42-49,2016页。视图:出版商的网站|谷歌学术搜索
61. e .丹麦m . Alreshoodi答:费尔南多,b . Alzahrani和s . Alharthi“跨层体验质量预测基于随机神经网络的移动视频,”《IEEE国际会议消费电子、ICCE 2016,页227 - 228,美国2016年1月。视图:出版商的网站|谷歌学术搜索

版权

版权©2017 Debajyoti Pal和Vajirasak Vanijja。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。