文摘
提高视频质量,针对低峰值信噪比的问题,视觉效果差,和低比特率的传统方法,提出了一种快速补偿算法基于曼哈顿的多媒体视频的帧间运动的距离。绝对的基于小波变换的中位数差异是用来估计多媒体视频噪声。根据高斯噪声方差估计的结果,有源噪声混合取证算法预处理的原始视频噪声混合,和模糊c均值聚类方法用于平稳过程的多媒体视频和多媒体视频获取重要的信息。基于块的运动的想法是将视频序列的每一帧分成不重叠的聚积科技,找到最好的位置块对应于当前帧的参考帧根据特定的搜索范围和特定的规则,并获得当前帧之间的相对曼哈顿距离和多媒体视频的背景使用曼哈顿距离计算公式。然后,多媒体视频帧之间的运动补偿。实验结果表明,本文算法具有很高的峰值信噪比和比特率高,有效地改善了视频的视觉效果。
1。介绍
近年来,随着多媒体和网络技术的迅速发展,视频,图像,计算机视觉、多媒体数据库和计算机网络技术正越来越多地集成,涉及国民经济和社会生活的各个方面。视频处理、视频编码和视频通信,在核心位置,已成为信息的前沿领域和热点话题和通信工程1]。的逐步渗透其中,多媒体,视频之间的界限,图形、计算机视觉、多媒体数据库和计算机网络变得模糊,使得视频处理一个多学科的研究领域2]。目前,视频处理是多媒体技术的核心(3]。与此同时,随着视频技术的迅速发展,研究多媒体视频帧之间的运动补偿是非常重要和必要的。因此,视频帧间运动补偿中扮演一个重要的角色在许多技术包括在视频处理4]。
作为一个经典的图像和视频处理领域的问题,视频帧间运动补偿是广泛应用于视频帧率改善,缓慢的视频制作,合成虚拟视图。目前,常用的视频图像的帧间运动补偿方法是密集匹配输入图像对基于光流场估计算法和插入使用获得的输入图像像素的像素密度匹配信息合成中间帧图像。随着光流场估计本身是一个坏脾气的问题,特别是在弱图像纹理或阻塞的情况下,效果很差,峰值信噪比很低。现有的方法在实际应用中经常面临的困难。近年来,基于深度学习的方法吸引了广泛的关注,取得了非凡的成果在许多计算机视觉问题,如目标分类、人脸识别等等。然而,这种方法成功的关键是使用大量的训练样本训练神经网络,适当的深度问题的长时间补偿和低比特率。此外,文献[5)提出了一种深卷积神经网络算法实现图像帧间补偿。首先,图像帧间补偿模型根据卷积神经网络。其次,补偿模型提取的图像特征稀疏self-coding和线性解码。然后,图像是由多层卷积神经网络映射特性。最后,根据稀疏图像分辨率帧重建算法来弥补图像帧。实验结果表明,基于深度图像帧补偿方法卷积神经网络可以有效地解决图像丢失的问题,然而,比特率较低,应用效果很差。
提高峰值信噪比,视觉效果,多媒体视频图像的比特率,快速帧间运动补偿算法,提出了基于曼哈顿距离。部分2介绍了处理的多媒体视频。节3多媒体视频帧间运动补偿算法。部分4提出了模拟实验,验证我们的方法的强度,并给出结论5。
2。多媒体视频预处理
2.1。高斯噪声方差估计
的噪声级混合多媒体视频,本文采用方差来衡量。使用绝对平均差异基于小波变换(6)估计的高斯噪声标准差的多媒体视频 :
代表了一级精细小波系数的多媒体视频 。疯狂算子定义如下:
代表输入向量的值。快速小波变换可以确保疯狂操作符的执行率高,使其适用于批处理高斯噪声方差估计的视频帧7]。具体的高斯噪声方差估计公式如下:
代表视频的高频信息。代表了低频信息的视频。代表了视频中的噪声。
2.2。主动噪声混合取证算法
根据高斯噪声方差估计的结果,本文提出了一个活跃的噪声混合取证算法。首先,进行预处理的原始视频噪声混合,即。,use a pseudo-random sequence to generate Gaussian noise with a standard deviation of并将它添加到每个像素的视频序列。然后,处理将篡改视频帧速率上转换(MC-FRUC)来生成一个up-converted视频,和去噪和压缩等攻击也可以实现。最后,分析了高斯噪声分布的可疑视频识别是否有MC-FRUC篡改。下面具体介绍了该算法的核心:噪音混合,取证和检测。
假设原始视频序列组成的视频帧的大小 。可以使用伪随机序列生成0-mean高斯噪声的标准差 ,和像素的原始视频序列被添加
和 ,分别代表的原始帧th框架和噪声帧的像素值的位置 。 代表的值混合高斯噪声。当原始视频序列遇到MC-FRUC篡改,两者的结合原始帧和必须插入当前帧 ,和公式(4)是派生得到
其中,
代表了相邻帧。和代表的阈值。代表了角点的视频帧。
它是观察从公式(7)内插帧噪声项通过噪声项的加权求和的th框架和噪声项的 th帧的运动轨迹。由于噪声项的分量是相互独立的,两端的方差公式(5)可以同时获得。
因为每个像素和与0-mean预先混合高斯噪声的标准差 ,可以看出
根据公式(10),它可以知道方差插值帧的方差的一半吗的混合噪声。MC-FRUC篡改将定期插入内插帧。因此,噪声标准差的假视频将展示周期性的突然变化,如图1(unforged视频原30帧视频,和假视频15 fps原始视频30 fps)。标准差是预拌入视频5的高斯噪声。使用疯狂的方法估计的噪声标准差unforged和伪造视频,可以看出unforged视频的噪声标准差曲线变化平稳、缓慢,而噪声标准差曲线的伪造视频迅速变化和周期性。可以看出的周期性噪声标准差曲线可以作为一个强有力的证据区别MC-FRUC的篡改。
(一)
(b)
2.3。平滑处理的嘈杂的多媒体视频
提高多媒体视频帧之间的运动补偿的准确性,模糊c均值聚类方法(8用于平稳过程嘈杂的多媒体视频。使用灰度集群成员成员张量矩阵变换在吵闹的多媒体视频。详细过程如下:步骤1:确定的迭代误差,迭代的最大数量,聚类类别的数量是紧随其后的是分段的获取初始隶属度 ,的计算公式如下: 代表了全球区间值模糊紧性函数。代表了当地的模糊中值区间。步骤2:计算的标签值噪声帧在嘈杂的多媒体视频根据会员的程度 。 步骤3:执行步骤基于标记的值,迭代处理和更新会员标签值。步骤4:为新标签的隶属度值,根据最大隶属度原则的马克。第五步:获得根据迭代误差的最大隶属度。计算公式如下:
代表最大会员产生的误差 th迭代。代表最大会员产生的误差th迭代。
在此基础上,获得的灰度聚类隶属度转换成相对应的隶属度张量多媒体视频。隶属度张量后进行过滤处理,获得的标签值,吵闹的多媒体视频的光滑处理结果可以实现。图2是噪声的平滑处理的流程图多媒体视频。
2.4。从多媒体视频提取重要信息
它可以从人类视觉系统的特性通常人眼通知第一目标或场景中感兴趣的领域,而其余noninteresting部分或重复的内容很容易被忽视。显著图模型是一种选择性注意模型,模拟生物的视觉注意力机制。本文剩余谱方法用于提取的视觉显著图多媒体视频(9],它可以表示如下: 代表了原始视频对数振幅谱。代表一般对数振幅谱后过滤。代表其余的光谱。下面是详细分析重要的多媒体视频信息提取步骤:步骤1:在多媒体视频图像进行二维傅里叶变换。步骤2:获得的振幅谱计算的绝对值转换后的视频图像。同时,计算相位谱。第三步:获得不同振幅谱减过滤后的振幅谱振幅谱的原始视频图像。步骤4:重建视频图像的二维傅里叶反变换使用振幅谱和相位谱的区别。第五步:获取视频图像的显著图进行重建视频图像的高斯滤波和归一化。
与视频图像的高频信息相比,视频图像的显著图不仅可以反映视频图像的细节也提取领域能够吸引人类的眼睛的注意。因此,利用视频图像的显著图来表示视频图像的细节更符合人眼的视觉特性。
3所示。快速多媒体视频帧间运动补偿算法
多媒体视频预处理环节,实现噪声的平滑处理多媒体视频、多媒体视频获得的重要信息,它提供了一个稳定的基本条件的快速补偿多媒体视频帧间运动。接下来,快速补偿处理多媒体视频帧间的运动将会进行。
3.1。多媒体视频运动估计
从视频图像中提取对象运动信息被称为运动估计。一般运动估计的基本原理如下:假定视频帧 在时间代表当前帧,帧的视频 在时间代表了参照系。当参考系当前帧的前一帧,即。,当 ,它被称为向后运动估计(10]。当物体的最佳位置在当前帧 搜索在参考系 ,相应的运动领域可以获得当前帧的运动矢量如图3。
运动估计一般采用基于块的运动估计。基于块的运动的基本思想是将视频序列的每一帧分成不重叠的宏模块和找到最好的位置块对应于当前帧的参考帧根据特定的搜索范围和特定的规则,即。,找到匹配的块。之间的相对位移,匹配块与当前块的运动矢量11]。
整个实现过程的块匹配运动估计是找到最匹配的运动矢量,它减少了运动补偿的时间冗余通过消除当前帧和参考帧之间的时间相关性。块匹配运动估计的基本原理是将预测单位作为基本单位,找到相应的预测单元在参考系为每个预测当前帧单元在一定秩序,并确定它们之间的相对位移使用发现预测单元,即。,运动矢量的搜索完成。运动矢量的重要性是不容忽视的。更精确的运动矢量预测运动估计的效果越好。
运动估计的最终目标是传播运动矢量和视频解码端预测误差。运动补偿是减去预测单元从当前预测单元基于运动估计获得剩余单位。这种残余单元包含一些信息。进行量化转换和熵编码获取代码流。因此,运动估计的准确性直接影响多媒体视频帧之间的快速运动补偿的影响(12]。
图4显示了运动估计的基本过程。在图中,时间对应于th帧图像,和时间对应于th帧图像。在框架,找到最匹配的一部分框架。它叫做寻找最好的块,它是判断,匹配块的位置框架是前面的块的位置框架,这种运动称为运动的位移向量。
3.2。实现快速多媒体视频帧之间的运动补偿
3.2.1之上。曼哈顿距离
曼哈顿距离指的是两个点之间的距离严格基于水平或垂直的路径,而不是一个对角线或类似直折线的距离13]。这是一个简单的叠加的水平和垂直分量之间的距离。
- - - - - -维空间点集。每一个点它可以表示为 ,在哪里被称为th协调的 ,和 。曼哈顿的两个点之间的距离 和 可以表示为
曼哈顿距离应用于视频图像。背景图像也背景模板。曼哈顿距离是每个像素的曼哈顿距离的总和:
曼哈顿距离之间的背景模板和当前帧(MDFB)之间的相对距离的总和背景图像和相应的当前帧的像素:
曼哈顿的相对距离的计算公式背景模板和当前帧之间的背景是,
在上面的公式中,代表的曼哈顿距离背景模板本身。代表了曼哈顿距离背景模板和当前帧。代表的相对曼哈顿距离当前帧的背景。
3.2.2。快速多媒体视频帧之间的运动补偿
曼哈顿距离计算公式用于获得当前帧之间的相对距离曼哈顿的多媒体视频和背景,以及多媒体视频帧之间的运动补偿。
(1)基本思想。首先,判断当前帧是一个背景帧或根据目标框架 。其次,如果它是一个背景帧,即, ,那么当前帧作为背景图像。第三,如果变化小,也就是说, ,中位数与相邻四帧图像执行操作。第四点是如果 是满意,那么目标框架受到中等操作。操作中值与背景帧进行,最后的结果是作为新的背景帧。第五,如果有一个很大的区别,例如, ,然后判断目标帧作为对象开始从休息,和当前帧作为背景框架。具体实现公式所示公式(19)和(20.)。
在上面的公式中,代表了背景模型 。 代表当前的目标框架。 , , ,和是第一个四帧立即相邻吗 。
因为不同像素的运动在当前多媒体视频有关候选人的运动块,合并的运动补偿预测模式不够准确。充分利用运动像素之间的相关性随着距离的变化,本节提出了一种加权预测基于曼哈顿距离作为额外的候选人合并模式(14]。具体步骤如下:(我)检测邻居合并候选块:首先,你的邻居合并候选块检测。图5是一个原理图的位置合并模式候选块。所示的位置的候选人在图块的合并模式5检测到,候选人在不同位置的顺序 , , , , ,和 ,和相应的运动向量生成。如果生成的运动向量的个数小于2,则不执行本文的算法。否则,执行本文的算法。(2)运动补偿:使用在步骤1中生成的运动矢量进行运动补偿预测得到相应的预测,这是表示 。在本文算法中,宏模块的大小像素用于运动补偿。每个宏块的当前帧采用最小悲伤(绝对差异之和)标准,和前一帧的搜索找到的宏块对应于当前宏块最小的悲伤的价值。这个宏块对应于前一帧。宏块最匹配当前宏块称为参考宏块,和它的定义公式所示(21)。
代表每个像素的灰度值在当前宏块,和代表每个像素的灰度值参考宏块。利用运动补偿技术基于最小悲伤,在固定前一帧的搜索范围,最匹配引用宏模块可以找到对应于当前宏模块。当前宏模块和参考宏模块构成电流的运动轨迹在时域宏模块,可以筛选和当前宏模块的时域运动轨迹。
克服快速移动对象的“拖尾”现象容易造成纯时域滤波,采用运动强度检测技术。的对象有不同的运动强度、过滤器采用不同的滤波强度,有效地避免了快速移动的对象的“拖尾”现象。由于算法是处理一个宏块的最小单元算法,运动强度检测算子定义来检测当前宏块的运动强度的运动轨迹。的定义见公式(22)。
通过大量的运动序列的测试,测量两个经验值确定宏模块的运动强度,即高、低阈值和宏模块的运动强度。通过检测操作员和两个高、低阈值和由实验决定,当前宏模块的运动强度的运动轨迹可以确定(15]。
每个宏块的运动强度定义为三种情况。如果检测算子的值当前宏块小于低阈值 ,它表明当前宏块是一个稳定而缓慢运动的运动轨迹运动强度较低。在这种情况下,可以设置过滤器的过滤强度高,可有效去除噪声,同时,由于当前块的运动强度低,不会引起“尾矿的现象。“当检测算子的价值高于高阈值 ,它表明当前宏模块是运动轨迹和剧烈运动有很强的运动强度。这时,过滤强度应该调整到一个较低的水平,这样过滤宏模块保持当前宏模块的信息尽可能避免“拖尾”现象。当检测算子的值之间的是和 ,这表明当前宏模块的运动强度处于一种中间状态,和滤波器的滤波强度也会调整到一个中间水平。过滤器的过滤强度调整相应的重量 。的定义如公式所示(23)。
根据宏模块的运动强度,运动快速补偿的多媒体视频帧之间可以实现通过调整滤波器的重量强度。
4所示。仿真实验
验证的有效性多媒体视频的快速帧间运动补偿算法基于曼哈顿距离提出了本文基于深度学习和补偿算法补偿算法基于深度卷积神经网络用作比较的方法,和不同方法的应用效果是根据实验结果来评判。
4.1。实验平台和参数设置
这个实验的工作平台参数如下:处理器是英特尔奔腾(R)双核CPU E6500 2.93 GHz, 2 GB的内存,操作系统是Windows XP专业。实验,JVT-released h标准JM12.4官方版本的编解码器软件编译和Visual c++软件平台,实现和JCT-VC-released HEVC标准HM9.0版本编译和测试模型在Visual Studio 2008中软件平台上实现。在实验中,四种官方测试序列具有不同特点被用来完成的比较实验,如表所示1。
综合比较各种方法之间的性能差异,四组测试视频序列的运动振幅不同,运动方向,和数字,以及移动物体的大小选为实验数据对象。这四组视频序列有不同的对象和不同的运动模式。序列1主要是垂直运动,和移动对象是小,而且,运动的范围很小。序列2主要显示了水平运动,移动物体大,动作幅度小,尤其是大型货船的运动。3主要反映序列的运动海岸警卫队摩托艇和游艇在水平方向上,和摩托艇更大范围的运动,而游艇运动范围很小。序列4主要是反映在汽车的水平方向运动,而运动范围是相对较大。与此同时,由于缺乏垂直运动标准视频序列的变化,本文把两张图片。这两个视频序列的特点,有不同的运动在垂直方向的振幅图像。自画像2大于自画像1。
对于上面的四个测试序列,不同的方法计算和比较的补偿效应。实验结果如下所示。
4.2。实验结果分析
4.2.1。准备峰值信噪比PSNR值
PSNR值是一个客观的评价方法,可以反映实际的视觉效果的视频。计算过程相对简单,它广泛用于视频编码和图像处理的领域。PSNR值的计算公式如下:
MSE(均方误差)是原始视频图像之间的均方误差和视频图像处理。PSNR值的单位是用分贝表示(dB)。在正常情况下,PSNR值越大,越接近处理视频图像的质量将是原来的视频图像。在一些特殊情况下,PSNR值太大,视频图像的实际效果很差。不同方法的峰值信噪比比较结果如表所示2。
通过分析表中的数据2可以看到,视频图像的峰值信噪比高于深度学习算法和深度的卷积神经网络算法在使用这个方法来补偿视频帧之间的应用程序在不同的测试序列。尽管深度的峰值信噪比卷积神经网络算法优于深度学习算法,该算法仍有一定的距离。因此,在使用该算法为了弥补视频帧之间的运动,视频图像的质量得到了有效的改善,这表明,该方法具有更好的应用效果。
4.2.2。视觉效果评价
首先,评估的结果帧间运动补偿的视频图像算法本文深入学习算法,深卷积神经网络算法从视觉效果的角度。图6显示了运动补偿效果的三个算法测试序列1代表图像的生成插值帧。
(一)
(b)
(c)
根据图6可以看出,三种算法对输入视频图像执行运动插值。注意,深卷积神经网络算法有一个轻微的损失图像的细节。虽然深学习算法视频图像细节保持比深卷积神经网络算法,在插值中有一些错误。与两种传统算法相比,本文算法的视觉效果更好。没有损失的细节和清晰度较高。从视觉效果评价结果,本文算法可以执行正确的插补运动视频图像序列,这表明本文算法具有良好的泛化能力。
4.2.3。执行时间
视频运动补偿的执行时间是作为实验指标,和不同的方法进行了比较。结果如图所示7。
图分析7表明,当利用本文算法对多媒体视频图像进行运动补偿,执行时间总是小于0.5 s,和最低只有0.25秒,而深学习算法和深度卷积神经网络算法用于对多媒体视频图像进行运动补偿。执行时间远远高于本文提出算法的计算时间。可以看出,本文算法的执行时间较短,和运动补偿的视频图像可以实现更快的速度。
4.2.4。比特率
比特率越高,视频图像质量越好,失真越小。以测试序列3和测试序列4为例,使用比特率作为试验指标,比较不同方法的视频补偿效果。结果如图所示8。
(一)
(b)
根据图8,可以看出,在测试的测试序列3和测试序列4,这个算法的编码速率高于深层学习算法和深度的卷积神经网络算法。它表明算法的视频图像质量越好,失真越小,进一步验证本文算法的应用价值。
5。结论
解决低峰值信噪比的问题,视觉效果差,和低比特率的传统方法,提出了一种快速补偿算法基于曼哈顿距离多媒体视频帧之间的运动。去噪的目的,从视频图像中提取重要的信息是通过视频图像的预处理。为此,基于块的运动理念是视频序列的每一帧分成不重叠的宏模块。此外,物体的最佳位置对应于当前帧。此外,当前帧的多媒体视频获得了曼哈顿距离计算公式。然后,补偿之间的相对距离曼哈顿背景的推动了多媒体视频帧之间的运动。最后,分析了实验结果,验证了该算法具有较高的峰值信噪比,更高的比特率,和一个更好的视频的视觉效果。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
没有收到任何财政支持。