一个集成的数字视频稳定的新方案

文摘

在许多数字视频应用中,视频序列遭受牛肉干连续帧之间的运动。本文提出了一个集成的通用的稳定方法,从连续帧中提取信息,并消除了平移和旋转运动,导致不良影响。提出的方案开始计算连续视频帧之间的光流和一个仿射运动模型采用与获得的光流场估计对象或使用Horn-Schunck相机运动算法。估计运动矢量然后model-fitting过滤器使用的稳定和流畅的视频序列。实验结果表明,该方案是有效的,因为它很简单,提供良好的视觉质量的全球转变peak-signal-noise-ratio保真度测量。

1。介绍

被摄像头经常遭受不必要的抖动动作。总的来说,这个问题通常是通过图像运动补偿处理。大多数视频稳定算法在最近的文学尝试移除图像运动完全或部分地补偿所有运动引起的相机旋转或振动1- - - - - -9];因此合成背景仍然一动不动。(描述的运动模型1,2)提出了一个金字塔结构计算仿射运动模型的运动矢量代表旋转及平移相机运动。汉森et al。3]描述的图像稳定计划使用多分辨率,迭代过程来计算仿射运动参数之间的拉普拉斯算子的金字塔图像。参数优化过程获得的达到预期的精度。提出的方法(4]使用概率模型和卡尔曼滤波来减少噪音和获得稳定相机运动运动。Chang et al。5]使用光学连续帧之间流动的基础上修改的方法6]估计摄像机运动配件一个简化的仿射运动模型。椿本et al。7)开发出一种方法,使用两个阈值参数来描述的速度和振荡的频率不稳定的视频序列。最近,Zhang et al。8)提出了一种基于三维透视相机模型的方法,适用于场景中存在明显的深度变化的情况下,相机经历大的平移运动。技术开发(9]时空上采用了一种优化的方法来实现高质量的相机运动视频在3 d重建是困难的或长特征轨迹并不可用。技术制定稳定的时空优化问题发现柔性轨迹和避免视觉失真。

在这篇文章中,一个完整的视频稳定方案,提出了它们主要有两个目标。首先,而不是发展个人小说和复杂的算法,它的目标是简化稳定过程集成的研究技术,如运动估计、运动建模和运动补偿,到一个新的单一的模块化性质和框架可以减少实施的复杂性,特别是在硬件。其次,该计划旨在提供更好的性能而言,全球转换富达(典型的稳定性能的测量),相对于其他现有方法。这是通过结合光流估计与运动模型,以提高估计精度。该计划是基于估计连续帧之间的运动领域使用Horn-Schunck算法(10]。一个迭代过程采用基于而且技术。运动向量之间首先使用块匹配方法估计连续两个字段,然后密集的运动领域估计使用运动矢量和Horn-Schunck算法。通过安装一个仿射运动模型,模型的运动参数计算和平滑。因此,通过分析运动向量的方向及其标准差以及利用以前稳定框架或参考系,图像运动引起的三维旋转和翻译可以确定和当前视频帧可以稳定。

本文的其余部分组织如下。在下一节中,我们提出建议的概述视频稳定计划。部分3,4,5,6详细描述方案的关键部件,即光流场估计,模型拟合运动,运动参数平和,和运动补偿。该方法的实验和仿真结果提出了部分7。最后,结论部分8。

2。视频稳定计划的概述

提出了加固方案的流程图如图1于一体的四个关键部分:光流场估计,运动模型拟合,使平滑运动参数和运动补偿。这些组件将在以下部分中详细分析了。

3所示。光流估计技术

稳定计划的准确性主要取决于在帧间运动估计产生的运动矢量。在这里,而且技术是用于执行块相关性,最初在粗尺度,然后插入结果估计之前通过角和Schunck的光流算法的迭代。光流是一个近似的本地图像运动基于衍生品在一个给定的序列图像。在二维空间中,它指定多少每个图像像素相邻图像之间移动,同时,在三维空间中,它指定多少每个卷体素之间的移动相邻的卷。

估计任何像素的光流在一个图像,我们使用“亮度恒常性”假设即任何对象在一个图像上的像素强度随时间保持不变;也就是说, 假设小(小连续帧之间的运动和),我们可以执行一个一阶泰勒级数展开在(1)获得 H.O.T.是高阶泰勒级数,我们假设是小,可以安全地忽略。使用(1)和(2),我们可以获得 或 在哪里,,,,。

方程(4)有两个变量,和这意味着,一个图像像素,会有方程,变量。因此需要额外的约束来解决这些方程。角和Schunck提出使用平滑约束;找到,及其衍生物,我们最小化能量函数如下: 在哪里控制体重的平滑约束表示图像域。我们也认为和在图像域的边界为零。最小化(5)是通过使用变分法和拉普拉斯算子的近似: 亮度的导数估计从离散的图像亮度测量如下: 在哪里和网格空间间隔和吗是图像帧采样周期。当地平均水平和定义如下: 我们可以计算一套新的速度估计估计每帧的衍生品和前面的速度估计的平均值通过 在迭代的初始值和将等于零。

在运动估计中,有次,超出正常的价值观产生的运动矢量。运动矢量是超过一定值时,它的特点是一个异类。上述方法是非常敏感的离群值;也就是说,它是容易产生异常值或意想不到的数据。因此,另一种价值必须考虑替代这些异常值。在这里,采用运动矢量中值。这是因为,在几何平均数、调和平均数、标准差、中位数、trim-mean已应用和测试,中间值和trim-mean发现最健壮的,也就是说,对离群值。

4所示。运动模型拟合

相机项目三维世界点到一个二维图像点。摄影机的运动可能被视为一个旋转等运动,翻译,缩放或者任何的组合两个或三个动作。这样的相机运动可以分类的一组参数。在我们的例子中,第一帧视频序列用于定义的参考坐标系统,和一个二维仿射模型被用来估计参数形式描述位移连续帧之间的视频内容通过识别当地不变特性之间的对应关系。仿射模型采用,因为它更有弹性的嘈杂的数据,它可以代表所有的基本相机运动通常发生在视频应用程序。如果我们在第一帧表示一个像素位置在第二个逐(和相应的地位),二维仿射运动模型可以作为制定 的运动参数,控制缩放和旋转(和如果只有旋转;旋转角度)和参数吗和对应于水平和垂直的翻译。

假设我们有对应于图像像素运动矢量(),(两个连续的视频帧之间),我们可以估算出简化的仿射的两帧之间的运动运动矢量通过求解以下蔡明俊线性方程: 仿射运动参数是通过解决这一线性方程的最小二乘解。方程最小平方解如果是可逆的,。在这种情况下,最小二乘解是由。

5。运动参数平滑

为了生产高质量稳定的视频序列,获得的运动参数需要平滑。这可以通过空间域滤波。不同类型的过滤器被应用和测试。其中包括卡尔曼滤波递归删除相机振动,消除数据的移动平均滤波器代替每个数据的平均邻近数据中定义,以及局部加权散点图平滑,使用加权线性回归平滑数据。在我们的方案中,Savitzky-Golay过滤器(11,12)用于处理最初估计仿射全球运动参数,因为它是一个广义移动平均滤波器特性的简单性和效率的实现。

6。全局运动补偿

逐帧进行运动补偿利用以前稳定帧(除了第一帧)及其相应的全球平滑参数;,第一个稳定帧补偿得到的第一个原始帧对应的平滑仿射运动参数;第二个稳定框架是通过补偿第一个稳定框架与相应的平滑仿射运动参数,等等。这个补偿过程的框图如图2。由于利用第一个原始帧(而不是先前稳定)过程的开头,一个错误会产生和传播到后续帧。为了减轻这种影响,同步控制执行如下所示的错误。的框架不光滑的运动参数是较平滑的运动参数。如果比较的结果小于一个阈值(同步距离阈值),原来的框架连同相应的平滑运动参数是用来获得稳定的框架,即同步稳定框架与原来的框架;否则,稳定框架与相应的平滑运动参数是用来获得稳定的框架。阈值越高,越同步稳定视频序列与原视频序列,因此减少错误。为了保证质量的稳定输出视频,无论上述错误控制,每30帧同步实施框架。

7所示。仿真结果

为了评估的有效性和性能稳定方案,提出了模拟使用进行一系列QCIF格式(由144行176像素)视频序列捕获。图3显示了稳定的结果从捕获的视频序列”我的办公室。“图3(一个)(没有显示了原始帧。14)从视频序列。框架显然包含了“地震效应”,这是故意引入到视频序列。图3 (b)显示了光流场估计从帧14和15。检测到的随机向量,如图,将放大/缩小录像过程中产生影响。因为它是非常困难的在视觉上区分两个连续帧,我们比较两个原始帧之间的区别(数字14和15)两个相应的稳定框架之间的区别,如图3 (c)和3 (d)。另一个实验的结果从视频序列如图“牛肉干”4。同样,使用序列的帧14和15。从这些实验中,很明显,数据稳定框架3 (d)和4 (d)运动少得多(白色像素/地区)比原来的帧数据吗3 (c)和4 (c)做的。这表明,稳定过程后,大量的不受欢迎的运动补偿。

从动态过程,如稳定,与静态图像不能说明,我们现在和比较图5三个运动参数(旋转、水平和垂直位移)的第一个80帧视频序列的“我的办公室。“原始之间的比较(蓝色曲线)和平滑(红色曲线)运动参数表明,所有三个运动参数平滑了视频序列的长度,因此减少了不必要的动作捕获视频的生成。也表明参数平滑过程已得到改进与同步。没有这个同步(绿色曲线),估计错误积累一定数量的帧后显著增加。红色和绿色的区别清楚地表明,参数曲线平滑过程同步帧7日,13日,25日,41岁的57岁和73年为了正确累积估计错误,发生在这些帧位置的绿色曲线。

为了客观、定量评估方案的性能,我们使用全局变换富达(GTF) [13)来衡量如何稳定补偿摄像机的运动;即如何精确运动模型符合实际的相机运动。在这里,Peak-Signal-Noise-Ratio (PSNR)两帧之间用于测量GTF,这被定义为 MSE(均方误差)措施两个坐标系之间的平均差异和。图6显示之间的性能比较的PSNR提出稳定方案和著名的Gray-Coded基于位平面匹配的稳定方法(14,15),它使用简单的计算负载较低,硬件实现,因此是等价的复杂性的方案。PSNR值的计算图中利用“我的办公室”的第一个50帧序列,其中包含的相机逆时针旋转90度。GTF (PSNR)参考系之间的计算(本例中的第一帧)和当前稳定的框架。可以观察到从GTF曲线,提出稳定过程执行显著优于Gray-Coded位平面匹配在第一次10帧对应的旋转部分序列。这个结果是预期的,因为Gray-Coded位平面匹配方法不能很好地弥补旋转。方案的GTF滴从帧到帧后由于每个帧与参考帧不重叠。大约40帧后,几乎没有重叠序列与参考帧。

8。结论

本文提出一种通用的视频稳定方案,针对一个简单而有效的解决方案广泛的视频应用程序。光流的方案功能集成和基于运动模型的运动估计,空间域滤波,和运动补偿,从而提供一种有效的计算方法,视频稳定。它是成功地在MATLAB中实现。仿真结果表明,该方案是有效的为范围广泛的实时应用程序。其他视频稳定化方法相比,它具有简单性和鲁棒性,同时保持更好的或类似的性能而言,全球转换富达以PSNR。

引用

1. c·森本晃司和r . Chellapa自动数字图像稳定,”《IEEE国际会议模式识别,第665 - 660页,维也纳,奥地利,1996年。视图:谷歌学术搜索
2. c·森本晃司和r . Chellappa越野导航快速电子数字图像稳定,”实时成像,卷2,不。5,285 - 296年,1996页。视图:谷歌学术搜索
3. m·汉森k . Dana p•阿南丹g . van der细胞膜和p·伯特,“实时现场稳定和马赛克建设”第二届IEEE计算机视觉的应用研讨会1994年12月,页54 - 62,。视图:谷歌学术搜索
4. a . Litvin j·康拉德,w·c·卡尔,“概率视频稳定使用卡尔曼滤波和mosaicking”学报IS&T, /有研讨会上电子成像,图像和视频通信和处理学报学报》,第674 - 663页,2003年1月。视图:出版商的网站|谷歌学术搜索
5. H.-C。常,工程学系。赖,K.-R。陆”,一个健壮的和高效的视频稳定算法”《IEEE国际会议多媒体和世博会(ICME ' 04),页29-32,台北,台湾,2004年6月。视图:谷歌学术搜索
6. b·d·卢卡斯和t .金”,一个迭代的图像配准技术应用立体视觉,”人工智能国际联合会议(81年IJCAI”展出)679年,页674 -温哥华,加拿大,1981。视图:谷歌学术搜索
7. 椿,盛田昭夫,t . t .齐藤,郎k Aizawa,”一个自适应视频稳定化方法减少视觉上引起晕动病、“《IEEE国际会议上图像处理(ICIP ' 05)热那亚,页497 - 500年,意大利,2005年9月。视图:出版商的网站|谷歌学术搜索
8. w·g . Zhang Hua秦x, y邵,h·鲍,“视频稳定基于3 d透视相机模型,”计算机视觉,25卷,不。11日,第1008 - 997页,2009年。视图:出版商的网站|谷歌学术搜索
9. p . s . f . y . s . Wang Liu Hsu)和t . y . Lee,“时空上优化视频稳定。”IEEE可视化和计算机图形学,19卷,不。8,1354 - 1361年,2013页。视图:谷歌学术搜索
10. b . k . p .角和b . g . Schunck:“确定光学流,”麻省理工学院的人工智能实验室,背书的备忘录。572年,1980年。视图:谷歌学术搜索
11. a . Savitzky和m . j . e .戈利平滑和分化的数据简化的最小二乘法程序,”分析化学,36卷,不。8,1627 - 1639年,1964页。视图:谷歌学术搜索
12. n . A . Tsoligkas d徐,法语,和y罗,“基于运动模型的视频稳定算法,”《世界自动化大会(WAC 06年)2006年6月,布达佩斯,匈牙利,。视图:出版商的网站|谷歌学术搜索
13. 森本晃司与r . Chellappa“图像稳定算法,评估”《IEEE国际会议音响、演讲和信号处理(ICASSP ' 98)5卷,第2792 - 2789页,西雅图,洗,美国,1998年5月。视图:谷歌学术搜索
14. S.-J。Ko,工程学系。李,S.-W。全,E.-S。康,“快速数字图像稳定器基于Gray-coded位平面匹配,”IEEE消费类电子产品,45卷,不。3、598 - 603年,1999页。视图:出版商的网站|谷歌学术搜索
15. a . Celebi o . Akbulut o . Urhan, s . Erturk“截断gray-coded基于位平面匹配的运动估计和其硬件架构,”IEEE消费类电子产品,55卷,不。3、1530 - 1536年,2009页。视图:出版商的网站|谷歌学术搜索

版权

版权©2013 W。徐等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。