视频脉冲:基于用户建模有趣的视频片段

文摘

提出了一种基于用户感兴趣的方法,检测区域内的视频提供视频控制和视频摘要。先前的研究都集中在基于内容的视频检索技术,如模式识别算法,试图理解一个视频的底层特征。我们提出一个脉冲建模方法,使网络视频的感觉通过分析用户的重播交互视频播放器。特别是,我们建模用户信息寻求行为作为时间序列和语义区域离散脉冲固定宽度。然后,我们计算动态检测脉冲之间的相关系数在当地的最大值的用户活动的脉冲信号和参考。我们发现用户的重播活动明显匹配中的重要部分信息丰富和视觉上复杂的视频,如讲座、指南和纪录片。提出了信号处理的用户活动是基于内容的视频检索和补充以前的工作提供了一个额外的基于用户维度建模在网上社交视频的语义。

1。介绍

网络已成为一个非常受欢迎的媒介来分享和观看视频内容(1]。此外,许多组织和学术机构正在网上视频讲座和研讨会。以前的工作在视频检索研究的内容视频和贡献了一组标准的程序、工具,和数据集比较视频检索算法的性能(例如,TRECVID),但是他们并没有考虑用户的互动行为作为视频检索过程的一个组成部分。除了观看和浏览视频内容在网络上,人们还执行其他“社会元数据”的任务,如分享、评论视频,回复其他视频,或者只是表达他们的偏好/评级。基于用户的研究探索了评论和微博之间的联系,主要是微博,或其他文本和明确用户生成内容。尽管有各种各样的建立收集和处理文本信息检索方法,他们可以被认为是繁重的用户,在视频看。在许多情况下,缺乏评论密度相比,观众的数量的视频。有一些研究努力理解基于用户的视频检索不使用社会的元数据。

在我们的研究中,我们已经开发出一种方法,利用更多的隐式的用户交互视频中提取有用的信息。我们的目标是与视频分析聚合用户交互使用随机脉冲建模过程。

2。相关工作

内容的语义是一个重要的概念,便于检索的信息丰富,然而,复杂的内容,比如视频。语义研究多媒体信息的两大类方法:基于内容和基于用户。通过分析视频基于内容的方法提取意义本身(例如,场景变化、声音和字幕)。另外,基于用户的方法提取意义通过分析用户活动的视频。这些基于用户的行为,有两个子目录;评论一样,它们可以明确的注释,和评级,或隐式,如播放/暂停事件或行为定位/ (2]。这样一组实验涉及到关联或找到一个视频的内容。就像一本书或一个网站与许多页面用户导航隐喻基于索引或目录,一个视频需要结构,方便用户通过无数的场景。视频目录被人们有高价值的寻找信息,但很少用于导航时可用(3]。场景通常是提供给用户提供一组缩略图,称为关键帧,如果他们是固定的图片,或丢弃,如果他们很短的视频4]。一组静态图像已经成为流行在许多应用程序中,因为它很容易显示和提供一组图片,这站作为一个视频目录。

除了现场提取的研究兴趣,也有商业系统,提供类似的功能。许多商用在线玩家和设备,如YouTube(图1),提供在每个视频缩略图,以促进用户的导航。然而,大多数的技术,从每一个镜头中提取缩略图以固定时间间隔或效率不高,因为有太多的照片视频。谷歌的YouTube,有大量的缩略图,根据视频的长度可能捕获每一秒(对于一个三分钟的视频)或每5秒(一个小时的视频)。因此,缩略图的选择实际上是完全随机的,主张无论是内容还是的语义内容。

2.1。基于内容的语义

基于内容的信息检索使用自动化技术来分析实际的视频内容。它使用图像的颜色、形状、纹理、声音、动作,事件,对象,或其他任何信息,只能来自视频本身。一些技术结合视频的元数据(5与照片()6)或声音(7),而其他研究人员提供情感注释(8,9]或导航艾滋病[10]。尽管基于内容的技术已经开始强调用户感知的重要性,他们不考虑人们的实际浏览和分享的行为。此外,低级特征(如颜色和相机转换)往往不能捕获高层语义(如事件、演员和对象)的视频内容本身,然而这样的语义往往是引导用户,尤其非专家用户,当导航(9)之间及其内部的视频(10]。

根据资金和Agius [11),另一个分类视频摘要考虑信息的视频在其生产阶段;这被称为内部总结见SmartSkip德鲁克et al。6]。同样,外部总结分析外部信息在视频生命周期的任何阶段;然而,大多数外部视频摘要技术忽略用户活动。其他方法注重与用户个性化。Hjelsvold et al。12采用热点和超链接来匹配用户配置文件的内容。虽然他们的框架是基于用户的偏好,它需要额外的用户工作为了建立一个概要文件。总的来说,因为它是很难检测场景从视频中提取意义,先前的研究已经试图模型视频更好的理解的概念,如文本和图像(13]。

评估方法对于理解视频内容、研究人员和从业人员已经合作了十多年在大型视频库和工具分析视频的内容。TRECVID (TREC视频检索的评估:http://trecvid.nist.gov/)车间系列提供了一组标准的视频,工具,和基准,促进意义的增量改进让视频(14]。

总之,基于内容的技术促进特定场景的发现,视频的理解在一个有限的时间,同时在多个视频和导航。再一次,这里的视频内容分析而不是与人相关联的元数据或人们如何操作和使用视频。最后,基于内容的技术并不适用于某些类型的网络视频,如讲座和操作指令,用视觉平面结构,或分别是语义复杂。

2.2。基于用户的语义

更因此遗留基于内容的技术相比,有更少的工作基于用户的信息检索对视频内容的分析。这种不平衡的一个解释是不基于内容的重要性,但它是相对较新的社交网络感兴趣,分享,视频网络的使用。然而,有越来越多的研究和基于用户的检索视频利息。

用户交互和视频已经成为多媒体研究多年的基本元素。Yu et al。15)建议观众他们video-browsing过程中无意中留下脚印。他们提议ShotRank,有趣或重要的概念,每一个视频镜头结合视频内容分析和用户日志挖掘。他们的工作,影响网页排名和中心指标,假设存在一个短路径在每个视频。同样,Syeda-Mahmood和Ponceleon [16)建议用户交互的视频是一个马尔可夫模型链affect-based概率,他们开发了一个媒体称为MediaMiner player-based学习系统。MediaMiner特色公共播放,暂停,并随机寻找到视频通过一个滑动条,快/慢,快/慢落后。他们模仿隐式的用户活动根据用户的情绪(例如,用户是无聊,或感兴趣的)现在不是看视频内容的主要动机。例如,有越来越多的讲座和操作视频,这对其信息价值正在被监视。

最后,社会视频网站的交互非常适合应用社区智能技术。的基于用户的网络视频的方法,肖和戴维斯17)建议视频表示可能是更好的模仿用户的实际使用。值得注意的是,紫杉和夏玛2)已经认识到的重要性,实习医生风云(快进和后退),但他们只包括数量分类器,而不是事件的实际时间擦洗。因此,我们建议利用隐式的用户活动(例如,暂停/播放,寻求/擦洗),为了动态识别感兴趣的视频片段。

总之,随着越来越多的媒体发布和查看在网络环境中,我们认为的重要性,分析了隐式的消费行为的过程和传统的视频信号和当代社会的元数据。

3所示。方法

我们雇佣了一个开放的气候资料18),已在控制用户的上下文中创建实验(23个用户,大约有400的用户交互在每个视频),以确保基于用户定义良好的语义和无噪声的用户活动数据。先前的工作已经强调了当地最大的证据相关性的用户活动和感兴趣的区域19),但是它没有提供一个统计测量的相关性,这是这项工作的重点。接下来,我们开发了一个用户活动模型分析用户交互作为一个基于时间的信号。因为没有类似的作品隐含的用户活动建模用户交互在网络视频,我们已经开发出一种脉冲建模过程,简单的复制相同或不同的视频。

在初始化阶段,我们认为每一个视频与四个不同的时间序列长度等于持续时间在秒的视频。每个系列对应的四个不同的按钮播放/暂停,跳过,重播。

是我们的目标是构建一个通用形式将上述离散信号的统计特性以及它们之间的相关性属性。我们适应了建立技术类似的信号处理领域,如材料科学和地震学(见,例如,20.)和引用)。让我们考虑用户交互和表示这些行动在时域的位置向量。按钮的类型标签的。离散系统的用户的行为可以正式离散密度的特征如下: 实际上是一个系列的计数器的脉冲(这里建模用户的操作)的明确的宽度是由中心位置向量在时间。用户的行为的完整的知识系统是由于四维空间密度函数解释是联合概率找到第一个按钮操作在一个体积元时代在,第二个按钮操作在一个体积元时代在,第三个按钮操作在一个体积元时代在,第四个按钮操作在一个体积元时代在。考虑时间的一个可能的方法之间的相关性不同的底层用户操作是假设 在哪里对应于相关函数在第一次近似均匀系统,可以考虑高阶。为此,在本文的其余部分,我们认为最简单的情况下不相关的按钮操作。另一方面对脉冲信号之间的相关函数可能被视为平常的著名的皮尔森相关系数。

最初,创建用户活动信号如下:每次用户按下重播(跳过)按钮;相匹配的时刻重播(跳过)的部分增加了一个视频。我们假设用户回放视频因为有一些有趣的事情或者因为有一些难以理解,而用户跳过一个视频,因为没有什么兴趣。通过这种方式,实验时间序列构造为每个按钮和每一个简易描述用户的活动模式。为了提取模式为每个时间序列特征,也就是说,与高用户活动场景,下面的方法,包括四个不同的阶段(见表1)使用。

在第一阶段,我们使用简单的过程为了平均用户活动噪音(图2)。在概率论中噪声去除可以用移动平均的概念(21:从时间序列一个新的更平稳时间序列可以获得的 在哪里表示平均“窗口”。更大的平均窗口是,信号会更平稳。示意图的过程在图中进行了描述2。实验记录信号的噪声去除的过程至关重要,原因如下:第一,为了揭示趋势的相应信号(高用户活动的区域)和第二为了估计局部极大值的第二阶段,下一段的解释。必须指出最优平均窗口的大小从最初的可变性是完全定义的信号。的确,应该足够大,以随机波动的平均用户的活动和足够小,以揭示,而不是打扰,清脆的本地化用户信号的形状进而将演示高用户活动的面积。

在第二阶段,我们构造一个脉冲系列从上面的构造用户活动平稳信号(图3)。脉冲信号是与相应的脉冲信号相比,该模型感兴趣的区域中每个视频解释的第三阶段。这个想法从时间序列构造一个脉冲信号并不新鲜,几种方法可能会发现在文献中(见,例如,在22)和引用)。所有这些形式的基础是需要构建一个分析表明模型给定信号有重要价值的地方与其他领域几乎为零值。脉冲,而是其他功能,例如,Gaussian-like,也可以使用。在我们的分析中,局部的形状功能没有影响,因此我们一直以来的脉冲分析后更容易。这里,为了构建脉冲信号脉冲的确切位置是通过广义定义的局部极大值的实验平稳信号(图4)。广义局部极大值的术语,我们提到的中心对应的钟形的面积平均信号,从信号的本质可能会导致多个峰值的顶部。尽管脉冲的高度不影响我们的结果,脉冲的宽度是一个参数,必须认真对待。特别是,平均信号的变化决定了脉冲宽度的顺序。在这里,我们建议,脉冲宽度应该等于平均一半的宽度的清脆的地区(见图信号3 (b))。在我们控制实验的背景下,这是一个安全的假设,但它需要进一步细化在不同的实验设置或在该领域(例如,数据挖掘真实的视频使用数据)。此外,我们提供一个更详细的分析参数之间的相互作用的部分5。

在第三阶段,我们构造相应的脉冲信号模型每个视频的感兴趣的区域(图3)。兼容性原因,不失一般性脉冲的形状(宽度和高度)是一样的。另一方面,脉冲的确切位置被定义为相应的中心地区的利益先于中定义的。

我们的目标是检查是否两个信号(用户活动和参考脉冲)相关,例如,显示从用户的活动模式是否与感兴趣的目标区域的相关视频。为了检验这一假设使用互关联系数估计的程度相关(例如,两个系列21])。相关系数的值的范围从−1比1。完美的不相关的时间序列的相关系数为零,而积极的还是消极的相关性可能得分如下(我们称绝对值):从0.1到0.3低相关,从0.3到0.5中相关,从0.5到1强烈的相关性。指出,互关联系数的确定以及拟议中的信号处理方法进行了通过简单的代码开发与标准数学库的C编程环境。

4所示。结果

我们专注于视频的分析寻求行为,如重播和跳过前面描述的平和的过程。探索性分析与时间序列概率工具验证是什么视觉中描述视频的情况下,这是一个演讲视频(图4)。而重播信号有一个相当规律与少数地区高用户的活动,跳过信号的特征是大量的仅仅是随机和用户的局部极大值异常活动。我们也考虑使用播放/暂停按钮,但几乎没有互动。在下面,我们现在的结果重播信号分析四个视频。

用户活动信号的分析是基于一个探索几种不同的平均窗口大小。脉冲建模方法的结果中描述表2来5。平滑信号与固体黑色曲线绘制。脉冲信号提取从相应的局部极大值描述的红色停止脉冲信号,脉冲信号模型感兴趣的区域的每个视频描述蓝色固体脉冲。虽然构造脉冲信号的相关性为每个视频视觉上明显的图形(嵌入的数据表2来5),互关联系数是为了建立相应的量化措施。的确,我们估计的互关联系数是0.67,0.58,0.76,和0.62相应地,表明强烈的两个信号之间的相关性(参考信号和用户)。脉冲建模过程确认的大部分手动选择视频场景与精度高,但是一些场景仍没有发现。在表中2,3,4,5视频场景(S1,S5)算法检测到的脉冲(用户活动建模)相对于参考视频场景。

最重要的参数的分析用户活动信号平均窗口和它的关系跳过步骤中,视频时间,数量的用户交互。必须指出的几个值平均窗口检查和实证关系吗被发现,最佳的一个,因为它消除了突出信号噪声而不影响用户的活动特征。值得注意的是,如果跳过步骤不是固定的(例如,随机寻找进度条),然后分析用户活动信号需要动态平均窗口的大小,这将使过程更加复杂。总之,上述结果证明这种方法的有效性,并提供少量的参数(视频浏览行为,平均持续时间窗口和脉冲宽度),需要进一步探索,讨论了下一个。

5。讨论

在这项工作中,我们专注于申请检测重要的视频片段,因为它扮演几个角色理解视频语义。尤其重要的部分提供了一个附加的导航机制和抽象的视频缩略图或丢弃。的想法来解释用户的行为是一样的和离散的脉冲之前提到的是借用其他领域,例如,材料科学(23]。实际上是很常见的是不同人群的存在(这里是不同类型的按钮)的离散性质(离散用户的行为)和他们的模式或形态发生相应的空间(这里模式视频时间)内的用户的行为。注意,因为人口在本质上是离散的相应的模式也出现离散从而导致理论模型通过一定宽度的脉冲。

确定最优平均窗口以及相应的脉冲宽度是至关重要的,分析表明,这些是dynamic-like变量意味着他们的价值观需要小心平衡视频和用户活动的属性。一方面,长时间的视频可能需要一个更广泛的平均窗口,为了限制可能检测到场景的数量。例如,一个典型的小时的讲座与当地许多用户会产生太多的最大值,这可能与更广泛的平均过滤窗口(例如,十分钟)。另一方面,更大的可变性的数量和用户的活动信号,较小的平均窗口。事实上,如果一个密集的用户的活动记录(在视频时间),那么必须使用一个小的平均窗口为了赶上这个密集的活动,而一个更大的平均窗口可能导致相互重叠的两个不同地区的利益。进一步的研究还应该探索这些基本信号属性(平滑窗口和脉冲宽度)在其他方面的实际系统。通过这种方式,我们的知识的用户活动信号属性可以补充实验理解我们已经描述了这项工作。

我们只有使用四个视频在实验过程。以前的工作在基于内容的信息检索视频强调视频用于类似的实验的数量,因为各自的算法处理视频的内容。在这个基于用户的工作,我们不关心的内容视频,但视频的用户活动。然而,值得探索更多的视频和互动类型的影响。因此,研究中使用的小数量的视频不是一个重要的限制,但进一步的研究必须详细说明不同类型的视频(例如,新闻,体育,和喜剧)和语义标签的交互(例如,回答谁、什么、如何)。

开放另一个重要的研究问题是缩略图的数量。我们已经表明,谷歌YouTube(图1)提供了很多缩略图,用户必须通过滚动浏览它们。有关这一研究问题已经SmartSkip的开发人员6]。之后他们开始的十个缩略图和早期的原型测试;缩略图的数量减少到8。根据最终用户测试,他们建议进一步减少缩略图5。然而,场景的数量取决于几个参数,如视频的类型和长度。因此,不太可能有一个固定数量的场景,描述一个特定的视频。如果所需数量的场景是不同的对于每一个视频,然后,除了现场提取技术,我们需要一个方法来选择中最重要的。

6。结论

在这个研究中,我们验证了网络视频现场检测方法。我们的主要目标是理解视频内容的语义从用户的交互视频播放器。特别是,我们发现用户的聚合重播与视频播放器的交互代表最重要的一段视频片段。这种类型的研究的结果可以用来开发系统,了解重要的视频的场景,生成缩略图,并创建一个视频摘要。我们决定探索基于用户的方法,因为之前已经分析了基于内容的方法,因为越来越多的网络视频和各自的用户交互。

对进一步的研究方向将对大规模网络视频数据库进行数据挖掘。然而,我们发现比数据挖掘实验方法更灵活的开发阶段新视频检索系统。特别是,迭代和实验方法非常适合于以用户为中心的信息检索,因为它是可行的探索,并将用户行为与各自的数据日志。此外,相比之下在大数据集的数据挖掘,受控实验的好处保持一套干净的数据不需要过滤的几个步骤,就可用于任何一种简单的用户启发式。最后,我们表明,基于用户的内容分析的好处不断适应发展用户的偏好,以及提供额外的个性化内容的机会。例如,研究人员可以应用一些个性化技术,如协同过滤、用户活动数据。这样,隐式视频语用学正成为一种新的竞争环境改善用户体验在社会网络上多媒体。

利益冲突

作者宣称没有利益冲突有关的出版。

承认

本文中提到的工作已经被项目崇拜(部分支持http://cult.di.ionio.gr/)。崇拜(mc - erg - 2008 - 230894)是一个居里夫人的项目下的欧盟委员会(EC)第七框架计划(FP7)之下。

引用

1. m . Cha h·夸克·罗德里格斯y Ahnt,和美国的月亮,“我管,你管,大家都管:分析世界上最大的用户生成内容的视频系统,”学报》第七届ACM SIGCOMM互联网测量会议(IMC ' 07)ACM,页1 - 14,圣地亚哥,加利福尼亚州,美国,2007年10月。视图:出版商的网站|谷歌学术搜索
2. 夏玛紫杉和d . a,“知道你的数据:理解隐含的使用和在视频内容分类,明确行动”5日多媒体移动设备上2011;和多媒体内容访问:算法和系统卷,7881学报学报2011年1月,旧金山,加州,美国。视图:出版商的网站|谷歌学术搜索
3. e . g .汤姆斯c·杜福尔j·刘易斯和r .﹒贝克尔,“评估工具使用网络广播,”第五届ACM和IEEE学报》关于数字图书馆联合会议ACM出版社,页79 - 88年,纽约,纽约,美国,2005年6月。视图:谷歌学术搜索
4. b . t . Truong美国马纳尔,“视频抽象:系统回顾和分类。”ACM交易多媒体计算、通信和应用程序,3卷,不。1,第三条,2007。视图:出版商的网站|谷歌学术搜索
5. y高桥:Nitta, n . Babaguchi“视频摘要对于大型体育视频档案,”《第13届ACM国际多媒体会议ACM,页820 - 828年,新加坡,2005年。视图:谷歌学术搜索
6. s·m·德鲁克,a·格拉泽s . de Mar和c . Wong“Smartskip:数字视频内容的浏览和跳过,消费水平”SIGCHI会议程序在计算系统人为因素(气' 02),页219 - 226,明尼阿波利斯,明尼苏达州,美国,2002年4月。视图:谷歌学术搜索
7. f·c·李,a·古普塔e . Sanocki l . w .他和y .瑞,“数字视频、浏览”SIGCHI会议程序在计算系统人为因素(x ' 00),2卷,第176 - 169页,2000年4月。视图:谷歌学术搜索
8. g . l . Chen, c .徐j .三月,美国本福德,“EmoPlayer:媒体播放器视频剪辑与情感注释,“与电脑互动,20卷,不。1,17-28,2008页。视图:出版商的网站|谷歌学术搜索
9. c . Crockford和h . Agius实证调查用户导航使用VCR-like数字视频的控制设置,“国际人类计算机研究杂志》上,卷64,不。4、340 - 355年,2006页。视图:出版商的网站|谷歌学术搜索
10. j·金、h·金和k .公园,“对最优导航通过交互式电视视频内容,“与电脑互动,18卷,不。4、723 - 746年,2006页。视图:出版商的网站|谷歌学术搜索
11. a·g·钱和h . Agius情感视频概括,分析用户的生理反应”显示,30卷,不。2,59 - 70年,2009页。视图:出版商的网站|谷歌学术搜索
12. r . Hjelsvold s Vdaygiri y Leaute,“基于网络的个性化和互动视频的管理,”学报第十届国际会议上万维网(WWW的01),第139 - 129页,2001年。视图:谷歌学术搜索
13. r .燕和A·g·豪普特曼”的文本和图像检索方法广播新闻视频中,“信息检索,10卷,不。4 - 5,445 - 484年,2007页。视图:出版商的网站|谷歌学术搜索
14. c . g . m .杖鱼和m .不用“Concept-based视频检索,”在信息检索基础和趋势,卷2,不。4、215 - 322年,2008页。视图:出版商的网站|谷歌学术搜索
15. b . Yu, w . y .妈,k . Nahrstedt和h . j .,“视频摘要基于用户日志提高链接分析,”学报》第11届ACM国际会议多媒体(多媒体' 03)ACM出版社,页382 - 391年,纽约,纽约,美国,2003年11月。视图:谷歌学术搜索
16. t . Syeda-Mahmood和d . Ponceleon学习视频浏览行为及其应用生成的视频预览”学报》第九届ACM国际会议多媒体(多媒体的01)ACM出版社,页119 - 128年,纽约,纽约,美国,2001年10月。视图:谷歌学术搜索
17. r·肖和m·戴维斯”视频,向紧急交涉”《第13届ACM国际多媒体会议(多媒体05)ACM,页431 - 434年,纽约,纽约,美国,2005年。视图:谷歌学术搜索
18. c . Gkonela和k . Chorianopoulos VideoSkip:事件检测与隐式社会网络视频用户启发式,”多媒体工具和应用程序,2012年。视图:出版商的网站|谷歌学术搜索
19. k . Chorianopoulos“集体智慧在网络视频,以人为中心的计算和信息科学,3卷,第十条,2013年。视图:出版商的网站|谷歌学术搜索
20. 即Groma、f·f·Csikor和m . Zaiser”空间相关性和高阶渐变的连续描述位错动力学方面,“Acta Materialia,51卷,不。5,1271 - 1281年,2003页。视图:出版商的网站|谷歌学术搜索
21. e . Vanmarcke随机领域、分析和合成美国剑桥,麻省理工学院出版社,质量,1983年。
22. a . Papoulis概率、随机变量和随机过程麦格劳-希尔Kogakusha,东京,日本,第九版,1965年版。
23. m . Zaiser m·c·米格尔和Groma,“统计位错动力学系统:dislocation-dislocation相关性的影响,“物理评论B,卷64,不。22篇文章ID 224102 9页,2001。视图:出版商的网站|谷歌学术搜索

版权

版权©2014马科斯Avlonitis Konstantinos Chorianopoulos。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。