自动分割为电视新闻视频故事使用多个模式

文摘

虽然视频内容通常是存储在连续流,而大文件或播放中,用户往往只检索一个特定的段落感兴趣的话题感兴趣。因此,必要的视频文件或流分割成短段对应于相应的检索单位。这里我们提出一个方法的自动分割的电视新闻视频故事。提出了基于A-multiple-descriptor分割方法。选择的多通道特性是互补的,给好的见解讲故事的界限。一旦提取,这些特性是扩大与当地时间背景和早期融合相结合的过程。这个故事边界预测使用机器学习技术。我们调查系统通过实验使用TRECVID故事的2003年的数据和协议边界检测任务,我们表明,该方法优于最先进的方法,需要少量的人工注释。

1。介绍

存储和通信技术的进步使得大量的视频内容,用户可以访问。然而,找到一个视频内容对应于一个特定用户的需求并不总是容易因为各种各样的原因,包括贫穷或不完整内容索引。同时,视频内容通常是存储在连续流,而大文件或播放中,用户往往只检索一个特定的段落感兴趣的话题感兴趣。因此需要视频文件或流分割成短段对应于相应的检索单位,例如,一个特定的场景在电影或一个特定的新闻在电视杂志上。这些检索单元可以定义等级秩序可能满足用户的需求在不同的粒度级别。检索单位不仅相关搜索结果单位也是单位为进一步提高基于内容的索引和基于内容的视频检索(CVBR)系统的有效性。

视频可以在不同级别的粒度分析。图像跟踪,低水平的单个帧通常是用于提取静态视觉功能,如颜色、纹理、形状,或兴趣点。视频也可以分解成照片;一枪是一个基本的视频单元显示的帧序列捕捉到一个相机在一个连续的动作在时间和空间。,然而,不是一个好检索单位,因为它通常只持续几秒钟。高级技术因此需要确定更具描述性的部分。我们在这部作品关注电视杂志的自动分割成单个新闻或商业部分如果一些礼物。更具体地说,我们的目标是在检测边界之间的新闻报道或新闻和商业部分。虽然这个工作是在一个特定的上下文进行预计,它可以应用在其他的一些适应,例如喜欢谈话节目。在一个视频故事分割可以更好的导航。 It can also be used as the starting point for other applications such as video summarization or story search system.

我们选择了一种基于多通道特征提取的方法。视觉从视频和音频信息的互补性有助于开发高效的系统。故事边界检测通常是更高效的使用几个多样特性时。问题是要找到最好的方法使用和组合这些特性。我们使用时间上下文和机器学习的方法从多个特性进行边界检测的故事。

2。相关的工作

相关工作和开发现有解决方案在大多数情况下,广播电视和广播新闻更精确。这是任务的情况下提出的TRECVID在2003年和2004年“故事分割”(1,2)和最近的ARGOS运动(3]。现有技术来构建一个电视广播(4)分为三类:由熟练工人手工方式,基于元数据的方法,并基于内容的方法。我们专注于最后一个类别。我们研究的方法是在故事层面上段;视频分割是自动、准确地确定边界(即。每个故事的开始和结束)。

的作者(5]提出的第一个工作场景的视频分割。场景分割他们的观点是首先找到相机拍摄和第二把每一个镜头都基于内容获取每一个场景的开始点和结束点。他们关注低级音频属性。

提出的方法Chaisorn et al。6,7)获得最好的结果在TRECVID 2003故事边界检测任务,因为它们实现了F1测量精度超过0.75。他们第一次分割输入视频镜头。然后提取一组合适的特性建模的拍摄内容。他们聘请学习型方法拍摄到的一组预定义的类别进行分类。最后,他们发现了故事边界使用HMM模型或归纳规则。然而,他们选择13类,像锚一样,体育、天气、程序标识,金融,和演讲/面试。虽然有效,但他们的技术需要大量的手工注释数据。这里的方法需要更少的带注释的数据。

最近,作者的8)分段视频故事通过检测锚人投篮;文本流中也划分为故事使用latent-Dirichlet-allocation (LDA)为基础的方法。他们获得了一个F1测量等于0.58 2003年TRECVID故事边界检测任务。在文献[9],他们提出了一个语义故事分割方案基于锚人检测。该模型利用分割和合并机制找到故事的边界。方法是基于视觉特征和文字记录。该方法的性能超过0.6F1测量2003年TRECVID故事边界检测任务。在这项研究中(10),一组关键事件首次检测到多媒体信号来源,包括大规模的本体概念图片,从自动语音识别系统,生成的文本特征提取音频轨道,和高级视频合成。然后,融合方案是使用最大品质因数学习方法调查。他们获得了一个F1测量等于0.651 2003年TRECVID故事边界检测任务。

在本文中,我们提出一个有效的方法比艺术的实际状态(评估在相同的测试数据)。此外,我们的方法只需要最小的注释工作。尽管它需要一套开发包括许多代表与故事分割地面实况视频培训,它不需要或只需要很少的附加功能注释的新闻节目主持人在镜头面前或话题喜欢运动,例如天气、政治、或金融。

3所示。系统概述

3.1。消息结构

大部分的新闻视频,而类似的和良好定义的结构。Chaisorn et al。7]研究了新闻视频和注意到的结构:

“新闻视频通常始于几个介绍/突出视频序列,给出一个简要介绍即将到来的新闻报道。新闻包含一系列故事的主体组织的不同的地理兴趣,如国际、国家、区域和地方,大类的社会政治,商业,体育和娱乐。每个新闻通常始于一个新闻节目主持人。大多数广播包括有关体育、金融或天气。”

还有,或车站,序列的广告。图1演示了一个典型的新闻视频的结构。虽然新闻条目的顺序从广播电台站可能会略有不同,但是他们都有一个相似的结构和新闻类别。

3.2。选择一个分类单元

之前的大部分作品用这张照片作为基本分割单元进行分割的故事。然而,我们注意到在TRECVID发展集,只有94.1%的故事边界匹配一个镜头边界的模糊性津贴5秒官方评价指标。这意味着系统在拍摄水平无法找到边界约6%的故事。例如,最后一个故事,一个新闻节目主持人似乎能给一个总结或结论,切换到另一个话题。在这种情况下,没有拍摄两个故事之间的过渡。

另一方面,个人的框架是一个非常小的单位不仅因为涉及的计算量的框架级别评价,还因为这样的精度不需要在应用程序级别,因为我们觉得分割单元应该足够长时,它有一个视觉意义被一个人。这是证明在TRECVID的任务冲视频总结2007年一秒的视频片段是一个很好的时间是有意义的。两篇论文表明,并行,一秒就够了,足以代表一个主题(11,12]。

我们最终决定使用短时间和固定长度的分割段的故事候选边界点和内容描述。在初步实验中,我们还测试了段时间超过1秒,与较小的最好的结果。我们因此决定使用一个第二,为基本单位,这也符合之前的视频工作总结(13]。一秒钟的故事边界位置精度也足够从应用程序的观点。

3.3。全球系统架构

的想法,我们的方法是提取最大的相关信息(功能或描述符)然后融合检测的故事之间的转换。图2显示了该方案。

提取相关的信息在所有一秒钟段。我们使用一个分类过程的基本单位,但只有在一种无监督的方式。视频片段分类到不同的类(新闻节目主持人,标志的存在、天气、言语,沉默…)是一个基本的步骤,恢复结构的一个新闻节目。在一个故事中,我们假设环境是相似的,集中在同一主题的讨论。

我们决定使用不同的模式可用。视觉信息包括检测,一个特定的人的存在,和其他信息,如通道标志的存在,垃圾帧,和视觉活动。我们也使用屏幕文本的存在;我们相信,一个文本框的存在在一个框架在一个特定的位置可能有一些重要发现故事的界限。例如,在电视新闻的标题一个新的主题出现在同一个地方。

我们提取音频信息喜欢沉默的存在。事实上,当一个新闻节目主持人说,这经常发生,短暂的沉默是两个主题之间的过渡。我们还利用自动语音识别(ASR)中提取文本信息,如附近经常出现的单词存在过渡之间的故事。

提议的方法的一个创意是一旦提取,描述符是扩大与当地时间上下文。这一步的主要思想是描述符的值是一个可能的线索故事边界但其演化在附近也可能非常相关。例如,出现或消失的标志是一个信息比只有商标的存在更重要的视频序列。现在我们有不同的信息来源,我们需要将它们合并为预测故事的界限。这些来源是由早期合并融合(14]。

一旦我们有不同的信息来源为每一个第二段以及当地时间进化,具有挑战性的任务是段广播成连贯的新闻故事。像在主要作品,我们专注于发现每个故事的边界,视频流的成功。为了执行这个检测,我们使用传统的机器学习方法。

4所示。多通道功能新闻分割

我们现在在这一节中提取不同的特征。获得的这些功能都是直接通过第三方的应用系统,我们不可能有机会改善(如语音识别器系统(部分4.2。2))或建立我们的目的(例如,锚人检测器(部分4.1.2))。应用程序的文本瓷砖方法(15)语音转录也认为,但令人惊讶的是,它发现它并没有帮助。

4.1。视觉特性

以下4.4.1。镜头检测

我们执行一个镜头边界检测。正如前面所解释的那样,在TRECVID开发集,故事的边界附近出现一个镜头边界。因此,这些信息是非常重要的。镜头边界检测是由使用该系统中描述(16]。该系统检测图像减少直接的转换比较运动补偿和溶解转换后通过比较规范的第一和第二时间衍生品的图片。它还包含一个模块检测摄影闪光和过滤出来作为检测错误的削减和一个模块通过运动峰值检波器额外的削减。这个系统得到全面召回/精度/2003年TRECVID评价活动。更准确地说,它获得了召回/精度/为减少转换的/逐步检测。

镜头边界检测执行但不是直接用作依据候选人的故事边界这将引发大量错过转换(至少6%的故事边界不匹配镜头边界)。相反,它被用作功能相关的一秒钟段单位:两个二进制值与每一秒钟段表明存在或缺乏削减或逐渐过渡。

4.1.2。脸和锚人探测器

我们使用一个人脸检测器(17]的作者报告的人脸检测率。为了检测锚人序列,我们假设帧(i)的锚人帧包含一个面心和(2)很可能会出现经常几乎“目前”的视频。因此,我们首先选择包含一个中心面临的帧作为候选人是一个锚人模板对于一个给定的视频。面对额,而静态的,在这种情况下,人脸检测器是可靠的。对于一个给定的视频,为了选择一个合适的锚人模板,我们希望候选人有前缀的平均视觉相似性候选人的比例最大,选择模板帧的帧,表现出最大的相似性;图3显示模板样本。是基于使用的相似性之间的欧氏距离计算颜色直方图在HSV颜色空间(- - - - - -- - - - - -箱子)。最后,使用模板和框架之间的相似之处就像一个信心的衡量一个锚的人的存在。注意,初步实验没有面对预选可以用作高原探测器。这个检测器一直在评估一组法国电视新闻视频检测我们获得一个锚的人F1测量等于回忆等于和一个精确等于。

新闻节目主持人的特点是一个模拟(真正的)值与每一秒钟段,这段的信心指标包含锚的人。

4.1.3。垃圾帧

垃圾是noninformative帧,通常强烈按压工件,传输错误,或者更简单黑色或单色帧。图4显示了垃圾帧的例子。垃圾序列可能通知我们关于找到一个过渡的可能性在这个序列。尽管它看似简单,但垃圾检测是很微妙的问题。我们提出一个两步方法:检测黑色框架和检测理论框架。我们检测到单色帧通过计算像素颜色的分布的熵与熵灰色空间,我们删除帧低于一个预定义的阈值。垃圾帧特性是一个模拟值与每一秒钟段的可能性表明段包含一个或多个垃圾帧。

4.1.4。视觉活动

运动强度的活动视频实际上是一个衡量“多少”的视频内容正在发生变化。考虑现有方法造成的高计算复杂度模型的运动特性,我们使用更有效计算像素颜色的焦点方法提取视觉活动。一帧的视觉活动可以用像素的比例和前一帧之间改变了颜色。

4.1.5。标志检测

电视标志是图示法,用于确定一个通道。标识放置在同一个地方,不断,除了在广告。在此基础上观察,我们计算的平均帧视频和视频的像素颜色的方差,见图5。最低的像素方差被认为是标志的一部分。他们的位置将被称为参考位置。在标志检测步骤中,对于给定的帧,绝对区别的颜色像素位于参考位置和对应的平均图像计算。金额越低,越有可能标志帧。我们手动选择搜索区域为每个不同的通道只有减少计算时间。然而,这种方法在应用于整个图像。时间滤波器应用于估计的概率的存在标志。这个过滤器输出的二进制值每一秒钟段指示标志的存在或缺乏。

4.1.6。屏幕上的文本

检测到屏幕文本框使用的方法18]。几个连续的过滤器是通过帧:Sobel过滤器来确定字符边缘,然后治疗扩张和侵蚀连接字符在一起。连接组件,并不持有一个强制性的几何是过滤。在每个帧进行检测,只有随着时间的推移箱子足够稳定。我们只使用一个文本框的存在信息,因为很多视频的质量太可怜了,一个好的光学字符识别。文本功能是一个模拟值与每一秒钟段的可能性表明段包含一个或多个文本框。

4.1.7。可视化聚类

我们执行一个集群以群组视频片段的视觉相似性。我们代表一个视频片段的HSV颜色直方图,我们使用欧式距离比较视频片段,最后我们用k - means聚类。集群特性是一个离散的整型值与每一秒钟段表明集群的指数接近段的内容。

4.2。音频功能

4.2.1。准备沉默的检测

音频分割系统的第一步是检测部分输入的音频流,展示一些音频活动或等价于寂静之部分。语音活动检测的方法是能量流的bi-Gaussian模型剖面,能源概要框架或者log-energy序列。沉默的特性是一个二进制值与每一秒钟段表明段含有沉默。

4.2.2。自动语音识别(ASR)

我们这里使用记录提出在TRECVID 2003故事分割运动。连续的语音识别器利用与高斯混合密度摘要声学建模和4克统计估计在大文本语料库。词识别是在多个执行通过,当前假设用于基于集群的声学模型适应下一个解码之前通过(19]。在我们的上下文(即。,broadcast news), the speech recognizer has a word error rate of。ASR不是直接用于生产特性。文本花砖试穿,但它无法导致整体改善。然而,单词被发现从模型中提取有用的转换。

4.2.3。说话人检测

演讲者检测方法是基于20.]。系统使用归一化交叉似然比(因)。首先,因被用作不同测量两个高斯模型在议长之间的变化检测步骤,和对扬声器的性能变化检测相比BIC和旅馆的T2-Statistic措施。然后,因测量修改处理multi-Gaussian适应模型在集群重组步骤。这一步结束了循序渐进的议长diarization过程BIC-based层次聚类和维特比后再分割步骤。该方法获得的演讲者diarization错误。演讲者特性是一个离散的整型值与每一秒钟段表明说话者的指数出现在段。

4.2.4。过渡词

基于人造硅视网膜,我们提取最常见的过渡词。我们第一次删除所有文字从转录停止。然后,我们选择最频繁的单词出现在一个时间窗口重叠一个转变的故事。最后,为每个选定的词,我们确定一个分数相关的非均匀概率找到一个过渡时间证券交易委员会考虑到明显在时间。

表1在美国广播公司(ABC)视频显示结果。如果范围之间和秒,我们可以注意到提取的词是ABC新闻,今天和今晚,ABC和新闻被明显一两秒后一个过渡,而今天,今晚出现几秒钟前过渡。过渡词的特性是一个模拟值与每一秒钟段给出的概率段对应于一个故事边界的存在可能在周边国家的过渡词。

4.3。多通道功能

多通道特性的功能从单一模式用于故事边界检测组合成一个全球表示。图6显示了一个多通道特性的图形表示形式。这个数字相当复杂,但非常有用的各种形状和个人的互补特性。多通道功能对应一个连接一列中的所有元素(早期融合)在当地时间扩展。

可以看到,沉默是与地面真理尽管它缺乏精度(它检测到一个沉默前两个故事之间的边界)。这假警报仍然可以纠正使用其他功能,例如,新闻节目主持人或过渡。组合非常复杂,所以我们依靠一个自动程序将这些特性分析和机器学习。

镜头检测信息分解成两个二进制值:第一个代表的存在减少过渡,第二个代表的存在在一秒钟逐渐过渡段。沉默的存在和商标由一个二进制值。视觉集群和议长由集群指数表示。最后,其他特性数值。

5。多通道融合

一旦提取,可以组合的多通道功能早期融合为了检测故事之间的转换。这两个步骤:我们确定使用每一个功能的最好方式,然后合并使用分类器的特性。分类器为故事提供了一个预测分数过渡。融合是用相同的基本分割单元进行特征提取:一秒钟固定长度的段。

5.1。当地时间上下文

所有描述符提取每一秒钟的视频。因此,他们不考虑时间信息包含在一个视频。当然,信息描述符的存在与否是很重要的,但是关于出现或消失的信息可以更相关。在此基础上观察,我们与当地时间上下文扩展描述符,更准确地说,在最近的段描述符的值。

我们使用一个策略基于滑动窗口:一秒钟段进入视线在这个视频中,我们使用一个固定长度的滑动窗口等于,当前段位于窗口的中心。对于每个滑动窗口,我们提取三个类别的表示:(我)这个列表,中包含的所有值的滑动窗口(值);(2)这个列表,每一对情侣之间的差异的一个第二段相等的距离加上中心值本身(值);(3) 高斯分布的值,高斯分布的推导,第二个推导高斯分布(值)。第一个解决方案对应于喂养一个输入向量的分类器是一个连接的列向量在当前使用一个或多个列的垂直部分表示在图6。这是最完整的信息,可以通过它的叶子打开机器学习分类器的底层方法为每个特性决定它是否会使用单一中心值,水平,它周围的变化,或它们的任何组合包括周围应该走多远。虽然这是最完整的,它也是最昂贵的,不一定是最有效的一个。我们可以有水平的直觉,变异,或两者的结合可以更紧凑、更合成我们考虑另外两个可能性,第三个是比第二个更紧凑和合成。我们还考虑优化的可能性大小的窗口和社区表示类型使用一套开发通过调整它们。

5.2。融合

最后,每个多通道作为输入向量用于分类器是最好的连接特性的表示。我们选择为避免执行早期融合不同特性之间的关联信息的损失。我们已经测试了几个分类器使用WEKA [21找到最好的一个任务。与镜头过渡相反,一个故事过渡并不一定带注释的所有注释器在同一帧。为了考虑故事的模糊性的过渡位置注释,我们决定放弃5一秒钟段两侧因为这些故事过渡段的注释负面时可正因为这样的局外人常常导致的性能损失。丢弃这些片段确保所有样品标注为负实际上是消极而注解为积极选择尽可能接近实际的过渡。这可能在把结果变成一个相当模糊的位置检测转换。

6。实验结果

6.1。试验协议

我们的方法评估在TRECVID 2003故事的背景下和相同的条件除了细分任务,事实上,它是完成后,它不能包含在TRECVID 2003官方结果。然而,同样的数据,地面实况,协议,已经使用度量和评估程序。优化已经完成只使用开发数据然后调谐系统被应用在测试数据只有一次。没有做优化的测试数据。

集合包含大约120小时的ABC世界新闻今晚和CNN头条新闻语言数据记录的财团从一月底到1998年6月。我们选择这个数据集,因为它是唯一一个可以广泛使用的社区;它让我们把我们的方法与艺术的状态。

我们开发和优化系统只有在开发(分区本身变成一个培训和测试集的随机过程),然后应用测试集。因为故事边界,而突然改变焦点,故事边界评估是仿照镜头边界的评估:评估分割的故事,一个自动比较human-annotated参考完成提取召回和精度的措施。一个故事边界表示为时间抵消对视频文件在几秒钟内开始,精确到100秒。每个引用边界扩展的模糊性因素5秒在每个方向,导致评估的间隔秒。如果计算边界不下降的评价区间边界的引用,它被认为是一场虚惊。(我)故事边界召回总数=数量的参考边界检测/参考界限。(2)故事边界精度=(提交总数边界-假警报的总额)/提交总数的界限。(3)故事边界F1 = 2××召回的精确度测量/(记得+精度)。

6.2。分类器的选择

我们做了一个最好的分类器选择方法为我们的问题:从Weka工具箱测试分类器;关于这些分类器的更多信息,请参见[22]。图7显示方面的最好的结果F1测量在开发集。

结果表明,RandomForest是最好的分类器对我们的问题。结果还表明,该分类器的类别树平均在我们的案例中是最好的。这部分可以解释为我们使用的非规范化特征必须执行哪些操作。然而,这是一个复杂的问题,因为我们的描述符没有相同的规模。例如,很难比较的数量在一个视频片段和信心视觉活动的价值。对于我们的问题,它也是有趣的,积极的数量很低而负的数量。所以,像SVM分类器并不合适。

6.3。功能利益

为了证明所选特征的相关性,我们估计的性能损失F1测量功能是分别从池中删除。我们训练多个分类器通过移除一个功能在每个时间。最后,我们比较他们的结果与获得的方法考虑所有功能,见图8。

我们可以看到,扬声器检测和沉默的最重要的功能是我们的问题。功能,如过渡词,标志,脸,垃圾,文本屏幕和视觉集群也很重要。应该注意的是,与其他的一些功能,这是合乎逻辑的和相关的性能损失这样一个功能不高。例如,如果我们删除新闻节目主持人,性能损失不是很重要,因为这些信息在一定程度上是存在于演讲者特性。

我们可以看到,音频功能比视觉更有趣的功能。为了评估这种评论,我们比较结果只使用音频特征和视觉特征,看到recall-precision曲线在图9。很明显,音频特性更好;因此视觉特性改善的结果。

6.4。当地时间上下文实验

对于每一个描述符,我们测试了不同长度的滑动窗口(从证交会对sec)和不同表示形式(,,或),以便找到最佳组合为每个描述符(其他描述符使用没有本地上下文信息)。图10显示了三种不同的描述符的结果:演讲者和脸。曲线基本代表了结果没有当地时间延长。很明显,当地时间上下文可以提高预测的质量。表2显示了所选的最佳组合描述符。

在图11,我们比较的性能不同的方法提取当地时间上下文。我们可以看到,当地时间上下文提高了性能,最好的结果是通过为每个描述符使用最好的本地时间上下文。这种方法使用向量维度。最接近的结果,该方法使用滑动窗口等于得到和提取,,每个描述符;然而,在这种情况下,尺寸。所以最优参数的选择对于每个描述符更有趣。

6.5。横跨海峡的实验

为了评估我们的系统的鲁棒性,我们评估它在横跨海峡的设置域相同的(即,电视新闻节目)。TRECVID 2003集合包含电视杂志从两个不同的频道:CNN和ABC。我们评估了系统培训系统全面发展集合的时候,只有美国广播公司的部分,或者只有CNN部分和测试时系统也在这些通道的组合。为了区分的效果使用较小的训练集合和只使用其中一个通道的影响,我们也训练系统只使用一半的充分发展集合与渠道。我们评估以下组合:“美国广播公司ABC”,“美国有线电视新闻网CNN,“”,“”所有/ 2”,“ABC CNN,”和“CNN ABC”。一些功能(标志检测和过渡词)总是为每个通道单独计算。

图12显示的结果cross-collection考试。系统有一个非常稳定的行为当作文的训练和测试数据是相似的。性能稍高的“美国广播公司ABC”和“美国有线电视新闻网CNN,“略低可能表明ABC期刊更稳定的组织比CNN期刊。训练集的大小没有显著的影响。

正如预期的那样,我们可以注意到一个横跨海峡的实验的性能下降。系统性能更好的图中显示“CNN ABC”比“ABC CNN。“然而,预测的质量仍然是好的因为我们得到一个F衡量(回忆、精密)。之间的性能差异CNN来校正和CNN可能源自于这样一个事实:CNN相同风格的转换为ABC但CNN还包含特定的转换没有观察到在ABC。

6.6。实验与另一个语料库

我们已经测试了我们的方法在另一个语料库。这个语料库由法国59视频2电视新闻从2月1日到2007年3月31日。这些视频的平均长度是大约38分钟,代表一个整体的37小时的视频。我们提取的多通道特性的一个子集:垃圾帧,视觉活动,标志,新闻节目主持人,过渡词,和说话人检测。我们获得好的结果:一个F1测量等于回忆等于和一个精确等于。我们的方法也适用于另一个语料库,尚未作出调整,系统已经应用这样的描述符。良好的性能也可以进来的原因之一可能视频和故事的质量边界比在2003年TRECVID语料库更容易预测。

6.7。结果

我们比较我们的结果与艺术的状态表3。(我)提出的方法Chaisorn et al。6,7)获得最好的结果在TRECVID 2003故事边界检测任务。他们,首先,分段输入视频镜头。然后,他们中提取一组合适的功能模型拍摄的内容。他们聘请学习型方法对拍摄到的一组进行分类预定义的类别。最后,他们发现了故事边界使用HMM模型或归纳规则。(2)Misra et al。8)分段视频故事通过检测锚人投篮;文本流中也划分为故事使用latent-Dirichlet-allocation (LDA)为基础的方法。(3)Goyal et al。9)提出了一个语义故事分割方案基于锚人检测。该模型利用split-and-mergemechanism找到故事的边界。方法是基于视觉特征和文字记录。(iv)在马等。10),一组关键事件首次检测到多媒体信号来源,包括大规模的本体概念图片,从自动语音识别系统,生成的文本特征提取音频轨道,和高级视频合成。然后,融合方案是使用最大品质因数学习方法调查。

该方法,我们得到一个召回和精度,给一个F1测量等于一组阈值优化的发展。在相同的数据集,我们的系统比实际更有效的系统。我们也测试了我们的方法使用一个特征向量扩展和一个通道信息(ABC或CNN),以及系统的性能。

7所示。结论

我们已经提出了一个方法,分段电视新闻视频故事。该系统是基于多通道特性提取。创意的方法是使用机器学习技术寻找候选人从大量异构的低级功能;还在使用时间上下文早期融合在他们组合的特性。

这个系统的优点是它不需要或最小外部注释。评估在TRECVID 2003故事的背景下细分任务,获得了更好的性能比的当前状态的艺术。

未来的工作将包括其他有关该任务描述符和一个标准化的有效步骤。感兴趣的特性可以使用其他来源类别主题检测视频中收集。关于预测故事的存在过渡的方法,它可以改善通过这一过程考虑了视频结构和时间信息。

承认

这项工作是实现由OSEO Quaero计划的一部分,法国政府机构创新。

引用

1. a . f . Smeaton p .结束,w . Kraaij“TRECVID-an概述”TRECVID学报》,2003年。视图:谷歌学术搜索
2. t . s . Chua s . f . Chang l . Chaisorn和w·许”故事在大型广播新闻视频档案——边界检测技术,经验和趋势,”第12届ACM国际会议多媒体学报》上2004年10月,页656 - 659。视图:谷歌学术搜索
3. p•乔利j . Benois-Pineau大肠Kijak, g . Quenot”ARGOS运动:评价视频分析和索引工具,”信号处理,22卷,不。7 - 8,705 - 717年,2007页。视图:出版商的网站|谷歌学术搜索
4. a . e . Abduraman s a Berrani, b . Merialdo”电视节目结构技术:复习一下,”电视内容分析:技术和应用程序,2011年。视图:谷歌学术搜索
5. j . m . Gauch s Gauch s Bouix x朱,“实时视频现场检测和分类,信息处理和管理,35卷,不。3、381 - 400年,1999页。视图:出版商的网站|谷歌学术搜索
6. l . Chaisorn和t . s . Chua”故事边界检测在新闻视频使用全球规则归纳技术”《IEEE国际会议多媒体和世博会(ICME 06年)2006年7月,页2101 - 2104。视图:出版商的网站|谷歌学术搜索
7. l . Chaisorn t . s . Chua和c·h·李,“综合方法对新闻视频故事分割,“万维网》第六卷,没有。2、187 - 208年,2003页。视图:出版商的网站|谷歌学术搜索
8. h . Misra f . Hopfgartner a Goyal et al .,“电视新闻故事分割基于语义一致性和内容相似,”学报》第16届国际会议上提出在多媒体建模,第357 - 347页,2010年。视图:谷歌学术搜索
9. a . Goyal p Punitha、f . Hopfgartner和j·m·穆”分裂和合并分割在新闻视频故事,”学报》31日欧洲会议红外信息检索的研究发展,第770 - 766页,2009年。视图:谷歌学术搜索
10. c, b . Byun金,和c·h·李,“广播新闻视频故事分割,检测方法”《IEEE国际会议音响、演讲和信号处理(ICASSP ' 09)2009年4月,页1957 - 1960。视图:出版商的网站|谷歌学术搜索
11. e·杜蒙特和b . Merialdo“多画面动态加速的视频摘要”学报第一TRECVID视频总结研讨会(电视' 07)2007年9月,页55-59,。视图:谷歌学术搜索
12. a·g·豪普特曼·m·g . Christel w·h·林et al .,“聪明的集群和简单的总结BBC冲,加速”学报第一TRECVID视频总结研讨会(电视' 07)2007年9月,20到24页。。视图:谷歌学术搜索
13. e·杜蒙特和b . Merialdo“冲总结内容,自动评价方法”《IEEE国际会议多媒体和世博会(ICME ' 09)2009年7月,页666 - 669。视图:出版商的网站|谷歌学术搜索
14. c .杖鱼、m .烦恼和a·w·m·Smeulders”语义视频分析,早期和晚期融合”《第13届ACM国际多媒体会议,第402 - 399页,2005年。视图:谷歌学术搜索
15. m·a·赫斯特“Multi-paragraph分割是解释性的文字,”学报》第32届年会94年对计算语言学协会(ACL),9到16,1994页。视图:谷歌学术搜索
16. g . Quenot d Moraru, l . Besacier”夹在TRECvid:镜头边界检测和特征检测”TRECVID学报》,2003年。视图:谷歌学术搜索
17. h·a·罗利s Baluja, t·金“神经网络的人脸检测,”IEEE模式分析与机器智能,20卷,不。1,政府,1998页。视图:谷歌学术搜索
18. j .的l . Besacier g . Quenot, f . Thollard”从视频文本检测人识别,”《IEEE国际会议多媒体和世博会,2012年。视图:谷歌学术搜索
19. j·l·Gauvain l .薄层,g .加入“LIMSI广播新闻转录系统”,言语交际,37卷,不。1 - 2、89 - 108年,2002页。视图:出版商的网站|谷歌学术搜索
20. 诉b·勒欧蜜剂,d . Fohr“议长diarization使用规范化的交叉似然比,”学报》第八届年会的国际演讲交流协会(Interspeech ' 07)2007年8月,页873 - 876。视图:谷歌学术搜索
21. m·a·霍尔,e·弗兰克·g·福尔摩斯,b . Pfahringer p . Reutemann和i . h .威滕”WEKA数据挖掘软件:一个更新”,SIGKDD探索通讯卷。11日,10 - 18,2009页。视图:谷歌学术搜索
22. http://www.cs.waikato.ac.nz/ml/weka/。

版权

版权©2012艾米莉·杜蒙特和乔治·Quenot。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。