大规模视频检索通过深入当地卷积特性

文摘

在本文中,我们研究的挑战image-to-video检索,使用查询图像搜索相关的从大量的视频帧。小说框架提出了基于卷积神经网络(cnn)执行大规模视频检索存储成本较低和较高的搜索效率。我们的框架包含关键帧提取算法和功能聚合策略。具体来说,关键帧提取算法利用聚类思想,以便删除冗余信息在视频数据和存储成本大大降低。功能聚合策略采用平均池深地方卷积编码特性之后,而且检索,它允许快速检索大规模视频数据库。广泛的结果两个公开的数据集的实验表明,该方法达到更好的效率以及精度比其他先进的视觉搜索方法。

1。介绍

产生巨大的图片和视频拍摄并上传到互联网。与大量的公开数据,视觉搜索已经成为信息检索领域的重要前沿话题。存在几种视觉搜索任务,包括image-to-image (I2I)搜索1,2),video-to-video (V2V)搜索3,4],image-to-video (I2V)搜索5,6]。具体来说,知名I2I视觉搜索可用于产品搜索,查询相关的图像检索的图像。V2V搜索通常用于版权保护的视频剪辑通过相关视频。I2V搜索地址检索相关的视频帧的问题或特定时间戳从大型数据库通过查询图像。这种技术是众多应用程序相关的,如品牌监控,搜索电影使用幻灯片,使用截图和搜索视频讲座。

在这项工作中,我们研究I2V搜索的特定的任务,这是特别具有挑战性,因为查询图像和视频数据之间的不对称。视频数据可以分为四个层次结构:视频、场景,镜头和框架。当只考虑视觉内容,视频序列帧显示在一定比例(如图1)。例如,一个视频的帧率30 fps相当于30图片1秒。视频的结构意味着彼此相邻帧是高度相关的。执行大规模检索,我们应该选择代表帧的视频帧序列来减少冗余信息进行进一步的处理。帧提取,这可能代表视频的重要内容和信息,是这项技术用来删除冗余或复制帧。在这项工作中,我们提出一个基于集群的总结视频序列帧提取算法。

灵感来自于先进的基于内容的图像检索(CBIR),我们建议利用image-to-video搜索图像检索技术。CBIR中最具挑战性的问题之一是协会进行像素级信息与human-perceived语义。虽然提出了一些手工的特性来表示图像,这些描述符是不令人满意的性能。最近,CNN-based描述符显示优异的性能在各种计算机视觉任务,如图像分类、即时搜索和目标跟踪。鼓励的深卷积神经网络的进步,我们的工作与其他CNN-based共享相似帧的方法提取特征通过pretrained cnn。

在视觉搜索任务中,搜索效率起着至关重要的作用。由于高计算成本,高维CNN特性不适合大规模I2V检索。聚合这些高维特性到一个低维空间中,我们提出一种机制有两个池层而且搜索。具体来说,低维帧索引从第二个池层是用于生成coarse-level搜索,可以迅速缩小匹配。,高维帧描述符生成从第一池层是用于精密搜索提高检索精度。

这项工作提出了三个贡献:(我)我们提出了一种基于集群的帧提取算法去除大量的冗余信息的视频,可以大大降低存储成本。(2)我们利用一个基于平均聚合方法池深地方卷积编码的特性,它允许快速检索大规模视频数据库。为了进一步提高效率,我们引入了而且策略执行搜索两个步骤。(3)一组广泛的实验在两个公开的数据表明,该方法优于几种先进的视觉搜索方法。

2。相关工作

帧提取是视频分析的重要组成部分和管理,提供一个合适的视频摘要视频索引、浏览和检索。现有的帧提取方法大致分为三类。早期作品(7,8)专注于视频序列一致或随机抽样获得关键帧,这很容易实现。然而,它忽略了内容的框架,并可能导致重复帧或失踪的重要框架。一个第二代作品9,10]报道帧提取基于镜头分割,显著提升选择的关键帧拍摄片段。通过这种方法提取的关键帧是代表。然而,被忽视的相关性不同的镜头可能导致信息冗余。针对上述问题,基于集群的帧提取(11,12)出现了。该方法将视频帧划分为集群基于框架内容,然后从每个集群中提取几个具有代表性的框架。用这种方法提取的关键帧忠实地反映了原始视频内容。在本文中,我们提出一个基于帧提取方法k聚类算法则进一步处理。

image-to-video任务,框架表示法也扮演着关键的角色。在1990年代早期,图像是由手工索引的特性,如颜色、纹理和空间。一个简单的策略是提取图像表示全局描述符。然而,全球签名可能会失败不变性期望形象变化如照明,闭塞,和翻译。这些视觉描述符的性能仍然是有限的,直到突破当地的描述符。2003年,通过引入Bag-of-Words(弓)模型在图像检索社区,大多数传统的方法没有任何进一步的使用。了十多年,检索社区目睹了弓模型的优越性,和很多改进13,14提出了。2012年,Krizhevsky et al。15AlexNet提出,2012年ILSRVC实现先进的识别精度。灵感来自深卷积神经网络的进步,许多作品都集中在基于深度学习方法,尤其是cnn。早期作品(16,17]阐述了功能完全连接层的pretrained CNN网络比传统手工执行更好的描述符。然而,一些工作(18,19)报道,地方特色的最后卷积层通常产生优越的精度比全球从完全连接层特性。我们的工作份额与前者相似方法从中提取卷积特性pretrained cnn。

然而,执行大规模检索,需要压缩高维特性来降低存储成本,加快检索。几个作品试图编码特性通过弓从cnn (20.,弗拉德21],阵线(22),通常用于生成手工描述符。虽然这些方法表现良好在某些视觉搜索任务,他们需要一个大的码书训练有素的离线,在大型数据库中难以实现。此外,一些功能将丢失的信息编码阶段使用这些方法。除了上面提到的聚合策略,平均池机制能够产生区别的描述符。林等。23池)阐述了原因是当地卷积特性有效地编码深度。首先,意思是池策略可以很大程度上避免过度拟合。其次,它总结了空间信息,导致一个更健壮的空间变换查询的形象。性能优良的启发,平均池,我们提出一个简单的聚合生成紧凑和歧视的框架表示方法。

3所示。方法

我们的方法包括三个主要组件:帧提取、框架表示法,而且检索,如图2。第一个组件是一个关键的总结视频数据进行预处理。随后,关键帧的特征表示由pretrained深卷积神经网络学习。最终,相关帧聚合后查询图像检索功能。

我们的工作的重点是图所示2。图2(一个)显示索引和提取的过程,一个图像的描述符,并注意索引的长度远小于的描述符。大规模检索任务,是非常重要的快速缩小搜索使用图像索引。图2 (b)显示了而且搜索过程。coarse-level搜索,查询图像的索引比较关键帧的指数指数(DB)提取视频帧生成米候选人。然后,查询图像的描述符,其中包含更多的信息比指数,比较的描述符描述符(DB)米候选人在精密搜索使用欧氏距离。欧几里得距离越小,相似程度越高的两张图片。每个候选人都排名在相似的升序排序;因此,前n排名选择帧作为最终结果。

3.1。帧提取

帧提取是视频分析和基于内容的视频检索的基础。在前一节中提到的,一个视频序列帧显示在一定的速度,和相邻帧是高度相关的。总结视频帧提取选择帧,去除冗余信息。在这项工作中,我们采用基于集群的算法来提取代表帧。

基于集群算法的主要思想是将帧序列划分为几个集群根据帧特性,然后最接近集群中心框架将被选为一个关键帧。然而,该算法需要一个预定的实验参数,集群的数量,直接影响帧提取的结果。很难计算集群的数量的情况下,视频内容是不确定的。为了解决这个问题,我们提出一种改进的帧提取算法。在算法的具体步骤1中,步骤(1)至(5)负责计算集群的数量,而步骤(6)(9)执行的任务将帧序列划分为几个集群和选择一个帧序列。

3.2。框架表示法

我们的方法类似于前作品卷积特性提取pretrained cnn。然而,我们丢弃将softmax和完全连接层原始网络的同时保持卷积层获得地方特色。我们的工作侧重于地方特色由于全球描述符的问题可能会失败不变性的期望形象变化(24]。

在这项工作中,我们选择受欢迎的VGG16深层神经网络提取帧特性,ILSVRC数据集上训练。网络由一个堆叠33回旋的内核和max-pooling层,其次是三个完全连接和softmax层。表1显示了卷积在VGG16层的输出大小。给定一个pretrained VGG16网络,输入帧首先新一个预定义的形象方面,然后通过网络在传球前进。最后,我们获得的特性和尺寸77从512年最后max-pooling层。

3.3。而且具有聚合特征的检索

深卷积神经网络显示他们的承诺作为一个通用的表示认可。然而,签名是高维向量中低效的大规模视频检索。为了方便高效的视频检索,一个可行的方法来降低计算成本是总CNN特性。

给定一个框架,我们从去年max-pooling表示特征映射层 。假设需要的大小 ,在哪里表示的渠道和数量和每个通道的宽度和高度。假设代表意味着池和的输出 池窗口大小。然后,我们发挥的意思是池步骤在本地CNN特点:

图3描述了编码的例子从去年max-pooling层特征提取之前的完全连接层VGG16网络。给定的特征尺寸 ,和在第一次意味着池与池窗口大小的过程 ,我们得到了特征描述符的大小 。之后,第二个意思是池与池窗口大小的过程 ,特征描述符的大小 。

对于大规模检索任务,是非常重要的快速缩小搜索使用特性指数。计算初始搜索使用的欧几里得距离特性指数之间的查询图像和数据库中的关键帧。在那之后,顶部米框架选择的候选人基于距离的分数。保证搜索精度,精密搜索是由计算的距离之间的特征描述符查询图像和候选人。最后,最高n关键帧,候选人的一个子集,挑出。

4所示。实验

在本节中,我们证明了我们的方法的好处。首先介绍了数据集,评价指标和参数设置。然后,我们提出我们的实验结果与性能比较几个现有的视觉搜索方法。

4.1。实验准备

以下4.4.1。数据集

我们考虑两个数据集。南大视频对象实例数据集(南大)[25]和2001年TREC视频检索测试集合(TREC) 2001 (26]。南大146年由视频剪辑从YouTube或移动相机。这些片段的总大小是274 MB,平均持续时间为10.54秒。第二个数据集由11个小时公开提供的TREC的mpeg - 1视频会议系列。我们与2 g视频剪辑实验,2001年TREC的子集,来评估我们的方法的性能。

4.1.2。评价指标

查询检索的图像捕捉到OpenCV,计算机视觉的开源库。进行评估,它被认为是一个视觉匹配检索条件查询图像和框架都来自相同的视频剪辑。性能测量的准确性:

为了显示性能变化,我们测试不同参数设置帧提取算法。有一个参数调优在我们提出的模型: 。压缩比率是用来衡量的密实度提取帧序列,定义为

4.1.3。参数设置

图4显示了压缩比和检索精度有不同变化 。时的值小于2,压缩比提高显著的增加 。之后,压缩率保持稳定,无限接近但不超过1。压缩比越高,越是冗余帧丢失和节约存储空间。精度保持稳定的价值小于1.4。在那之后,精度的增加急剧下降 。

准确性是基于小 。然而,它也会导致较低的压缩比,这将降低内存效率。我们的最终价值1.4通过精度和效率之间的权衡。两个数据集信息的汇总如表所示2。

4.2。实验结果

评估我们的建议而且搜索方法的性能,我们与一些现有的视觉搜索方法,简要描述如下:(我)深特点方法(DF)。Babenko et al。16]介绍了pretrained CNN对图像分类的特点取代传统手工描述符。我们从过去使用深卷积特性卷积层VGG16作为基准的方法。(2)深特征空间编码(DFSE)。Perronnin et al。27)集中在编码CNN使用阵线的深卷积特性生成帧描述符。(3)深度特性时间聚合(DFTA)。诺亚et al。28)提出了总体中的所有帧的深卷积特性通过max-pooling一枪。DFTA,在同一个镜头功能聚合到单个特性来减少相邻帧之间的冗余信息。(iv)本地二进制时间跟踪(LBTT)。LBTT [28)是基于手工本地二进制特征的总结,它编码帧的像素强度值为256 -维二进制向量。(v)深特征空间池(DFSP)。池性能的评价策略,我们使用了64 -维索引检索的框架,这是两个池层后生成的。

所有的实验都是在计算机上实现,国米Core i5 2 2.3 GHz处理器,8 GB RAM和macOS 10。表3和4显示我们的检索结果的两个数据集的例子。

4.2.1。准备结果在南大的数据集

我们在南大的第一个测试不同的方法。准确性、搜索时间和帧描述符不同的方法展示在表的维度5。我们的方法包括一个而且检索过程。粗搜索,尺寸是64,在细搜索,尺寸是512,这是描述在表的第一行5。该方法实现最好的结果的准确性,通过0.05相比,DF改善性能。DFSP DFSE使用最短的时间,没有考虑到在离线训练时间。这可能是因为这些帧描述符64 -维,比其他方法低。进一步测试帧描述符”的影响维度的检索速度,我们在大规模数据集上的实验,2001 TREC。不同方法的结果如表所示6。

4.2.2。结果2001年TREC数据集

从表6,我们可以看到,所有方法的准确性略减少比表和搜索时间长得多5。维度表的意义6类似于表吗5。例如,尺寸在我们的方法是64和512,分别。我们建议的方法达到最好的结果的准确性和大幅度优于其他方法。指出,该方法的精度是0.9153而DFTA是0.7856。我们的方法是搜索时间略长于DFSP因为它需要时间精密搜索。尽管检索速度略有降低,大大提高检索精度。因此,我们相信,我们的提议而且搜索是有效的。DF的准确性比DF和DFSP。此外,它的搜索时间比DFSP约2 - 3倍的时间。这表明在当地卷积编码深池策略是有效功能。 However, the accuracy of DFSE and DFTA is worse than DF although the search time is shorter. This indicates that although high-dimensional descriptors could be encoded into a lower-dimensional space via these two methods, they could lose a lot of feature information during the encoding process.

5。结论和未来的工作

在本文中,我们提出一个方法基于深地方image-to-video检索功能来解决这个问题。这项工作是基于提出的模型帧提取和特征表示。实验结果表明,我们的方法实现竞争性能对其他CNN-based表示,以及优秀的执行成本的索引和搜索时间。

然而,该方法似乎更适合任务的查询图像从原始视频帧。查询图像的质量问题引起的几何变换和阻塞可能影响搜索精度。在未来的工作中,我们的目标是探索一种有效的方法来减少图像质量的影响问题。

数据可用性

所有生成的数据或分析包括在这项研究。本文中使用的数据集,南大视频对象实例数据集,和2001 TREC视频检索测试收集可以从下载https://sites.google.com/site/jingjingmengsite/research/ntu-voi/data和https://open-video.org//。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作得到了国家自然科学基金的中国(没有。41571389),中国国家重点研发项目(2017 yfb1401302和2017 yfb0202200),空间数据挖掘的重点实验室与教育部的信息共享,福州大学(没有。2016 lsdmis07),技术创新和应用示范重庆(cstc2018jszx-cyztzxX0015)的主要程序。

引用

1. 林k, y Huei-Fang h . Jen-Hao, c .楚国歌曲“深度学习的二进制哈希码快速图像检索,”《IEEE计算机视觉与模式识别会议研讨会美国,波士顿,MA, 2015年6月。视图:谷歌学术搜索
2. m·a·Marzouk”改善与模糊描述符的基于web的图像检索相关性反馈技术,”电脑杂志,28卷,不。3,11-26,2017页。视图:谷歌学术搜索
3. s . Poullot t . Shunsuke n .安莳和j . Herve”与明确的特征图,时序匹配内核”第23届ACM国际会议多媒体学报》上ACM,布里斯班,澳大利亚,2015年10月。视图:谷歌学术搜索
4. s . r . Shinde和g . g . Chiddarwar”,在基于内容的视频拷贝检测的最新进展普适计算国际会议(ICPC)IEEE,浦那(印度,2015年1月。视图:谷歌学术搜索
5. a . Araujo”大规模query-by-image视频检索使用布鲁姆过滤器,”2016年,http://arxiv.org/abs/1604.07939。视图:谷歌学术搜索
6. a . Araujo”时间聚合大规模query-by-image视频检索”《IEEE国际会议上图像处理(ICIP),IEEE,魁北克市,QC,加拿大,2015年9月。视图:谷歌学术搜索
7. d·h·j . Zhang钟,s . w . Smoliar”一个集成的系统,基于内容的视频检索和浏览,“模式识别,30卷,不。4、643 - 658年,1997页。视图:出版商的网站|谷歌学术搜索
8. Xu-D。吴,l . Tie-Yan l . Kwok-Tung f .剑,“动态选择和有效的压缩视频的关键帧抽象,“模式识别的字母卷。24日,9 - 10,2003页。视图:出版商的网站|谷歌学术搜索
9. 李江。秦,z Yue-Ting w·范,p . Yun-He”一个集成框架的镜头边界检测具有多层次特征相似,”学报2004年国际会议上机器学习和控制论(IEEE猫。没有。04 ex826),IEEE,上海,中国,中国,2004年8月。视图:谷歌学术搜索
10. h .青木s Shimotsuji o . Hori,“一枪的分类方法为视频浏览,选择有效的关键帧”第四届ACM国际多媒体会议学报》上美国,ACM,波士顿,MA, 1997年2月。视图:谷歌学术搜索
11. s e . f . De Avila a·p·b·洛佩斯和a . De阿尔伯克基Araujo”VSUMM:设计一种机制产生静态视频摘要和一种新的评价方法,”模式识别的字母,32卷,不。1,56 - 68,2011页。视图:出版商的网站|谷歌学术搜索
12. r . da Luz, b .秦,t·刘”一个新颖的方法来更新总结使用进化manifold-ranking和谱聚类,“专家系统与应用程序,39卷,不。3、2375 - 2384年,2012页。视图:出版商的网站|谷歌学术搜索
13. e . Mohedano s .基本上,m .凯文·m·弗兰n . e . O ' connor和n . Xavier Giro-i”袋当地卷积功能为可伸缩的实例搜索,”学报2016 ACM国际会议多媒体检索ACM,纽约,纽约,美国,2016年4月。视图:谷歌学术搜索
14. g . Csurka r·d·克里斯托弗·f·立信,w .任何人,和b .塞德里克,“视觉与袋的要点、分类”《统计学习研讨会在计算机视觉,Meylan,法国,2004年。视图:谷歌学术搜索
15. a . Krizhevsky i Sutskever, g·e·辛顿“Imagenet分类与深卷积神经网络,”先进的神经信息处理系统1卷,第1105 - 1097页,2012年。视图:出版商的网站|谷歌学术搜索
16. a . Babenko“神经编码图像检索”欧洲计算机视觉的诉讼施普林格,德国慕尼黑,2014年9月。视图:谷歌学术搜索
17. a·谢里夫Razavian a·侯赛因·s .约瑟芬和c·斯蒂芬,“CNN现成的特性:惊人的基线识别,”《IEEE计算机视觉与模式识别会议研讨会美国,哥伦布,哦,2014年6月。视图:谷歌学术搜索
18. h .能剧,“大规模图像检索与细心的深地方特性,”《IEEE计算机视觉国际会议2017年10月,威尼斯,意大利,。视图:谷歌学术搜索
19. c . Mellina y Kalantidis, o·西蒙,”大加权聚合深卷积特性,”欧洲计算机视觉的诉讼施普林格,德国慕尼黑,2016年9月。视图:谷歌学术搜索
20. z . p . Kulkarni华金,j·弗雷德里克·p·帕特里克,和c·路易斯,“混合多层深CNN /聚合器特性的图像分类,”《IEEE国际会议音响、演讲和信号处理(ICASSP)IEEE,布里斯班昆士兰,澳大利亚,2015年4月。视图:谷歌学术搜索
21. 、w .人力资源管理y锣,g .瑞琪,l·斯维特拉娜,“多尺度无条理的池深卷积激活功能,”欧洲计算机视觉的诉讼施普林格,德国慕尼黑,2014年9月。视图:谷歌学术搜索
22. h . Jegou d Matthijs, s·科迪莉亚·帕特里克“局部描述符聚合成一个紧凑的形象代表,”学报2010 - 23日CVPR IEEE计算机视觉和模式识别美国,旧金山,CA, 2010年6月。视图:谷歌学术搜索
23. m·林问:陈,美国严,“网络的网络,”2013年,http://arxiv.org/abs/1312.4400。视图:谷歌学术搜索
24. j . Richiardi h . Ketabdar, a . Drygajlo“局部和全局特征选择在线签名验证,”第八届国际会议文档的程序分析和识别(ICDAR ' 05)IEEE,首尔,韩国,2005年9月。视图:谷歌学术搜索
25. j .孟”对象实例通过时空轨迹搜索视频发现,“IEEE多媒体,18卷,不。1,第127 - 116页,2015。视图:谷歌学术搜索
26. e . m . vooorhees”概述2001年TREC的问题回答,“TREC, 2001。视图:谷歌学术搜索
27. f . Perronnin l .严,s·豪尔赫,p . Herve“大规模图像检索与压缩费舍尔向量,”《IEEE计算机学会学报计算机视觉与模式识别会议美国CA, IEEE,旧金山,2010年6月。视图:谷歌学术搜索
28. n .加西亚”时间聚合的视觉特性对大规模image-to-video检索”学报2018 ACM国际会议多媒体检索ACM,日本横滨,2018年6月。视图:谷歌学术搜索

版权

版权©2020陈Zhang et al。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。