视觉跟踪基于歧视压缩特性

文摘

视觉跟踪是计算机视觉领域的一个具有挑战性的研究课题,许多潜在的应用。提出了大量的跟踪方法,实现了设计的跟踪性能。然而,当前最先进的跟踪方法仍然不能满足实际应用的要求。的一个主要的挑战是设计一个好的外观模型来描述目标的外观。在本文中,我们提出一种新颖的视觉跟踪方法,它使用压缩特性模型目标的表象,然后使用支持向量机来区分目标和背景。图像编码压缩特性得到的多尺度小波系数从一幅图像中提取,具有低维度和辨别能力,因此确保取得更好的跟踪结果。实验比较几种先进的方法验证了该方法的优越性。

1。介绍

视觉跟踪旨在定位感兴趣的目标从图像序列,这是最活跃的研究主题之一,在计算机视觉领域与许多潜在的应用,如视频监控、人机交互、导航和自动驾驶。它吸引了越来越浓的兴趣过去几十年(1- - - - - -16]。然而,由于各种具有挑战性的因素,如光照变化,造成变形,和遮挡,视觉跟踪的性能仍然是远离实际应用的需求。主要的困难是,它是不容易设计一个好的外观建模方法,这不仅善于区分目标和背景也被强劲的上述外观变化。找到一个好的外观建模是一个具有挑战性的问题在许多视觉应用,如图像分类(17- - - - - -19)和视频识别(20.- - - - - -22]。

在文献中,有各种各样的视觉跟踪方法与重点发展有效的外观建模方法。大多数这些方法可以分为两类:生成方法和区别的方法。前学习生成从样品只包含目标特征,其目的是代表目标尽可能准确。后者学习区别的特征样本包括目标及其背景,通常需要解决一个优化函数。为了达到更好的跟踪性能,区别的方法吸引了更多的关注。

本文克服低造成的挑战之下,装饰的变化,和规模变化,我们提出一种新颖的跟踪方法使用区别的压缩特性,实时和能够处理多尺度的目标。该方法的主要思想是,它结合了压缩传感压缩纹理特征的提取和多尺度纹理变换,然后使用支持向量机分类目标从它的背景。压缩特性都较低的维度和辨别能力,因此确保达到更好的跟踪结果。实验比较几种先进的方法验证了该方法的优越性。

本文的其余部分组织如下。节2我们回顾我们建议的方法密切相关的工作。部分3给出了该跟踪方法的详细描述。实验结果和分析报告6。我们在部分总结本文6。

在过去的几十年中,有许多跟踪已经被提议的方法,大致可以分为生成方法和区别的方法。前者侧重于建模跟踪目标的外观,然后找到最相似的候选目标模板的跟踪结果。代表这些追踪器基于稀疏表示方法包括(23- - - - - -29日]。在[29日),稀疏编码是用来从样本中提取特征补丁。当地的稀疏特性然后汇集成一个全球表示。在[28),一个在线学习稀疏表示提出了视觉跟踪处理阻塞。在[25),联合稀疏表示框架用于结合multi-cue视觉跟踪的特点。因为特征从不同的线索从不同方面描述跟踪目标,更健壮的跟踪结果可以获得当multi-cue特性。在[23),生物启发外观模型提出了目标外观模型,这也是基于特征提取利用稀疏编码。

区别的方法学习二元分类器,然后使用它来分类候选人作为目标或背景5,8,14,16,30.- - - - - -34]。在[30.冰球,雅库特和Kehtarnavaz提出跟踪状炸弹结合三条信息在冰球的视频帧使用一种自适应灰度阈值方法。在[31日],Topkaya等人提出了一种多个对象跟踪方法使用tracklet集群,首次获得短但可靠tracklets然后集群tracklets随着时间的基于颜色和空间和时间属性。在[32王),和赵提出一种自适应的外表模型叫做主Component-Canonical相关性分析(P3CA)提取歧视对象跟踪特性。在[14),气等人提出一个基于CNN的跟踪方法,它使用相关性过滤器构造六弱六CNN的追踪器在输出层。这些弱追踪器正常对冲相结合的自适应算法。在[34),进一步改进方法,提出了使用SNT计算每个弱追踪的损失,从而达到更好的跟踪性能。

3所示。有识别力的压缩特性

3.1。多尺度小波变换

多尺度小波是一种小波函数由两个以上的规模。它保留了局部属性的单一小波的时频域同时克服缺点,因此有更多的不同频率的属性。在本文中,我们选择GHM多尺度小波(35),可以通过递归地计算如下: 在哪里和低频系数和高频系数的吗分别th的输入信号。表示的低频系数规模;和是当前规模的指标,这是依赖于输入图像。多小波滤波器被定义为

3.2。压缩的多尺度特性

很容易获得低频分量和高频分量后的信号,使用小波变换进行过滤。一般来说,大部分能量信号的低频组件。相比之下,高频分量的信号反映输入图像的细节。因此,压缩输入图像的最简单的方法是将高频系数设为0时使用小波变换重建输入图像。另一种选择是将一些当地的高频系数区域设置为0或设置高频系数基于阈值,这将引起严重的损失图像的细节,模糊图像压缩后,或损失的图像信息。

小波变换能够复合输入图像在不同尺度上。更重要的是,在每个分辨率子图象具有不同的频率特性和不同的方向选择。因此,它可用于编码输入图像在不同尺度的不同信息。

人们普遍认为,一个视频序列中的目标冗余空间和频率域。前者表明相邻像素的空间相关性。后者表明一个像素的相邻频率有一些类型的相关性。另一方面,图像信号的统计特性表明,大型系数总是在低频区域,因此存在少量可以分配给那些小系数或他们不会传播。它将导致高压缩率和非常小的信息丢失。

基于多尺度小波变换的压缩方法将图像编码应用到高光谱图像的压缩。这个方法的原理是利用高光谱图像的结构关联构建只有一个有效的图像(共享),然后进一步确定多尺度小波系数的非零的位置。共享图像是通过结合多尺度频率系数,因此消除空间冗余和频率冗余提高压缩效率的目的。

一维小波变换滤波器输入信号通过低通滤波和高通滤波,然后将采样获得低频分量和高频分量。根据Mallat算法、二维小波变换可以实现由几个一维小波变换,得到低频和高频组件,分别。给定一个输入图像与m行和n列,二维小波变换的过程是首先分解在每一行输入图像使用一维小波变换,将获得L和H两部分。第二步是分解H L和部分使用一维小波变换在其列。与输入图像这两个步骤将四个部分(LL、HL、LH和HH)。第二级、第三级或更高层次的小波变换可以通过使用这样一个过程前的水平。因此,小波变换是一个迭代的过程。

为了满足实时要求,外观特征的维数不应太高。为了满足这种需求,在本文中,我们采用压缩传感降低高维外观特征的维数。让小波的特性和是一个随机矩阵计算(使用相同的方法在26]。压缩特性可以计算为。

4所示。有识别力的支持向量机跟踪

SVM是经典二进制模式分类自1995年被Vapnik提议。在本文中,我们使用支持向量机作为我们的跟踪模型。

4.1。支持向量机跟踪

将目标从它的背景,我们的跟踪方法试图找到一个超平面的采用压缩特征空间来区分目标和背景的特征。

为了实现这一目标,优化目标是最大化分类器的特征空间的边缘。换句话说,我们需要满足下列条件: 在哪里的类标签吗样本。例如,如果目标样本, 。否则,如果样品背景, 。

给定的训练样本和相应的标签,我们首先从每个样本中提取压缩功能使用方法中引入部分3。的特性和它们的标签可以喂SVM训练支持向量机的参数。为每个目标候选人,在跟踪阶段,我们还可以使用相同的方法提取压缩特性的培训阶段。然后我们可以喂提取特征SVM谓词其标签。如果被归类为+ 1的特性,它被认为是潜在的目标。否则,它不认为是潜在的目标。最终目标是选为潜在目标候选人最大的概率。

4.2。模型更新

使提出跟踪适应目标外观变化随着时间的推移,在网上追踪需要更新。为达此目的,我们更新模型使用收集到的积极的和消极的样本。特别是,我们收集一套积极的和消极的样品时间。使用该外观模型,我们可以提取所有积极和消极的样品的压缩特性。然后可以更新的SVM模型在哪里表示学习速率,控制模型更新的速度。

5。实验结果

粒子滤波的目标跟踪是实现框架。选择了从OTB100序列数据集评估拟议的跟踪方法。在第一帧,手动初始化目标。当然,目标可以通过检测器时初始化方法应用于实际系统。初始化目标后,一组粒子采样的目标。是否每个粒子被认为是目标是基于支持向量机的输出得分。在下一帧,使用跟踪的粒子采样导致最后一帧作为预定义的均值和协方差。这个过程是重复逐帧。该跟踪方法的流程图如图1。

为了测试该方法的性能,我们比较该方法几个先进的追踪器包括TLD (36],CXT [1),(37],L1APG [38),而MTT (39]。通过定量和定性分析实验结果,我们验证了该方法的优秀性能。

两个框架的基础指标广泛用于跟踪性能评估中心位置误差,定义为中央的位置之间的欧几里得距离跟踪目标和手动标注真实位置;边界框重叠区域的比例的十字路口和工会的边界框显示跟踪主题和真实边界框。测量跟踪器的整体性能测试序列,成功率和精度采用分数。前者是计算图像帧的百分比,这有一个边界框重叠大于给定的阈值。后者是图像帧的百分比,它有一个中心位置误差小于给定的阈值。在每种情况下,当使用多个阈值,曲线显示成功率还是精确分数受到不同阈值的影响。这些曲线,即分别成功情节和珍贵的阴谋。在实际的评估中,我们的平均曲线跟踪所有序列,同样的挑战和显示曲线每一项挑战,而不是一个测试序列。此外,我们使用曲线下面积(AUC)成功的阴谋定量测量的总体性能跟踪一个挑战项目。

5.1。定量比较

总体精度情节和情节成功如图2,我们可以看到,该方法优于其他方法的总体精度成功情节和情节。

5.2。定性的比较

进一步显示该方法的优越性,我们将展示几个例子数据的跟踪结果3和4。从图我们可以看出3,该跟踪器优于其他追踪几个具有代表性的两个序列帧。更多的跟踪结果如图4,我们可以看到,该跟踪器也达到最好的跟踪性能。

6。结论

在本文中,我们建议使用压缩特性以跟踪目标的外观模型,然后使用支持向量机来执行跟踪。实验结果表明该方法优于几种先进的方法。该方法的优点是双重的:它善于处理规模的变化随着时间的推移,因为使用的目标特性获得的多尺度小波变换。该方法可以实现实时的速度,因为使用特征的维数降低了压缩传感技术。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

项目支持的研究是山东省高等教育科技计划(没有。J14LN64)。

引用

t . b . Dinh:签证官,g . Medioni”上下文跟踪:探索支持者和错误在不受约束的环境中,”《IEEE计算机视觉与模式识别会议(CVPR 11)2011年6月,页1177 - 1184。视图:出版商的网站|谷歌学术搜索
j . f .戴安娜r . Caseiro·马丁斯和j·巴蒂斯塔,“与内核利用tracking-by-detection的循环结构,”欧洲计算机视觉的诉讼,第715 - 702页,2012年。视图:谷歌学术搜索
Kwon和k·m·李,“由抽样跟踪器跟踪”学报2011年IEEE计算机视觉国际会议(ICCV 11)2011年11月,页1195 - 1202。视图:出版商的网站|谷歌学术搜索
j .汉族和p h . n . De”实时多人跟踪自动群体行为评估交货模拟训练,”多媒体工具和应用程序,51卷,不。3、913 - 933年,2011页。视图:出版商的网站|谷歌学术搜索
z汉,问:你们和j .焦”结合功能适应视觉物体跟踪、评价”计算机视觉和图像理解,卷115,不。1,第80 - 69页,2011。视图:出版商的网站|谷歌学术搜索
z汉,j .焦张,问:你们和j·刘,“视觉物体跟踪通过纸浆包自适应稀疏表示(AdaSR)”模式识别,44卷,不。9日,第2183 - 2170页,2011年。视图:出版商的网站|谷歌学术搜索
j .汉·e·j . Pauwels p . m . De齐乌和p h . n . De,“用人RGB-D传感器实时跟踪人类跨多个重新在智能环境中,“IEEE消费类电子产品,卷。58岁的没有。2、255 - 263年,2012页。视图:出版商的网站|谷歌学术搜索
美国高,z汉,c·李,问:你们和j .娇,“实时Multipedestrian跟踪在交通场景通过RGB-D-Based分层图模型,”IEEE智能交通系统,16卷,不。5,2814 - 2825年,2015页。视图:出版商的网站|谷歌学术搜索
l . Zhang w·吴t . Chen n . Strobel和d . Comaniciu“健壮的对象跟踪使用semi-supervised外观字典学习,”模式识别的字母卷。62年,17-23,2015页。视图:出版商的网站|谷歌学术搜索
张,周h, h .姚明,y, k . Wang和j·张,“自适应NormalHedge健壮的视觉跟踪,”信号处理卷,110年,第142 - 132页,2015年。视图:出版商的网站|谷歌学术搜索
s, s . Kasiviswanathan p c .袁和m . Harandi”在线词典学习对称正定与视觉应用程序集合管,”人工智能学报AAAI会议2015年1月,页3165 - 3173。视图:谷歌学术搜索
z, x, x, d . t、y y,“连接组件模型的多目标跟踪,”IEEE图像处理,25卷,不。8,3698 - 3711年,2016页。视图:出版商的网站|谷歌学术搜索|MathSciNet
x李问:刘,z, c, h . Wang和W.-S。陈,“视觉跟踪的多视点模型通过相关性过滤器,”以知识为基础的系统卷,113年,第99 - 88页,2016年。视图:出版商的网站|谷歌学术搜索
y气,张,l .秦et al .,“对冲深度跟踪”学报2016年IEEE计算机视觉与模式识别会议,CVPR 20162016年7月,页4303 - 4311。视图:谷歌学术搜索
他z,彝族,Y.-M。张,x, y y . Tang“健壮的对象跟踪通过关键补丁稀疏表示,“IEEE控制论卷,47号2、354 - 364年,2017页。视图:谷歌学术搜索
r·史j . Zhang z谢,j .高x郑,“鲁棒跟踪per-exemplar支持向量机,”专业计算机视觉,9卷,不。5,699 - 710年,2015页。视图:出版商的网站|谷歌学术搜索
p .左前卫,张s, s . Chikkerur s a, s . l .翼和t . Serre“计算机视觉裂缝叶代码,”美国国家科学与美利坚合众国,卷113,不。12日,第3310 - 3305页,2016年。视图:出版商的网站|谷歌学术搜索
林z l . Liu, l .邵f .沈g .丁和j·汉,“可伸缩的交叉模式相似性检索序列离散哈希,”IEEE图像处理,26卷,不。1,第118 - 107页,2017。视图:出版商的网站|谷歌学术搜索|MathSciNet
郭y, g .丁l . Liu j .汉和l .邵”学习与优化锚嵌入可扩展检索,哈希”IEEE图像处理,26卷,不。3、1344 - 1354年,2017页。视图:出版商的网站|谷歌学术搜索|MathSciNet
张,h .姚明,x太阳et al .,“行动”识别overcomplete独立成分分析的基础上,信息科学卷,281年,第647 - 635页,2014年。视图:出版商的网站|谷歌学术搜索
f .江,s, s . Wu y高,和d .赵”与Kinect多层次的手势识别,”机器学习研究期刊》的研究(JMLR)》16卷,第254 - 227页,2015年。视图:谷歌学术搜索|MathSciNet
g·k . Chen叮,j .汉”属性的监管行动学习模式识别,”计算机科学的前沿,11卷,不。2、219 - 229年,2017页。视图:出版商的网站|谷歌学术搜索
s .张x局域网,h .姚明,h .周d·道和李x”的生物启发外观模型健壮的视觉跟踪,”IEEE神经网络和学习系统,28卷,不。10日,2357 - 2370年,2017页。视图:出版商的网站|谷歌学术搜索|MathSciNet
张,x局域网、y气和p . c .袁“健壮的视觉跟踪通过匹配的基础,”IEEE电路和系统视频技术,27卷,不。3、421 - 430年,2017页。视图:出版商的网站|谷歌学术搜索
张x局域网,s, p . c .袁”强大的联合区别的特性为视觉跟踪学习,”美国25日人工智能国际联合大会2016年7月,页3403 - 3410。视图:谷歌学术搜索
张,h .周、江f和李x”强大的视觉跟踪使用结构随机投影和加权最小二乘,”IEEE电路和系统视频技术,25卷,不。11日,第1760 - 1749页,2015年。视图:出版商的网站|谷歌学术搜索
张,h .姚明,太阳x, x,“基于稀疏编码的视觉跟踪:审查和实验比较,”模式识别,46卷,不。7,1772 - 1788年,2013页。视图:出版商的网站|谷歌学术搜索
h, s·h·张姚明,h .周x的太阳,和s h·刘,“强劲的视觉跟踪基于在线学习稀疏表示,“Neurocomputing卷。100年,31-40,2013页。视图:出版商的网站|谷歌学术搜索
张,h .姚明,x太阳,s .刘”强大的视觉跟踪使用一个有效的基于稀疏编码的外观模型,”ACM智能交易系统和技术,3卷,不。3,43:1-43:18,2012页。视图:谷歌学术搜索
m .雅库特和n . Kehtarnavaz”冰球冰球探测和跟踪视频强调,“信号,图像和视频处理,10卷,不。3、527 - 533年,2016页。视图:出版商的网站|谷歌学术搜索
i s Topkaya、h·埃尔多安和f . Porikli”Tracklet集群强劲的多个对象跟踪使用距离依赖中国餐馆过程,”信号,图像和视频处理,10卷,不。5,795 - 802年,2016页。视图:出版商的网站|谷歌学术搜索
y王赵问:,“健壮的对象跟踪通过在线主Component-Canonical相关性分析(P3CA)”信号,图像和视频处理,9卷,不。1,第174 - 159页,2015。视图:出版商的网站|谷歌学术搜索
d .山和c .张”视觉跟踪使用IPCA和稀疏表示,“信号,图像和视频处理,9卷,不。4、913 - 921年,2015页。视图:出版商的网站|谷歌学术搜索
y气,张,l .雷君et al .,“对冲深度视觉跟踪特性,”诉讼的IEEE模式分析与机器智能(IEEE T-PAMI), 2018年。视图:出版商的网站|谷歌学术搜索
j .比灵a s Sabzevary, k . Akizuki”对多小波随机过程,”IFAC诉讼卷,35卷,不。1,第215 - 211页,2002。视图:谷歌学术搜索
z Kalal、j·马特斯和k . Mikolajczyk”pn学习:引导二元分类器的结构限制,”2010年IEEE计算机学会学报计算机视觉与模式识别会议2010年6月,页49-56,。视图:出版商的网站|谷歌学术搜索
兔子,a . Saffari和p h·s·托”了:结构化输出跟踪与内核,“《IEEE计算机视觉国际会议(ICCV 11)IEEE,页263 - 270年,巴塞罗那,西班牙,2011年11月。视图:出版商的网站|谷歌学术搜索
h·c·鲍y Wu凌,h .霁”实时健壮的L1追踪使用近端加速梯度方法,”IIEEE会议程序在计算机视觉和模式识别2012年6月,页1830 - 1837。视图:谷歌学术搜索
t, b . Ghanem s·刘,n . Ahuja“通过稀疏多任务学习,强大的视觉跟踪”学报IEEE计算机视觉与模式识别会议,2012年。视图:谷歌学术搜索

多媒体的发展