强大的视觉跟踪与字典学习的歧视

文摘

这是一个具有挑战性的问题处理的外观视觉跟踪的变化。现有的对目标跟踪算法构建外观模型模板。这些模型并不健壮的重要外观变化由于光照变化等因素,部分遮挡,和规模变化。在本文中,我们提出一个健壮的跟踪算法的学习字典来表示目标候选人。学习字典,一个目标候选人与字典原子的线性组合表示。学习样本的区别的信息利用。与此同时,字典可以学习的学习处理外观变化。基于学习字典,我们可以得到一个更稳定的目标候选人的代表。此外,观察可能是评估基于重构误差和字典系数约束。综合实验证明提出的跟踪算法的优越性一些先进的跟踪算法。

1。介绍

视觉跟踪是计算机视觉的基本任务,是应用于广泛的应用,如智能交通、视频监控、人机交互、视频编辑。视觉跟踪的目标是估计目标状态的跟踪目标在每一帧。尽管许多跟踪算法提出了最近几十年(1),设计一个健壮的跟踪算法仍然是一个极富挑战性的问题由于快速运动等因素,停止,非刚性的变形,和背景杂波。

根据类型的目标的观察,视觉跟踪算法可以分为生成(2- - - - - -6)或歧视7- - - - - -14]。生成跟踪算法寻找最相似的图像补丁跟踪目标模型作为当前帧的跟踪结果。生成算法,主要的问题是建立一个有效的模型外观健壮的复杂的外观变化。

有识别力的跟踪算法认为视觉跟踪是一个二元分类问题。跟踪目标区别于周围背景学习分类器。分类器计算目标候选人的信心值,区分前景目标或背景。在这项工作中,我们将提出一个生成算法。接下来,我们简要回顾一些相关跟踪算法和最近的一些工作跟踪算法。

Kwon et al。3)观测模型和运动模型分解为多个基本观测模型和多个基本的运动模型,分别。每个基本观测模型涵盖了目标外观变化。每个基本运动模型涵盖了一个特殊的运动模型。基本的观测模型和基本运动模型组合成一个基本的跟踪。跟踪算法健壮的激烈的外观变化。他等。4)提出基于位置敏感的直方图出现模型在每个像素位置。拟议的观测模型是健壮的剧烈光照变化。在[2),一个目标候选人是由一组强度直方图的多个图像补丁,投票值对应的位置。目标候选人是由固定目标模板,这并不健壮的激烈的外观变化。王等人。6]代表目标候选人基于目标模板与仿射约束。观察可能是基于距离度量学习计算。

稀疏约束的表示技术是应用于视觉跟踪(15- - - - - -19]。目标与稀疏表示是健壮的异常值和遮挡。在[15),梅等人使用一组目标模板来表示目标候选人,代表部分遮挡和琐碎的模板。该算法在15]强劲部分阻塞。发生严重遮挡时,算法不是有效的。钟等。18用稀疏约束)提出一个协作模型。为了提高跟踪性能,跟踪算法结合生成模型和歧视的模型。Zhang et al。16)利用的空间布局结构目标候选人,代表目标外观基于本地信息和空间结构。在[19),一个目标候选人是由潜在的低秩和稀疏约束,使用时间的一致性。

最近,相关滤波器(21- - - - - -24)和深度网络(25- - - - - -28)技术应用到视觉跟踪。在[23),学习相关滤波器的跟踪算法需要不同的特性。拟议的外观模型是健壮的大规模变化和维护多个模式在粒子滤波跟踪框架。刘等人。22)利用部分原因学习相关滤波器的结构信息。学会了过滤器可以准确区分前景部分从背景。在[28),马等人从深卷积神经网络利用对象特征。卷积的输出层包括语义信息和层次结构,这是健壮的外观变化。黄等。27提出深刻的特性基于级联的跟踪算法,考虑了视觉跟踪作为一个决策过程。

出于上述工作,我们提出一个基于学习词典外观模型。一个目标候选人由学习字典原子的线性组合。字典学习的过程可以学到外观变化。字典原子覆盖最近外观变化和一个稳定的目标表示。观察可能是评价的基础上,重建误差与字典稀疏约束系数。在一些具有挑战性的视频序列显示广泛的实验结果的鲁棒性和有效性提出外观模型和跟踪算法。

本文的其余部分组织如下。部分2提出了新颖的跟踪算法,其中包括外观模型字典学习,观察评估可能性,字典更新。部分3比较该跟踪算法的跟踪性能和一些先进的算法。部分4总结这项工作。

2。提出的跟踪算法

在本节中,我们详细地提出的跟踪算法包括一个外观模型基于学习字典,歧视字典学习为目标表示,小说似然函数。在这项工作中,我们提出了跟踪算法在粒子滤波跟踪框架(29日]。粒子滤波框架广泛应用于视觉跟踪由于其有效性和简化。

在我们的跟踪算法,给出第一帧的目标状态 。 表示相应的目标的观察 。在第一帧,一组粒子(即。,target candidates) are extracted and denoted as 。这些粒子被裁剪出一个图像采集区域周围的位置 。这些粒子大小一样和他们一样重要的权重 , 。粒子在坐标系被表示为 。粒子的状态和相应的观察被表示为和与重要的权重 ,分别。

粒子 在坐标系传播从坐标系 根据状态转换模型 。 被认为是一个高斯分布: 的协方差是一个对角矩阵,对角项的方差表示2 d位置和目标候选人的规模。

目标状态和相应的观察中th帧被指示为和 ,分别。在粒子滤波框架,在框架大约是估计作为 在哪里粒子的重量吗 。跟踪的粒子权重动态更新根据粒子的可能性作为 在哪里似然函数的粒子吗 ,介绍了(15)。

2.1。目标的表示

在现有的算法中,目标候选人是由一组目标模板的线性组合。这些模板生成通常在前一帧跟踪结果。有一些噪音和不确定的信息在这些模板由于复杂的外观变化。这些跟踪算法并不健壮的剧烈变化。因此,在我们的跟踪算法,目标候选人大约是由学习字典的原子。

基于学习词典 一个目标候选人近似表示为 在哪里 是一个学习词典。是学习的一个原子的字典吗 。 是原子的数量。 的系数是字典吗 。字典系数评估通过求解 在哪里的系数向量的目标人选与学习相关的字典 。

2.2。字典学习

在现有的跟踪算法,目标候选人由目标模板,一些从先前的帧跟踪结果。改善跟踪性能时,我们使用了字典大约代表目标候选人。

表示由 训练样本集。表示由训练样本的编码向量矩阵在 ,也就是说, 。学习词典应该区别的能力和能够适应学习外观变化,比如部分遮挡,非刚性的变形、光照变化,等等。基于学习字典,一个稳定的目标表示模型。出于一个字典学习方法(30.),我们使用一个歧视字典学习模型 在哪里 是歧视保真项;系数矩阵的稀疏约束吗 ; 在编码系数矩阵是一个歧视约束吗 ; 和是平衡这个约束条件参数。在[30.),字典包括一组子字典类。不同的字典学习(30.),在我们的跟踪算法,是看到下面成了一个词典,它只是从一组积极的训练样本。

在字典里学习过程,基于训练样本之间的重建误差和字典 ,术语的定义是歧视的忠实性

改善学习词典的区别的表现,我们添加费舍尔区别的标准以减少在类散射系数矩阵 。表示由与类散射,它被定义为 在哪里是一个向量的系数矩阵 , 是均值向量的系数向量 。在学习过程中,我们使用的痕迹为约束项在(6)。预防某些系数太大的约束项,一个正规化的术语被添加到 在哪里是一个平衡参数。

基于(7),(8)和(9),字典学习模型可以写成 在哪里 , ,和是积极的标量参数。

在(10),我们更新字典和相应的系数 ,迭代。更新处理,更新时,另一个是固定的。当字典是固定的,优化函数简化为以下: 和 在哪里是一个向量的系数矩阵和是均值向量的系数向量 。

当是固定的,字典吗在(10)更新

在学习过程中,训练样本是极好地重要,应该反映最近变化的跟踪目标,保持多样性适应目标外观变化。在第一帧,一组训练样本收集。首先,初始化目标被选中作为训练样本。同时,其他选择训练样本扰动周围几个像素的中心位置跟踪目标。

为了保持学习词典外观变化的多样性,我们将训练样本的大小设置为25。在随后的框架,我们应该更新训练样本和重新学习字典来适应目标外观变化。在当前帧,当跟踪目标状态计算和定位,我们作物相应的图像并提取特征向量作为一种新的训练样本。然后,新的训练样本添加到当前的训练样本集和最古老的训练样本是交换。

2.3。可能性评估

相似性度量的目标候选人和相应的候选人在视觉跟踪是一个重要的问题。在这部作品中,相似度来衡量 在哪里学习词典和吗是学习词典的系数向量计算(6)。

基于目标候选人之间的距离和相应的模板字典,目标观测似然计算 在哪里 之间的距离是一个目标候选人吗和相应的字典 , 是高斯分布的标准差,是一个积极的参数。

2.4。视觉跟踪基于字典的表示

通过整合提出的目标表示和在线词典学习和更新和观察评估,提出视觉跟踪算法中描述的算法1。粒子滤波框架是用于所有视频序列。视频序列,跟踪目标是手动选择的第一帧的边界框。一组粒子(即。,target candidates) are selected with same weights in the particle framework. The training samples are collected and a dictionary is learnt in the first frame. In the subsequent tracking processing, when the current target states are evaluated, the current tracking result is added to the training samples. The dictionary is relearnt according to the updated training samples.

3所示。实验

我们在一些具有挑战性的视频序列进行综合实验和比较提出的跟踪算法对一些先进的跟踪算法。这些跟踪算法包括了(12],SCM [18],VTD [3],[干掉2],L1 [15],LSHT [4[],轻轨19],TGPR [20.]。为了公平,我们使用提供的源代码或二进制代码作者和初始化所有缺省参数的评估算法实验。从最近的一个基准8具挑战性的视频序列1)是用来评估跟踪性能。表2在这些测试序列中展示了主要的挑战的属性。

提出的跟踪算法在MATLAB中实现。所有的实验结果都进行电脑与英特尔(R)的核心(TM) i5 - 2400 3.10 ghz和4 GB内存。粒子的数量设置为300。直方图描述目标特征的稀疏编码(HSC) [31日]。的价值在(15)设置为20。提出的跟踪算法,学习字典的原子数量设置为25。

提出了跟踪提出的跟踪算法的平均处理时间是1.55帧每秒(FPS)。我们显示,平均每个序列表跟踪速度1。相比之下,一些先进的跟踪算法1),该跟踪算法优于SCM。然而,它是缓慢的跟踪算法,如,VTD, LSHT。这是由于在线词典学习花费一些时间在优化目标表示。我们可以学习字典每五帧。但是这可能影响周围的字典适应复杂的跟踪。在我们的跟踪算法中,词典是学习在每一帧。

3.1。定量评价

在实验中我们用四个评估措施包括平均中心位置错误,成功率,重叠率和精确度。采用这些措施最近跟踪基准(1]。

我们展示这些跟踪算法的精度图在图19跟踪算法。平均中心位置错误(CLE)如表所示3。从图1和表3,我们可以看到,该跟踪算法获得最好的两个结果六8序列。该跟踪算法实现最小的所有8序列。TGPR实现鲁棒跟踪结果 , ,和视频序列。轻轨交通获得最好的跟踪结果 , ,和视频序列。了跟踪和视频序列和达到最好的跟踪结果。

表4礼物的成功率9 8序列跟踪算法。图2还显示成功率地块进行评估跟踪算法。从表4和图2,可以看出该跟踪跟踪在大多数的视频序列。该跟踪算法获得最好的跟踪结果大多数的视频序列。此外,TGPR实现准确的跟踪结果和视频序列。轻轨交通达到最好的跟踪结果 , ,和视频序列。LSHT获得最好的跟踪结果 , ,和视频序列。

表5礼物的平均重叠率9跟踪算法。可以看出,该跟踪算法达到最佳或第二个最佳跟踪结果在大多数视频序列。,LSHT,轻轨交通,TGPR也在一些视频序列实现健壮的跟踪结果。

3.2。定性评价

接下来,我们将分析这些跟踪算法的跟踪性能8视频序列。

在序列如图3(一个),目标跟踪是一个优惠券”,凌乱的背景。当目标被自己阻挡,VTD L1漂移远离目标。碎片弹,TGPR、VTD和L1失去目标和跟踪整个序列的其他相似的对象,直到最后。TGPR LSHT, SCM,轻轨交通,和提出的跟踪算法可以准确地跟踪目标在整个视频序列。

图3 (b)提出了一些跟踪结果的9跟踪算法序列。LSHT, TGPR实现准确的跟踪结果。该跟踪算法可以学习的外观变化字典学习处理。它能够准确地跟踪目标在整个视频序列。,LSHT,轻轨交通,TGPR也跟踪目标到最后的视频序列。

在序列如图3 (c),一场足球比赛。跟踪的目标是一个球员,这是类似于其他颜色和形状。目标发生部分阻塞,背景杂波,平面,平面外旋转。由于背景杂波的影响,VTD和L1失去目标。目标,周围的一些类似的对象出现时,SCM,碎片弹,LSHT跟踪其他类似的错误,失去目标。与这些算法相比,轻轨交通、TGPR和提出的跟踪算法可以成功地跟踪目标。

如图3 (d),跟踪目标受到出平面,平面旋转。还有一些其他类似的对象跟踪目标。碎片弹失去目标目标周围的其他错误出现时,这非常类似于跟踪目标。L1和碎片弹实现准确跟踪结果当目标旋转平面与平面外。,TGPR和提出的跟踪算法跟踪目标在整个序列。的三个算法,该算法达到最准确的跟踪结果平均中心位置错误,成功,和重叠率。

图3 (e)显示了一些跟踪结果序列。跟踪目标在一个室内空间是一个移动的脸。受到激烈的照明变化、VTD碎片弹,TGPR失去目标之后40帧在年底前序列。,SCM, LSHT轻轨交通,提出跟踪算法可以成功地跟踪整个序列。提出的跟踪算法获得最健壮的跟踪结果。

的视频序列如图3 (f)捕获一个室内舞台上与激烈的照明的变化。目标也受到非刚性形变的影响,背景杂波,平面和出平面旋转。,SCM, L1和轻轨车仅跟踪目标之前第一个47架由于外观变化。VTD获取不准确的规模评估当目标经历了非刚性的变形。该跟踪算法可以成功地跟踪目标在整个序列。学习词典覆盖目标的变化,所以字典中的原子的线性组合可以代表这些变分外观。

在视频序列如图3 (g),目标是一个玩具,它经历了照明变化和平面,平面外旋转。L1失去目标,由于光照变化和旋转的影响下降。第495帧后再定位目标跟踪时目标旋转起来。当目标受到光照变化的影响,轻轨交通疏远跟踪目标到最后的视频序列。破片使用固定目标模板,因此不能适应外观变化。它实现了不准确的跟踪结果。与这些算法相比,提出的跟踪算法获得更多的跟踪结果。这是归因于这样一个事实,提出目标表示可以学习出现变化。

如图3 (h),跟踪目标是一个步行的人在一个户外的场景。由于部分遮挡的影响,非刚性的变形、L1和规模变化,失去了目标,直到这个序列的结束。VTD、TGPR LSHT不能准确评估尺度变化。SCM,袭击,轻轨交通,提出跟踪算法获得更准确的跟踪结果。

从上面的分析,我们可以看到,该外观模型是有效的和有效的。提出的跟踪算法健壮的显著的外观变化,例如,激烈的照明变化、部分遮挡,和出平面旋转。

4所示。结论

我们提出了一个有效的跟踪算法基于学习词典的歧视。不同于存在跟踪算法,目标候选人与字典原子的线性组合表示。字典是倾斜和更新的跟踪处理,可以学习目标外观变化和利用歧视学习样本中的信息。学习从以前的跟踪结果收集的样本。提出的跟踪算法健壮的剧烈光照变化,非刚性形变和转动。进行了一些具有挑战性的视频序列实验演示与先进的跟踪算法的鲁棒性。

数据可用性

视频序列数据用于支持这项研究的结果已经存入http://cvlab.hanyang.ac.kr/tracker_benchmark/datasets.html或http://www.visual-tracking.net。视频的衡量指标和具有挑战性的属性用于支持本研究的发现文章内包含:y, j . Lim和m·杨,在线跟踪对象:一个基准,IEEE计算机视觉与模式识别会议,2013年,页2411 - 2418。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作得到了江西中国教育部科学技术研究项目(号:GJJ151135和GJJ170992),中国国家自然科学基金(没有:61661033),中国的江西省自然科学基金(号:20161 bab202040和20161 bab202041),和江西省重点实验室开放研究基金的水信息合作传感和智能处理(没有:2016 wicsip020)。

引用

1. j . y . Wu Lim, M.-H。杨”,对象跟踪基准,“IEEE模式分析与机器智能,37卷,不。9日,第1848 - 1834页,2015年。视图:出版商的网站|谷歌学术搜索
2. 答:亚当,大肠Rivlin,即尼吉夫“健壮fragments-based跟踪使用积分直方图,”《IEEE计算机学会学报计算机视觉与模式识别会议(CVPR 06年)2006年6月,页798 - 805。视图:出版商的网站|谷歌学术搜索
3. Kwon和k·m·李,“视觉跟踪分解,”《IEEE计算机学会学报计算机视觉与模式识别会议(CVPR 10)2010年6月,页1269 - 1276。视图:出版商的网站|谷歌学术搜索
4. s .他问:杨,r·w·h·刘,j . Wang和M.-H。阳,“通过位置敏感的直方图,视觉跟踪”学报》第26届IEEE计算机视觉与模式识别会议(CVPR 13)2013年6月,页2427 - 2434。视图:出版商的网站|谷歌学术搜索
5. h . z . j . Wang Wang和y燕,“强劲的视觉跟踪的度量学习与加权直方图表示,“Neurocomputing卷,153年,第88 - 77页,2015年。视图:出版商的网站|谷歌学术搜索
6. 和h . y . j . Wang Wang Wang”自适应外观建模Point-to-Set度量学习视觉跟踪,”IEEE电路和系统视频技术,27卷,不。9日,第2000 - 1987页,2017年。视图:谷歌学术搜索
7. h . Grabner m . Grabner h .女孩,“通过在线增加实时跟踪,”英国机器视觉研讨会论文集(BMVC 06年)2006年9月,页47-56,。视图:谷歌学术搜索
8. b . Babenko m·杨,s . Belongie“健壮的对象与在线跟踪多个实例学习”,IEEE模式分析与机器智能,33卷,不。8,1619 - 1632年,2010页。视图:出版商的网站|谷歌学术搜索
9. k·h·张,张l, m·h·杨,“快压跟踪”,IEEE模式分析与机器智能,36卷,不。10日,2002 - 2015年,2014页。视图:出版商的网站|谷歌学术搜索
10. z Kalal、k . Mikolajczyk和j . Matas”Tracking-learning-detection”,IEEE模式分析与机器智能,34卷,不。7,1409 - 1422年,2012页。视图:出版商的网站|谷歌学术搜索
11. j·张,美国马和s . Sclaroff”MEEM:鲁棒跟踪通过多个专家使用熵最小化”计算机视觉——2014年大会卷,8694在计算机科学的课堂讲稿,页188 - 203,施普林格国际出版,可汗,2014年。视图:出版商的网站|谷歌学术搜索
12. 兔子,a . Saffari和p h·s·托”了:结构化输出跟踪与内核,“《IEEE计算机视觉国际会议(ICCV 11)IEEE,页263 - 270年,巴塞罗那,西班牙,2011年11月。视图:出版商的网站|谷歌学术搜索
13. l . Ma x张w·胡,j .兴j . Lu和j .周“局部子空间协作跟踪”学报2015年IEEE计算机视觉国际会议(ICCV),页4301 - 4309,圣地亚哥,智利,2015年12月。视图:出版商的网站|谷歌学术搜索
14. y隋、唐y和l .张“歧视低秩跟踪”第十五届IEEE国际研讨会论文集在计算机视觉,ICCV 2015智利,页3002 - 3010年,2015年12月。视图:谷歌学术搜索
15. x梅和h凌,“强劲的视觉跟踪和车辆通过稀疏表示分类,“IEEE模式分析与机器智能,33卷,不。11日,第2272 - 2259页,2011年。视图:出版商的网站|谷歌学术搜索
16. c t, s . Liu,美国,和b•加尼姆”结构稀疏的跟踪、IEEE计算机视觉与模式识别、会议”程序结构的稀疏的跟踪、IEEE计算机视觉与模式识别会议,第158 - 150页,2015年。视图:谷歌学术搜索
17. d·h·l . Zhang Lu Du, l .刘“稀疏哈希跟踪”IEEE图像处理,25卷,不。2、840 - 849年,2016页。视图:出版商的网站|谷歌学术搜索|MathSciNet
18. w·钟h . Lu, M.-H。杨”,通过稀疏协作外观健壮的对象跟踪模式”,IEEE图像处理,23卷,不。5,2356 - 2368年,2014页。视图:出版商的网站|谷歌学术搜索|MathSciNet
19. t, s . Liu n . Ahuja M.-H。杨,加尼姆,“强劲的视觉跟踪通过一致的低秩稀疏学习”,国际计算机视觉杂志》上,2014年,页1 - 20。视图:出版商的网站|谷歌学术搜索
20. j .高h .凌、w·胡和j .兴”转移学习基础视觉跟踪与高斯过程回归,”电脑Vision-ECCV 2014d .舰队,t . Pajdla b . Schiele和t . Tuytelaars, Eds。卷,8691在计算机科学的课堂讲稿,第203 - 188页,2014年。视图:出版商的网站|谷歌学术搜索
21. m . Danelljan g·海格,f·s·汗和m . Felsberg”学习空间正规化相关性过滤器视觉跟踪”学报》第15届IEEE计算机视觉国际会议(ICCV 15),页4310 - 4318,圣地亚哥,智利,2015年12月。视图:出版商的网站|谷歌学术搜索
22. c t, s . Liu, b . Liu和M.-H。阳,“相关视觉跟踪的粒子滤波,”IEEE图像处理,27卷,不。6,2676 - 2687年,2018页。视图:出版商的网站|谷歌学术搜索|MathSciNet
23. c . t . Zhang徐,M.-H。杨,“多任务健壮的对象关联粒子滤波跟踪”《30 IEEE计算机视觉与模式识别会议,CVPR 2017,页4819 - 4827,美国,2017年7月。视图:谷歌学术搜索
24. m·米勒:史密斯,b·加尼姆,“环境敏感相关滤波器跟踪”《30 IEEE计算机视觉与模式识别会议,CVPR 2017,页1387 - 1395,美国,2017年7月。视图:谷歌学术搜索
25. z腾,j .兴王,c . Lang s .冯和y金,“健壮的对象跟踪基于时间和空间深度网络”学报16 IEEE计算机视觉国际会议上,ICCV 2017,页1153 - 1162,意大利,2017年10月。视图:谷歌学术搜索
26. h .南和b汉”,学习多域卷积神经网络视觉跟踪”学报2016年IEEE计算机视觉与模式识别会议(CVPR 16)2016年7月,页4293 - 4302。视图:谷歌学术搜索
27. 黄c、s Lucey和d . Ramanan”学习策略自适应跟踪与深度特性,”学报16 IEEE计算机视觉国际会议上,ICCV 2017,页105 - 114,意大利,2017年10月。视图:谷歌学术搜索
28. c . Ma J.-B。黄、杨x和M.-H。阳,“分层卷积为视觉跟踪特性,”第十五届IEEE国际研讨会论文集在计算机视觉,ICCV 2015智利,页3074 - 3082年,2015年12月。视图:谷歌学术搜索
29. m . Isard a·布莱克,“Condensation-conditional密度传播视觉跟踪。”国际计算机视觉杂志》上卷,29号1,5-28,1998页。视图:出版商的网站|谷歌学术搜索
30. m·杨l .张x c·冯·d·张,“费舍尔歧视为稀疏表示字典学习,”《IEEE计算机视觉国际会议(ICCV 11)西班牙巴塞罗那,页543 - 550,,2011年11月。视图:出版商的网站|谷歌学术搜索
31. 任x和d . Ramanan“稀疏编码对象的直方图检测”学报》第26届IEEE计算机视觉与模式识别会议,CVPR 2013美国,页3246 - 3253年,2013年6月。视图:谷歌学术搜索

版权

版权©2018元王等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。