文摘
处理光照变化或构成变化和严重的问题部分阻塞,补丁基于多个实例学习(P-MIL)算法。该算法将一个对象分为很多块。然后,在线MIL算法应用于每一块获取强分类器。该算法考虑的平均分数分类和分类的分数为检测对象的所有块。特别是,与基于整个物体的MIL算法相比,P-MIL算法检测对象,从而根据补丁部分阻塞发生时。检测对象后,更新弱分类器的学习速率的参数自适应调整。分类器更新策略避免overupdating和underupdating参数。最后,该方法与其它先进的算法相比在几个经典视频。实验结果说明,该方法特别是在光照变化的情况下表现良好或构成变化和部分遮挡。此外,该算法实现实时跟踪。
1。介绍
对象跟踪是计算机视觉的一个重要主题,和它吸引了越来越多的关注1]。最近,研究者们研究了这一问题,并提出了许多优秀的算法。然而,对象跟踪仍然是一个挑战性的任务,因为有噪音,姿势变化,光照变化,闭塞,等等2]。
一个高效的外观模型中发挥着重要作用对象跟踪系统。研究分类外观模型分为两类:生成外观模型和歧视的外观模型(3]。生成算法(外观4- - - - - -7]以跟踪问题为寻找地区最大得分。代表一个对象在一个特定的特征空间的方法,如边缘,颜色和猪。通过使用外观模型,算法寻找有趣的地区连续帧的最小误差。这是证明了算法实现了最喜欢的跟踪结果。然而,生成算法只考虑对象的特点但忽略的背景信息有助于识别对象从背景1]。
区别的方法(8- - - - - -12)制定跟踪问题作为歧视的分类器学习随着时间的推移,单独的对象从背景更新。分类器更新参数考虑到信息的对象和背景来处理出现的问题跟踪变化。Grabner et al。13)提出了一个在线增加特征选择算法对象跟踪。然而,只有一个积极的样本(跟踪结果)是用于分类器更新。一旦跟踪结果飘离地面真理,积极的样本是不准确出现(14]。因此,背景干扰将引入分类器,从而导致跟踪失败。为了处理这个问题,Grabner et al。15)提出了一个semisupervised对象跟踪算法在第一帧标记阳性样本。然后,Babenko等人提出的多个实例(MIL)学习算法(8将样品放入袋)。MIL算法代表样本标签的袋子里。袋子贴上积极或消极根据所包含的实例。一袋是正如果至少一个实例是正的,一个包裹是负的,当所有的实例是消极的(8]。MIL算法学习正面和负面的信息从实例袋来获得一个歧视的分类器。然后,从背景分类器识别对象。MIL算法克服了对象的模糊性问题跟踪。
在线MIL算法往往无法跟踪对象时的姿势或光照变化或严重阻塞。此外,它常常患有计算成本。研究人员提出了一些改善MIL算法来解决这些问题。张和歌提出了加权多实例学习(WMIL)算法节省计算时间16]。算法选择最强大的弱分类器的分类器池通过最大化弱分类器之间的内积和最大似然概率,概率,避免了计算包和实例时间选择一个强大的分类器。徐et al。14)选择强大的弱分类器通过使用费舍尔则节省计算时间。周et al。17)克服了跟踪漂移的问题,通过计算包概率基于实例的重要性。王、张(18)提出了一种自适应更新策略调整学习速率处理遮挡的问题,姿势和照明的变化。
因此,基于一个补丁的多个实例(P-MIL)学习算法来进一步提高跟踪性能和克服上述问题。该算法将一个对象分为很多块。然后,多个实例学习算法(MIL)是应用于每一块。对于每个块,积极的和消极的袋是由周围的情况下出现在前一帧对象的位置。裁剪的实例,通过训练弱分类器。然后,强分类器生成的块。整个物体的平均分类得分计算检测对象。此外,根据平均分类评分和分类的所有块,跟踪情况(闭塞,构成变化和光照变化)检测,并相应地调整学习速率。此外,内积方法(16)用于WMIL算法利用选择强大的弱分类器,节省计算时间。最后,我们比较了P-MIL算法与其他MIL相关算法在几个经典视频。
本文组织如下。节2,我们提出基于块的MIL算法。实验结果说明部分3。我们在部分做一个总结4。
2。基于补丁MIL算法
我们提出了一个基于补丁MIL算法(P-MIL)来处理上述问题。相比整个代表一个对象的方法,基于补丁的方法是健壮的部分闭塞(19]。P-MIL方法将物体划分为许多块。然后,在线MIL算法应用于每一块。训练实例的正面和负面的袋,所有数据块的强分类器。在跟踪过程中,获得的强分类器使用,平均分类得分计算,以确定对象的位置。此外,P-MIL算法检测跟踪情况包括阻塞,造成变化,根据分类的平均得分和光照变化和分类的所有块。解决上面提到的问题,学习速率自适应调整更新弱分类器的参数。拟议中的P-MIL算法的流程图如图1。
2.1。基于补丁MIL算法
实现实时跟踪,对象分为9块。为块块和背景的实例是剪裁组成积极和消极袋,分别。袋子是标记为“1”,因为它是正的,而负包分配”0。“积极的包是通过周围种植实例:,。块的位置吗;是圆的半径。消极的包通过种植环地区绕着街区的实例:,。训练实例的正面和负面的袋子,我们学习弱分类器,得到分类器池:,在那里,,,是弱分类器的块。
积极和消极的实例袋是由Haar-like特性(8]。假设所有的实例的功能满足高斯分布,这意味着,,。然后,弱分类器参数通过训练吗th特性的所有实例在积极和消极袋:
然后,强分类器通过选择生成(≪N)强大的弱分类器的弱分类器池。
为了节省计算时间,我们使用内部产品策略(8)选择强大的弱分类器。弱分类器之间的策略计算内积和对数似功能,避免了计算包的概率和概率实例次选择一个弱分类器。应用密尔的过程在每个块如图2。
应用MIL算法在每一块后,强分类器 和用于对象跟踪。连续帧中,候选样本从邻居提取对象的位置在前一帧。对于每一个样本,我们还把它分成许多块。然后,所有块的分类得分计算了一个示例使用相应的强分类器:,,,在那里是候选人的数量样品。候选样本的平均分类平均获得的分数是分类的所有的块。
最大的候选样本平均分类得分被认为是跟踪结果。
2.2。光照、姿势和遮挡问题
P-MIL算法考虑了平均分数分类和分类的所有块处理光照和姿态变化和遮挡的问题。通常被认为是跟踪的样品结果的最大平均分类评分和评分大于给定的阈值。然而,当上述问题发生,最大平均分数分类和分类块的得分下降严重。我们也看到分类块跟踪结果的得分下降同时在姿态和光照变化的情况下,而一些块的分类得分减少严重的阻塞。因此,我们提出一个方法来检测跟踪情况下通过分析分类块的得分。
我们获得的最大平均分类评分(所有的块(成绩)和分类)检测到的候选样本。然后,我们设置两个阈值和()作为低阈值和高阈值,分别。最后,跟踪情况是发现通过分析分类评分和两个阈值之间的关系和():(1)对象是成功跟踪时的最大平均得分大于高阈值分类:。在这种情况下,认为没有光照变化,构成变化和遮挡。(2)的对象是阻挡其他事情时的最大阈值之间的平均分类评分和()和分类得分大于未遮挡子块的阈值()。在这种情况下,阻挡块的分类评分小于阈值()(一些分类的分数可能小于阈值())。(3)光照变化问题或姿势变化发生在最大阈值之间的平均分类评分和()和分类分数的所有块也两个阈值之间和()。(4)算法无法跟踪对象时的最大分类评分和分类得分小于阈值的所有数据块。(5)算法无法跟踪对象时的最大分类评分和分类得分小于阈值的所有数据块连续多帧。
2.3。分类器更新策略
跟踪一个物体后,弱分类器的参数更新处理光照和姿态变化和遮挡的问题。MIL、WMIL和significance-MIL算法更新他们的参数与不断的学习速率(5]。 在哪里是学习速率。和的平均值是积极和消极的实例袋,分别。和方差值的实例在积极和消极袋,分别。
这些方法在一定程度上能解决上面提到的问题。然而,很难处理的严重问题。有一个很大的学习速率,使事情的信息将更新后引入分类器。因此,小学习速率有利于阻塞的情况。然而,随着一个小的学习速率,分类器将遭受underupdating当照明或构成变化。因此,我们提出一个自适应更新算法来处理这些问题。我们发现跟踪情况(例如,正常跟踪、照明或姿势的变化,和部分闭塞)2。2。然后,不同的学习速率在不同跟踪情况下调整如下:
在通常情况下学习率是0.5。然后,分类器考虑跟踪结果和模型更新它的参数。对象的外观变化时照明或构成变化。因此,学习速率设置为0.85更新分类器的参数主要根据跟踪结果。一些块的分类评分小于阈值(甚至当有部分阻塞。学习速率设置为0.25更新分类器的参数,从而块。阻挡块,分类器的参数不更新。因此,该方法避免了引入信息阻塞的事情。自适应更新策略避免overupdating underupdating分类器的参数,解决了光照和姿态变化和遮挡的问题。
3所示。实验结果
在本节中,提出P-MIL与MIL相比,WMIL和significance-MIL算法等几个视频“大卫室内”(20.),“阻挡”(20.,21],“老虎”[20.,21,“美元”(18]。有姿态和光照的变化“大卫室内”视频。在“阻挡”视频,脸上常常被一本书或一顶帽子。也有带来变化。“老虎”视频,物体快速和经常被其他的事情。“美元”的视频中,对象是困惑的背景相似的特征。上述算法的性能评估方面的跟踪结果,失败率(FR),中心位置误差和平均计算时间。所有的算法在Matlab语言实现。
3.1。参数设置
在线MIL提高跟踪器(8),种植实例的半径设置为积极的包和消极的包和,分别。因此,大约45实例出现积极的袋子,同时为负袋大约45实例。算法学习250弱分类器。大约50个分类器选择生成强分类器。获得最终的跟踪结果,我们提取1000个候选样本与半径的一个圆在前面的对象位置和定心。为WMIL跟踪器(16的实例),积极袋出现在一个圆半径和负袋中的实例出现在环半径和。是提取候选人的搜索半径样本。池弱分类器在分类器的数量是150。我们选择15强大的弱分类器来生成一个强分类器对象跟踪。为significance-MIL [17),我们和作物实例的正面和负面的袋,分别。弱分类器的数量是150,而所选的弱分类器是15。学习速率的MIL、WMIL significance-MIL算法将不变:0.85。P-MIL算法的对象分为9块。对于每个块,弱分类器的数量是20,而选择强大的弱分类器是3。获得最佳的性能,两个阈值设置为0.8和0.3,高和低阈值,分别。
3.2。跟踪位置
跟踪结果用矩形框的图片如图所示3。结果在第一行“大卫室内”视频。有光照的变化(例如,帧8和83)和姿势的变化(例如,帧134)。WMIL和significance-MIL算法漂移在帧281年和371年。“面对阻挡2”的跟踪结果视频线2所示。“脸”是经常被一本书(例如,帧279、495和708年)或一顶帽子(例如,帧495年和708年)。使用MIL、WMIL significance-MIL算法,干扰背景(这本书和帽子)引入分类器并导致跟踪漂移。“老虎”移动快,树叶经常被阻挡的“老虎”视频。跟踪结果见第三行。MIL算法失去了“老虎”81年框架,因为它遭受沉重的计算负载和不能快速跟踪对象。 The WMIL and significance-MIL methods drift away from the ground truth when occlusion occurs (in frames 241 and 321). The last line details the tracking results of the “Dollar” video. The object “Dollar” is affected by the other similar “Dollar,” which results in the fact that the MIL, WMIL, and significance-MIL algorithms drift away in frame 112. Overall, the tracking results in Figure3证明P-MIL优于其他算法时姿势和光照变化和部分遮挡。
3.3。失败率
我们使用失败率(FR)评估的性能MIL, WMIL significance-MIL和P-MIL算法。重叠区域的跟踪框不到50%被认为是失败。跟踪结果如表所示1。对象往往是影响姿态和光照变化问题和部分遮挡的跟踪过程。MIL、WMIL和significance-MIL算法更新分类器与一个固定的学习速率。因此,分类器是“overupdating”或“underupdating”由于部分遮挡和光照变化。与一个固定的学习速率不同于其他算法,提出P-MIL算法歧视这些问题并相应地更新分类器的学习速率。因此,P-MIL算法优于其他基于MIL跟踪算法上面提到的问题发生。结果在表1表明,P-MIL算法达到最低的失败率。
3.4。中心位置错误
这部分细节的中心位置之间的中心位置误差跟踪结果和地面真理的中心。结果如图所示4。面积低于中心误差越小,更好的跟踪算法执行。红线是中心位置误差提出了MIL算法。跟踪结果说明,下面的区域红线是最小的。蓝色的线是MIL算法。下的地区蓝线是最大的。WMIL的黄线,绿线是significance-MIL。结果表明,P-MIL算法优于MIL, WMIL, significance-MIL算法。
3.5。平均计算时间
本节详细的平均计算时间MIL, WMIL significance-MIL和P-MIL算法。平均计算时间的平均处理时间框架。结果如表所示2。平均计算时间越低,算法具有更好的计算效率。MIL基础算法的平均计算时间的数量取决于参数包括弱分类器分类器池中,选中的弱分类器的数量和分类器选择策略。参数部分3.1说明,弱分类器的分类器池和WMIL选中的弱分类器的数量和significance-MIL算法是150和30岁的小于MIL算法。此外,WMIL和significance-MIL算法目前有效的分类器选择策略来避免袋子概率和实例概率计算次选择强大的弱分类器,也有效地节省了计算时间。P-MIL算法,我们了解180弱分类器9块(约20块弱分类器学习),其中27个弱分类器选择(一块,我们选择3弱分类器来生成一个强分类器)。此外,我们采用弱分类器选择策略用于WMIL算法。因此,P-MIL算法避免遭受高计算负载。结果表明,P-MIL算法实现实时跟踪。
4所示。结论
基于一个补丁MIL算法解决光照和姿态变化和部分遮挡的问题。对象被分为9块和MIL算法应用于每一块生成9强分类器。此外,强分类器被用来检测样本的最大平均分类评分结果跟踪。通过分析样本的平均分数分类和分类的分数的块,光照、姿势,和阻塞问题被发现。此外,提出了一种自适应学习速率更新策略以避免overupdating或underupdating。策略不同学习速率基于检测的跟踪情况。因此,更新分类器克服姿态和光照变化的影响的问题和部分遮挡。最后,实验结果表明,该P-MIL算法优于其他相关MIL算法在计算效率和能力克服光照和姿态变化和部分遮挡的问题。
对象跟踪算法通常是评估的经典视频来自互联网。然而,对于真正的视频,例如,从监控视频,有噪声和低分辨率的图像。这些算法通常不能连续跟踪对象。因此,我们将重点学习一个健壮的跟踪器在未来真正的视频。
MIL裁剪候选样本相关算法在跟踪前一帧的位置。当物体移动快,算法将失去对象。为了解决这个问题,我们将考虑在MIL帧运动预测算法。
相互竞争的利益
作者宣称没有利益冲突。
确认
作者要感谢河北省科技支撑计划(14275601 d)和河北教育部门自筹经费项目(ZC2016124)。