文摘

本文提出了一种自适应形状基于均值漂移跟踪器使用一个静态摄像头的机器人视觉系统。摘要我们解决的问题是如何构造这样一个内核形状自适应的对象形状。我们执行非线性流形学习技术来获得低维空间形状由训练数据训练与相同的视图跟踪视频。提出内核形状在低维状态空间搜索得到的非线性流形学习技术和构造自适应内核形状的高维空间形状。它可以改善意味着改变跟踪性能跟踪对象位置和对象轮廓和避免背景杂乱。在实验部分,取走人类为例来验证我们的方法是准确的和健壮的人类轮廓追踪人类的位置和描述。

1。介绍

对象跟踪是一个许多机器人领域的重要组成部分,因为它直接影响到整个处理。虽然做了大量的工作对象跟踪文献中,一些困难仍然存在于对象跟踪,如非刚性的对象结构,物体遮挡,多个连接对象,低背景相比,对象规模变化和复杂的对象。

大量的方法主要集中在对象跟踪。这些作品可以分为三组:点跟踪、轮廓跟踪、和内核跟踪。在[1),提出了一种基于点跟踪方法对应的检测对象分帧。跟踪小物体,它是有效的,因为它可以用一个点来代表小物体,但对于大型对象必须使用多个点代表大型对象,这不可避免地导致misdetection和阻塞。与点跟踪相比,一个silhouette-based追踪(关注物体的形状描述方法2),它可以灵活地处理各种物体的形状。基于内核的跟踪方法利用模型区域代表对象来估计物体运动。

基于内核的跟踪方法有很多种类的追踪器。早期的基于视觉跟踪的CAMSHIFT [3),跟踪人脸通过将每个像素一个积极的重量分配给找到一个矩形窗口的位置,总重量是最大像素的窗口。一个基于追踪器(4是提出通过最小化Bhattacharyya系数之间的距离参考颜色分布和目标的颜色分布。扩展卡尔曼滤波器建议通过更新的参考颜色直方图5]。的跟踪6)是使用mixture-of-Gaussians颜色模型的目标。仿射对象追踪也表现在7]。提出了一种基于仿射的追踪器结合color-related内核和boundary-related内核来提高跟踪精度(8]。提出了一种基于跟踪通过计算图像的高斯金字塔和应用均值漂移算法在每个金字塔水平为目标(9]。考虑计算的复杂性,提出了使用分割技术而不是使用均值漂移跟踪算法(10]。Bolme et al。11)利用基于相关性过滤器的跟踪器跟踪视觉对象。

意味着转移算法是一种有效的基于跟踪方法是一种非参数方法寻找最近的点采样分布模式基于核密度估计(4,12]。受欢迎,广泛应用于低计算的对象跟踪,因为它有许多优点,容易实现,实时响应和健壮的跟踪性能。

是具有挑战性的一个理想的内核与对象没有形状自适应背景点驻留,特别是的任意形状非刚性的对象。非刚性的对象,很难使内核形状一样的对象形状的非刚性物体形状总是不同。提出了一些基于方法适应任意形状的对象,并克服了背景干扰(13- - - - - -17]。非对称核均值漂移算法来估计物体的位置,方向,和规模由Yilmaz [14]。它引入了一个隐式的水平集函数来减少估计偏差和提高密度估计的过程。检测对象掩码提出了构建内核由易建联et al。(16]。是健壮的背景杂波和跟踪对象非常准确,如果对象检测准确。这在很大程度上取决于检测结果。GMM-SAMT算法实现非对称形状调整内核Quast和Kaup [13]。非对称•莱克特说提出的基于视觉跟踪et al。17]。它使用目标的颜色PDF提高跟踪的鲁棒性。

工作提出了一种自适应形状基于均值漂移跟踪改善位置估计和跟踪对象轮廓环境下捕捉到一个静态的相机。第一个贡献是提议重建的自适应形状内核形状从低维状态空间到高维空间形状。图1显示整个算法架构。在预处理阶段,我们执行非线性流形学习技术获取映射关系从高维空间到低维空间形状,形状由训练数据集训练与跟踪视频序列相同的观点。第二我们的论文的贡献是工作的组合自适应形状与颜色特征来描述对象的外观。与对称常数相比内核中使用传统的跟踪器,它可以更好的适应对象形状变化以减少估计误差,提高密度估计的过程。整个处理执行中找到合适的形状形状空间,找到合适的位置为视频中每一帧的位置空间。实验证明,这种跟踪器可以大大优于传统的追踪。我们的方法是准确的和健壮的跟踪对象位置和描述对象轮廓特别是当目标形状变形和背景杂波发生。

本文的组织结构如下的提示。综述了传统均值漂移算法部分2。部分3解释了如何构造一个自适应形状内核从嵌入低维状态空间到高维空间形状。部分4介绍了自适应内核形状的均值漂移算法的过程。节5,并给出了实验研究证明该算法的优势。最后,部分6总结了论文的主要贡献在一起讨论一些开放的问题。

2。均值漂移跟踪

转变是一个健壮的统计算法,它适用于一个内核密度函数在新对象的基于颜色直方图的图像在前面的图片,并使用意味着转向找到附近的核密度的极大值迭代对象的老位置。它使用一个搜索窗口,定位在一个内核密度分布。在这个搜索窗口,我们计算均值向量的转变评估对象的质心的位移。所以核密度的最大值可以通过移动搜索窗口原来的位置。

首先,我们最初的对象的位置到一个新的位置和重复平均迭代计算,直到当地可以找到最大。和新的位置更新:。均值移位向量计算如下: 在哪里和是颜色分布函数生成的目标模型和候选对象地区,分别。

3所示。自适应核形状

内核形状是均值漂移算法的一个重要参数,它决定哪些点参与计算。所有点在内核中有助于寻找局部极值,内核中扮演一个重要组成部分的意思是改变形状。传统均值漂移方法适用于对称的内核,如一个圆或椭圆。这种内核形状不能匹配对象的形状。内核窗口不可避免地涵盖了许多背景点以及点的前景对象。这些背景点内核内部窗口工作对象的一部分。因此,目标跟踪容易转移到错误的地位背景杂乱。

我们考虑内核形状与物体形状一致。然而,它是不容易描述物体形状准确,尤其是对非刚性的对象。在非刚性的对象跟踪非刚性的对象形状总是不同。变得非常重要的保持一致性内核形状和形状的非刚性的对象。本文提出了一种自适应的内核形状来描述非刚性物体的形状,可以避免背景的干扰点的搜索内核窗口。

我们使用定义内核形状参数组,转换后的内核参数可以被描述为 在哪里是跟踪窗口的中心坐标位置。是规模维度,是定向变异参数,是内核形状参数集。在这里,我们专注于内核形状参数的重要性吗。所以尺度参数和方向变化的参数不考虑。

在下面的讨论中,我们提供的细节如何学习适应性内核形状参数集。它是由三个步骤。首先,一个物体形状是由采样点对象轮廓。其次,我们运用非线性降维变换形状高维空间到低维空间形状。这个步骤包括两个阶段:训练和跟踪。在训练阶段,我们使用需要的训练数据的相同相似的视图和对象运动跟踪对象获取低维空间形状。最后,在跟踪阶段,意味着的内核形状从低维空间形状重建转移到初始形状空间。在下面的讨论中,我们取走人类为例来说明整个处理。

3.1。形状表示

有必要准确地代表对象形状当跟踪对象。我们可以使用一些采样点对象轮廓来表示对象的形状。对象有一些关键职位。这些关键位置点是凸的。这些凸点形状表示扮演重要角色,这可以在某个方向上的投影物体的轮廓。这些凸点可以单独的形状轮廓成部分。每一部分几乎没有奇异点。它是平的。所以我们可以样品均匀的点在每个部分和使用这些采样点来表示物体的形状。

取走人类为例来说明如何处理整个处理。行走的人类,人类的形状变化在一个步态周期相机的观点。我们代表每个形状实例通过采样点人类的轮廓。人体有三个关键职位:头点,左脚,右脚点来描述人类的形状。这三个关键职位是人类形状作为参考点分离成三个部分:头部,foot-left脚,左foot-head。

为了找到头的位置,我们预计对象轮廓到垂直轴(图2)。头点投影的领先地位。同样,右边和左边对象轮廓的一部分,分别投射到垂直轴。左脚和右脚点,分别投影的底部位置。

我们获得这三个要点后,我们可以将边界形状分为三个部分:头部的脚,foot-left脚,foot-head离开了。对于每个部分,连续20点采样。因此,60点是用来表示一个实例的形状。

3.2。非线性嵌入

取样后,物体的形状可以在60-dimensional空间。然而,很难正确的内核形状在60-dimensional形状空间搜索当前实例。我们提供全球几何变换形状实例之间的低维空间形状和高维空间形状。在这个低维空间形状,均值漂移算法可以搜索正确的内核形状窗口为当前实例。

所有点在内核中有助于寻找局部极值,内核中扮演一个重要组成部分的意思是改变形状。传统均值漂移方法适用于对称的内核,如一个圆或椭圆。这种内核形状不能匹配对象的形状。内核窗口不可避免地涵盖了许多背景点以及点的前景对象。这些背景点内核内部窗口工作对象的一部分。因此,目标跟踪容易转移到错误的地位背景杂乱。

对人类走路,人类形成一个步态周期变化和遭受变形和遮挡导致形状点躺在非线性,扭曲的歧管。Isomap是一个非线性降维方法。它是低维嵌入方法之一,它提供了一个简单的方法估计的内在几何数据流形。它是高效和减少一般适用于维度。在这里,我们使用Isomap嵌入60点在二维空间形状。

给定一组的形状的观察,,相应的嵌入形状。因此,每个形状可以表示成在低维空间。图3显示了一个示例的嵌入步行周期在一个固定的看法。我们使用一个二维的嵌入空间来描述行走形状在一个循环序列。可以注意到,几个嵌入帧形状能代表步行周期。

3.3。形状重建

当我们得到低维空间形状,可以搜索正确的内核形状的形状空间。内核的搜索形状可以实现在低维空间形状。然而,如果正确的内核形状被发现,有必要将内核形状从低维空间映射到原始高维空间。在这里,我们可以完成搜索内核形状的低维空间形状。从低维空间形状类似于映射到原始形状空间,应用RBF重建初始形状空间的形状。

4所示。自适应基于均值漂移

是很难完成搜索正确的形状在高维空间形状跟踪,内核形状参数通常被忽略。点在内核中参与计算寻找局部极值,所以内核形状在均值漂移算法中起着重要的作用。一个理想的内核应该有相同的形状没有背景杂波跟踪对象。然而,随着形状空间的维数很高,很难完成形状搜索在这样高维空间。特别是,非刚性物体的形状是一种任意的形状。它增加了困难内核形状的搜索。本文提出了一个基于自适应形状的内核均值漂移跟踪器。首先,训练样本后发现嵌入低维空间形状。在这种嵌入低维空间形状,它应用于完成搜索跟踪内核形状意味着转变。当搜索在低维空间形状识别,有必要重构从低维空间到初始形状空间。 As mentioned above, RBF is applied to reconstruct the shape in original shape space.

我们使用定义内核形状参数集。是内核形状参数设置在初始形状的空间。在这篇文章中,是形状参数中设置嵌入低维空间形状。在下面的讨论中,我们提供的细节如何设计适应内核均值漂移跟踪相结合的自适应内核形状和颜色特征来描述对象的外观。

4.1。颜色特征

拟议中的意思转变结合内核和重建的形状颜色特征找到最可能的位置通过迭代的目标对象。详细的跟踪实现过程如下。

颜色直方图特性可以提供一个比灰度直方图特征更好的辨别能力。在这里,本直方图在颜色空间选择概率密度函数来表示对象的颜色。所以目标模型的加权颜色直方图方法如下: 在哪里δ函数,直方图的量化水平,,是归一化常数,的像素数量color-related内核代理区域。是标准化的像素位置。本的指数在特征空间量子化的颜色,。这个函数是该核函数的基础上,重建内核形状。

在跟踪窗口中基于内核的形状,中央像素可以提供更可靠的信息比边界像素跟踪它遭受更少的干扰背景或闭塞。每个像素的距离内核形状的中心应用于计算其重量决定的行动跟踪匹配。

基于重建的内核形状,归一化自适应计算内核的每个像素的距离形状边界: 在这里,是最大的边界到中心的距离。

4.2。实现过程

拟议中的意思转变结合内核和重建的形状颜色特征找到最可能的位置通过迭代的目标对象。详细的跟踪实现过程如下。(1)初始化对象的位置和内核形状计算颜色的内核获得目标模型。(2)跟踪窗口的位置,计算模型通过使用以前的颜色基于形状和评估新的位置和更新的重量: (3)内核跟踪窗口的形状,计算模型通过使用以前的颜色基于形状和评估新的形状通过嵌入形状空间和初始形状空间之间的映射。(4)跟踪对象重复步骤(2)- (3)。

5。实验

证明提出的自适应均值漂移跟踪器的性能,我们尝试了各种序列(18]。在所有的实验提出了追踪器,在hsv颜色空间color-related组件是使用等距的值在每个颜色带,即垃圾箱和颜色特征的重量内核设置为0.9。

5.1。形状重建

在所有的测试序列,初始化是在第一帧手动执行。形状是由一个培训跟踪轮廓序列在0度方向(CASIA步态数据库(19])。如图3,培训轮廓序列包括56帧,它对应于在二维空间形状。每个点对应于初始形状的空间形状。此外,它演示了12点形成一个形状行走步态循环。形状点走圆对应一个形状在初始形状,如图4。所以它是可执行重建任何形状从二维形状初始形状的空间。图5显示了结果。数据5(一个)和5 (c)是原始训练帧19和20的形状。图5 (b)之间的重建的形状是训练帧19和20的形状。所以我们可以应用该方法构造的形状任意形状二维点形状空间。它有助于搜索形状参数均值漂移跟踪器的内核。

5.2。Bhattacharyya系数分析

为了证明自适应基于形状的健壮性意味着转向背景杂乱,我们实现一个Bhattacharyya系数分析比较与传统均值漂移算法基于一个矩形内核形状。我们分析Bhattacharyya系数用于找到当前跟踪实例之间的相似性和目标模型。

Bhattacharyya系数所对应的跟踪窗口集中在50×50社区周围的物体中心(12)在图6。在图6(一)绿色矩形块对象的中心区域,和黄色的矩形块跟踪窗口对象集中在中心。Bhattacharyya系数51×51区是由计算Bhattacharyya系数的跟踪窗口如图6 (b)- - - - - -6 (c)。它是分布式中凸地和单调。通常最大的中心对应的对象。

图6 (b)表明Bhattacharyya系数椭圆形状的表面是平坦的,因为少差Bhattacharyya系数之间的中心和对象中心的附近。原因是内核的椭圆形状是不可避免的包括一些背景点。这些背景点参与Bhattacharyya系数的计算。因此这就导致表面平Bhattacharyya系数。在图6 (c)Bhattacharyya系数的表面,该算法是陡峭,因为更少的背景点参与计算Bhattacharyya系数自适应内核对象的对象比社区中心的中心。内核形状自适应对象的形状。减少背景影响的适应性内核。所以它是有效的跟踪对象时和健壮。

5.3。自适应基于形状意味着转变

该算法适用于处理视频序列的假设被静态照相机。为了说明该方法的性能,我们测试了三个序列从伊利诺斯数据库(18)有相似的视图轮廓数据集训练。视频已经转化为序列的分辨率的图像帧像素。

我们第一次呈现的结果估计人类行走的位置和形状。图7显示了四个人类序列帧的行走。提出的自适应内核可以很好地描述物体形状和更少的形状自适应背景的内核,它是对人类有效跟踪。与传统均值漂移跟踪器相比,它不仅可以追踪人类的位置还描述人类的轮廓。在图7,人类的轮廓跟踪不够准确,我们执行的位置跟踪和形状对每一帧只跟踪一次为了节省计算时间。如果我们执行每个迭代的形状在形状的位置搜索一次跟踪,结果将会改善。但它会增加大量的计算。折衷考虑,我们应用提出的迭代。

在这里,我们现在视频序列与地面真理手工注释。我们使用精度和召回评估整体跟踪提出了均值漂移算法的性能。在表1,我们建议的方法获得0.8 ~ 0.9的跟踪精度。这表明,该算法不仅可以追踪对象位置也对象形状。

6。结论

在本文中,我们提出了一种新颖的自适应基于均值漂移跟踪器,于一体的颜色特性内核基于自适应形状来改善对象跟踪性能。实验验证了我们的方法是准确的和健壮的人类轮廓追踪人类的位置和描述。我们认为,改进将增加内核形状建筑集成颜色特性的准确性。我们注意到,该方法只适应固定相机视图。在未来,我们将尝试一些其他形状自适应模型视图。另一方面,最近考虑性能和计算,基于过滤器的相关性追踪者表现得很好。一个定义良好的模型形状有助于对象跟踪。我们将进一步整合相关基于过滤器的提出自适应形状追踪改善机器人视觉系统的跟踪性能。

相互竞争的利益

作者宣称没有利益冲突有关的出版。

确认

这项工作是由中国国家自然科学基金(61003102和61003102号)。