文摘
一个人由multicues融合跟踪算法提出了基于补丁解决问题区分人,遮挡、光照变化。Kinect是安装在机器人提供彩色图像和深度地图。探测器代表一个人通过使用基于补丁multicues提出的融合。探测器将人划分为许多补丁,然后代表每个补丁利用深浅颜色直方图和depth-texture直方图。外观表示,考虑到深度、颜色和纹理信息,有强大的歧视阻塞的处理问题的能力,光照变化,带来的变化。考虑到机器人的运动和人,一个叫做运动跟踪扩展卡尔曼滤波器(MEKF)提出了预测人的位置。追踪的结果作为候选样本的检测器,检测器的结果是前面的知识的追踪。探测器和追踪相辅相成,提高跟踪性能。向给定的人正是驱动机器人,基于模糊智能装置控制策略(FZ-IGS)实现。实验表明,该方法可以跟踪一个人在一个复杂的环境,有一个最优性能。
1。介绍
随着机器人的普及在人类环境中,有必要对探测和跟踪一个人在许多应用程序中包括监视、搜索、救援、战斗,和人类的助理。人计算机视觉检测和跟踪是非常具有挑战性的任务将自动初始化,构成变化,昂贵的计算成本,和遮挡在复杂环境中(1]。
在真实的环境中,人非刚性的,难以被跟踪。解决问题,一个有效的表示应该考虑一个可用的外观模型。颜色是广泛用于建模的目标和基于颜色的对象跟踪的最佳方法之一是实现均值移位算法(2,3]。宁等。4)提出了一个规模和方向自适应均值漂移算法来处理问题的规模和方向变化。不幸的是,pixel-wise颜色密度不考虑极端的几何对象的变化。脆弱的时候有阻塞或相似的背景。许多研究都集中在解决问题利用纹理特征。宁等。5)联合彩色纹理直方图用于稳定跟踪目标在复杂的环境。与传统的颜色直方图相比,联合彩色纹理直方图有效利用目标的结构信息,因此表现得更好当目标与背景颜色相似的外观。
为了进一步消除背景的影响,从立体相机捕获深度信息。轻松的深度信息执行foreground-background分割(6]。然而,大多数立体跟踪系统实现与已知的校准参数(7]。在过去的几年里,立体摄影机(例如,Kinect (8]),没有广泛的知识相机标定参数和低成本,已被广泛应用于计算机视觉(9,10]。相比与传统的立体摄影机(7],Kinect能够提供更高质量的彩色图像和深度地图和最近被广泛应用。夏et al。10)考虑对象跟踪foreground-background分割提取轮廓信息和深度从Kinect传感器特性。Zoidi et al。6代表一个外观融合当地转向内核特性和2 d color-disparity直方图。方法采用差异信息确定规模变化通过分析差异值。深度图像(差异图像)显示对象的距离在复杂环境中,符合人类的视觉感知系统。因此,深度信息具有重要意义区别目标从背景中。
在对象跟踪闭塞是一个困难的问题。为了应付这个问题,基于补丁算法提出了(11- - - - - -14]。亚当et al。11)提出了一个fragments-based颜色直方图的方法。方法代表了目标通过整合各个部分的颜色直方图处理部分遮挡和姿势变化。Nejhum et al。12)使用多个块模型经常变化的前景。该方法成功地追踪对象发生显著的形状变化和光照变化。杨et al。13)提出了一种基于空间注意力补丁的跟踪方法进行大量的真实的视频。Kwon和李14)提出了一种基于补丁的动态表示目标外观模型。色调,饱和度和价值特性自适应地选择计算光度可能性,而采用平方差异补丁代表几何可能性。不幸的是,它遭受高由于盆地跳跃蒙特卡罗计算负担。
在集群环境中,机器人系统连续、稳定控制器对后一个人很重要。然而,作者的知识,许多作品都集中在目标探测和跟踪的问题但很少解决的问题设计一个适合驾驶机器人的控制器(15]。现有的控制器主要包括PID控制器(16),基于视觉的滑模控制器(15),基于模糊控制器(17),智能控制器(7]。Ouadah et al。15]提出了两个滑模控制器控制机器人根据人的位置从RFID系统和视觉系统,分别。机器人可以按照给定的人有一个突然的转变。贾et al。7)提出了一个智能速度控制器考虑机器人的运动学。然而,该算法经常未能遵循固定的人因为线速度。
在过去的几十年中,人跟踪系统使用一个机器人取得了很大的改进。然而,区分人的问题,闭塞,和安全仍然存在。我们解决这个问题通过代表一个人multicues基于补丁和设计基于模糊智能装置控制策略(FZ-IGS)。人检测算法包括探测器和一个追踪者。探测器将人划分为许多补丁和代表一个补丁使用multicues包括深度,颜色和纹理。深度信息,表明人的位置,结合颜色和纹理特性产生深浅颜色直方图和depth-texture直方图,分别。随着轨道的发展,探测器调整人的规模根据深度信息。通过分析深度直方图和补丁的相似性与给定的人,探测器可以很容易地识别闭塞再决定更新和改变的人的外表模型跟踪策略。有部分遮挡时,探测器识别的人通过使用补丁不堵塞。拖拉机叫做MEKF产生的卡尔曼滤波器通过考虑机器人的运动和人。 The MEKF predicts the person’s position as a candidate sample for the detector. Finally, FZ-IGS is designed to change the turning gain and linear velocity of the robot according to the position of the person from the robot. The FZ-IGS drives the robot towards the person continuously and stably.
本文的组织结构如下:讨论了该方法的概述部分2。节3,基于multicues探测器。部分4细节处理人的位置和模型更新的步骤。介绍了基于模糊控制器部分5。详细的实验结果部分6。本文的结论和一个简短的摘要部分所示7。
2。框架和体系结构
平台和系统概述的部分细节执行以下任务的人。
2.1。开发平台和环境
用于执行下面的人任务的平台是一个美国移动机器人公司先锋dx嵌入式Kinect,见图1。Kinect是一个新的Xbox 360和广泛使用的设备。Kinect的兴趣在增加计算机视觉由于其优势提供3 d环境的和低成本的信息。该设备包含一个RGB相机,multiarray麦克风和深度传感器。使用这些传感器,Kinect可以捕获全身3 d运动。Kinect硬件规范详细如下:(1)RGB相机:像素/ 32位颜色在30帧/秒,(2)深度传感器:像素/ 16位灰度在30帧/秒,(3)传感器范围:1.2米- 3.5米,(4)视野:水平:(1.3米- 3.8米);垂直:。
使用这些传感器,Kinect可以提供两种类型的图像:深度图像和彩色图像。的深度深度传感器获得的图像是包含一个CMOS摄像头和红外投影仪。红外投影仪产生散斑图的场景。然后,CMOS相机记录的散斑图和结果的深度图像。彩色图像由RGB相机的分辨率以每秒30帧的像素。Kinect的视野可以满足需要的对象跟踪。该算法由vc++ 2008和Opencv2.1实现。
2.2。系统概述
给定一个地图的彩色图像和深度,我们的目标是持续追踪一个人。图中展示了我们的系统的概述2。系统包括一个检测器,一个追踪器,在线更新策略。探测器是利用深度的人,从Kinect获得颜色和纹理信息。跟踪预测人的位置通过考虑人与机器人的运动。追踪的结果作为候选检测器的样本确定人的位置,然后采用探测器的结果与前面的追踪信息。探测器和跟踪补充和相互补充,从而提高了跟踪性能。随着轨道的发展,探测器调整人的规模根据深度直方图和基于深度决定了阻塞问题直方图和补丁的外观相似。最后,在线更新策略自适应更新人的外观,以避免引入更多的推理和处理光照和姿态变化。
3所示。探测器
据报道,外观由单一功能常常失败在跟踪过程中当有相似的背景。来处理这个问题,我们是一个人通过使用multicues包括深度,颜色和纹理。探测器可以通过使用一个特征成功地认识一个人,而另一个功能是无效的。深度特性,提取容易辨别人的背景,代表着人克服背景的推理。此外,探测器检测阻塞的问题考虑到深度直方图和补丁的外观相似,然后调整在线更新策略。
3.1。深度直方图
深度地图,从传感器捕获的Kinect,提供3 d信息环境和照明(不变6]。与彩色图像相比,深度值提供了一个直观的概念相对机器人的距离。深度值越大,越接近人的机器人。在我们的例子中,机器人对给定的控制人,仍在一个安全的距离。因此,人的深度值最接近的机器人。然后,深度图的深度划分可以区分人的背景。
离散分布深度间隔。深度值用一个向量表示;是深度的数量值。δ函数是用来确定深度值的区间。然后,深度特性,称为深度直方图,是通过分析像素的深度图像中提取: 在哪里是一个区间。追踪期间,我们假设人在前面的机器人和他的位置的机器人从帧到帧变化不明显。因此,所有的人的深度值将躺在的最后一本深度直方图并将远离背景。考虑到深度直方图,foreground-background分割将更加容易。深度直方图如图3。受光照的影响,一些地区的深度值高于另一个区域,如图3(一个)。因此,箱子属于目标是最后两个垃圾箱(181和211)如图3 (b)。深度直方图为目标的蓝色矩形图所示3 (c)。它有两个箱子:181本地区较低的深度值;本211年为该地区较高的深度值。
(一)
(b)
(c)
此外,人的大小变化根据机器人位置的变化的跟踪过程。外观模型通过使用固定矩形大小将介绍背景时的推理或失去一些重要信息的距离变化。虽然距离很大,我们预计矩形大小是小配件的人。当人接近机器人,我们期望矩形大小适合的人。深度信息表明人的大小的变化。对于人的位置变化,本的深度值直方图将相应的有所不同。因此,我们自适应调整矩形的大小根据深度直方图。获得人的当前大小如下: 在哪里和直方图是目标的深度。是参考深度特性是由最初的对象。是调整参数取决于目标的初始大小。是人在前一帧的大小。当人的大小变化时由于人与机器人之间的距离的变化,矩形大小是更新。获得人的矩形大小,距离的变化,不仅可以避免诱导更多的推理背景由于更大的矩形,也避免失去重要的信息,因为较小的矩形。调整人的大小后,探测器收集候选样本根据新的尺寸和更新外观模型。
3.2。深浅颜色/材质探测器
为了成功地歧视某一人,multicues受聘为代表的人。颜色已经被证明是有用的建模一个目标。与其他特征相比,颜色是对规模和翻译。因此,它被广泛采用的目标表示。质地,作为另一个有效的描述符,表示像素的空间属性。获得更强大的表示,颜色和纹理混合建模的目标。
传统的基于颜色和纹理对象表示已经成功地歧视人当有颜色或纹理杂乱的背景5]。但是,它很难解决阻塞问题和复杂的背景。在我们的研究中,深度信息是用来处理颜色或纹理杂乱背景由于foreground-background分割的深度的能力。深度分割的缺点是它不能轻易辨别物体躺在同样的距离机器人。幸运的是,这可以解决通过颜色或纹理特征。深度、颜色和纹理结合生成深浅颜色直方图和depth-texture直方图为代表的人。此外,处理遮挡问题,基于补丁的表示方法。一个矩形分为补丁和每个补丁由深浅色和depth-texture直方图: 在哪里分别表示深浅色和depth-texture信息。获得的深浅颜色直方图和depth-texture直方图。颜色特征是捕获的HSV空间,而纹理信息统一的纹理(5]。是人的补丁的数量。是归一化系数。每个块的像素;是每个补丁的中心。是函数确定功能的垃圾箱数量。是一个内核函数影响获得特性的区别的能力。常用的Epanechnikov函数。它分配一个更大的体重目标图像的中心像素的像素和一个更小的值远离中心。该方法可以在一定程度上避免引入推理的背景的人。然而,对于像素远离中心,其重要性在外观表现是减少由于较小的重量。此外,远离中心的边缘和背景的目标(如人)可能会困惑。在这种情况下,背景的像素与较小的权重引入外观模型。处理这个问题,深度信息用于建设新的核函数将目标从背景: 在哪里 面具的形象。是一本属于人。新内核函数避免了引入背景的推断,因为像素值在掩模图像属于人,属于背景像素值0。Epanechnikov函数相比,新功能的像素分配相同的权重,提高代表的人的歧视的能力。
人是由建模每个补丁使用获得的深浅色和depth-texture直方图。颜色直方图描述目标整体,而纹理直方图描述图像的局部纹理。这两个功能相辅相成。深度信息,识别目标从背景、交易背景的颜色或纹理杂乱。
3.3。阻塞问题
随着跟踪的发展,可能会有阻塞导致跟踪失败。基于补丁的跟踪算法来解决这个问题(18]。人分为补丁。部分遮挡时,一些补丁闭塞和其他人都是免费的。我们提出一个方法来检测遮挡问题,使用基于补丁出现直方图相似度和深度。检测阻塞后,人被处理,从而歧视补丁。深度图如图阻塞问题4。
人跟踪系统,在于人的深度信息的最后一本深度直方图和通常是远离背景。人的阻挡,最后两个垃圾箱旁边。最后本属于路人,最后本不过是人。如图4,最后本“181”1200多深度值属于相机附近的路人。最后一本,但“151”是一个人阻挡的路人。的人,路人,我们执行深度特性和补丁的相似性检测阻塞的问题。
在一个理想的跟踪过程中,人的本保持稳定。深度特征相似度计算,在那里在当前帧深度特性。设置一个阈值来确定是否属于目标深度特性。此外,补丁的相似性检测处理成功的人,将部分所示3.4。
3.4。基于补丁的Multicues人检测
相比之下,只有一个功能,代表一个人通过提取不同的特性可以提高模型的鉴别能力。一旦一个特性不能歧视人,其他功能是有效的。这个人是由许多补丁以递减的顺序根据深浅颜色直方图和depth-texture直方图,分别。对于一个给定的阈值,th,探测器识别人根据他们的外表相似。通常,最大的候选样本总体相似度补丁的数量的人。然而,一些特性(例如,深浅颜色直方图)可能会改变由于姿势的变化或照明的变化。然后,相应的相似性将减少和整体相似度要小于阈值,th。在这种情况下,探测器会认出这个人基于其他特性的相似性(如depth-texture直方图)和补丁的数量。一旦检测到部分阻塞,检测器根据补丁不承认的人阻挡。基于补丁multicues表示如图5。
补丁的候选样本之间的相似性和人使用余弦相似性度量来衡量: 在哪里内积和吗表明欧拉距离。是两个向量的夹角。
候选样本之间的相似性和模型
整体相似度
3.5。跟踪器
卡尔曼滤波器是一组数学方程预测问题提供一个有效的解决方案。该算法是非常有效的处理短时间内阻塞问题在跟踪过程中。然而,对于人与移动机器人跟踪系统,卡尔曼滤波器通常无法准确预测的人因为机器人和人在一起。处理这个问题,我们提出一个叫做运动跟踪卡尔曼滤波器结合机器人的运动和人: 在哪里状态向量,人的3 d位置在机器人坐标系中,人的速度在横向平面,然后呢控制变量。是观测噪声,其协方差矩阵是什么。3 d位置目标的时间吗。过程噪声,其协方差矩阵是什么。考虑。
考虑到机器人的动作,状态转换函数
MEKF的状态方程和观测方程是通过考虑机器人和人的运动。与卡尔曼滤波器相比,MEKF介绍机器人的轨迹来提高跟踪的鲁棒性。此外,候选人的跟踪结果是一个样本集的探测器。探测器识别结果从候选集,包括跟踪结果。探测器和追踪互补,使人检测的能力。
4所示。人的位置和模型更新
4.1。人的位置
提出的跟踪框架详细图2。框架中,位于通过探测器和追踪。在这个过程中,深度信息融合颜色和纹理信息。因此,我们获得深浅颜色直方图和depth-texture直方图。然后,这个人与许多补丁的外观模型表示。此外,实现强劲跟踪任务,探测器与跟踪是相辅相成的。识别一个人的过程如下:(1)输入如下:深度图像和彩色图像。(2)得到深度深度图像的直方图。把深度图像和彩色图像分成图像补丁,然后提取这些补丁的深浅颜色直方图和depth-texture直方图建模的人。(3)一个新的框架,候选人样本得到结果。MEKF预测治疗的人的地位作为探测器的一个示例。直方图提取候选样本的深度和分裂的深度图像和彩色图像。(4) ,(一)提取每个补丁的深浅颜色直方图和depth-texture直方图;(b)计算块的相似度深浅颜色直方图和depth-texture直方图。 (5)补丁将会减少订单的基础上和。计算出的相似之处和。根据计算的整体相似之处。(6)确定阻塞问题基于深度直方图和图像块的相似度,然后检测相应的人。(7)输出如下:人的位置。
4.2。模型更新
光照变化和姿势变化可能导致外观变化。为了应对这个问题,一个有效的更新策略应该用于调整后外观变化检测的人。更新策略研究的人的外观模型根据补丁的相似在不同跟踪情况: 在哪里是补丁的外观相似。
通常情况下,深浅色的较小的相似度值和depth-texture直方图。当一个特性变化太多由于姿势或光照变化和不认识的人,将由其他特性的相似性。在这种情况下,深浅色和depth-texture直方图的基础上更新。特别是,失败的外观模型自适应变化。当有部分阻塞,= unconcluded块的相似性。
5。控制器
我们的目标是设计一个有效的控制器驱动机器人对一个给定的人,从他保持在一个安全的距离。跟随机器人顺利,不断,一个智能控制策略(IGS)提出了7),机器人的速度,通过引入turning-gain引导控制。使用将增益,机器人可以自适应地改变转弯半径,避免丢失或撞人。机器人的路径向人显示在图6。人的位置从探测器获得上面提到的。是机器人的转弯半径追随的人。
对于路径B,机器人的轮子的速度计算如下: 在哪里和是左边的车轮的速度和右轮,分别。和人的位置在平面坐标。表示人的方向是为他的方向。
随着之后的发展,turning-gain和线速度从IGS保持常数。小转弯,转弯半径很大。当人是大的方向(这个人是远离中心的机器人的视野),机器人往往失去的人。相比之下,使用大增益,机器人往往未能赶上的知情人士中心机器人由于小转弯半径。同样,机器人不能跟随大距离的人通过使用一个小线速度和将人由于巨大的线速度。为了处理这些问题,我们提出一个基于模糊智能控制策略(FZ-IGS)。该战略包括两个模糊控制器:一个线性速度控制器和一个turning-gain控制器。
5.1。基于模糊线性速度控制器
我们的任务是让机器人在一个安全的距离而移动机器人和人都是人。机器人和人之间的距离不同,因为它们的运动。为了实现成功的跟踪,机器人应该改变其线速度根据从探测器获得的距离。因此,基于模糊线性速度控制器设计自适应地调整机器人的速度。
控制器的距离和人的垂直速度选择输入和线速度吗选择作为输出。的输入,使用两种隶属函数:三角形隶属函数是大距离和速度和高斯隶属函数是小的距离和速度。为输出,我们选择三角形隶属函数。这些参数的领域,。这些参数的隶属函数如图所示7(一)。
(一)速度控制器的隶属度函数
(b) turning-gain控制器的隶属度函数
建立了模糊逻辑基于人类知识,表所示1。根据模糊逻辑,一种自适应线性速度获得驱动机器人。的情况下的距离和速度的人是最大的(),线速度将加速到最大价值()后尽快的人。相比之下,如果距离和人的速度非常小(),机器人将会减慢车速,避免触及人()。基于模糊控制器使机器人调整其线速度根据机器人和人之间的距离和人的速度。
5.2。基于模糊Turning-Gain控制器
随着之后的发展,这个人经常从机器人的领域的中心。在这种情况下,机器人应该改变它的转弯半径,确保人在机器人领域的中心。实现任务,设计基于模糊turning-gain控制器,机器人的转向增益调整根据人与机器人之间的方向和人的水平速度。
基于模糊turning-gain控制器的输入是方向和水平速度的人,分别。输出是turning-gain。基于参数的隶属度函数的模糊turning-gain控制器一样模糊控制器基于线速度,如图7 (b)。这些参数的领域,,。
模糊逻辑设计根据人类知识来确定机器人的turning-gain。在的人移动到左边(在积极的速度快(),机器人将会在一个非常大的将获得()使人类出现在机器人领域的中心。当人右移(在积极的速度()),机器人应该在一个正常的将获得()实现以下任务。将获得的模糊逻辑表所示2。
6。实验结果
我们的人跟踪算法进行先锋dx机器人。
6.1。用户移动但是机器人仍然是
在这组实验中,我们的方法是基于与彩色纹理对象表示算法(7]。这些方法评估在颜色和深度图像序列捕获从一个仍然Kinect。机器人Kinect仍和一个给定的人动作约1 ~ 3 m在机器人的前面。在接下来的过程中,给人移动,和另一个人路过,并用给定的人。对比结果如图8。结果在第一行是通过使用基于彩色纹理的算法;这些在第二行是我们的方法。阻塞时,基于彩色纹理的方法往往不能找到阻塞后,失去了他的人。使用我们的方法,可以检测到阻塞问题深度分析直方图和补丁的相似性。一旦检测到阻塞,给出的方法可以识别人,从而通过补丁的外观模型由深浅色和depth-texture直方图。结果表明,基于补丁算法有利于阻塞的问题。此外,利用深度信息,表示让foreground-background分割的人容易得多。
6.2。用户和机器人运动
在本节中,我们的方法是评估在一个移动的机器人。随着跟踪的发展,有阻塞,转动,外观变化和运动的机器人和人。跟踪结果如图9。人跟踪的方法采用基于补丁multicues检测器和一个MEKF追踪。在案件中有部分阻塞,人成功地检测到执行我们的方法。当人完全闭塞,MEKF预测的位置的人。此外,采用一种更新策略更新外观表示在跟踪过程中。实验结果说明,我们的方法表现良好的遮挡和外观变化。
6.3。机器人基于FZ-IGS之后
在本节中,FZ-IGS提出的性能评估。鉴于人的3 d位置()从提供的数据获得Kinect和被送到机器人的控制器。基于模糊速度控制器根据模糊逻辑线速度变化。当有不同的机器人和人之间的距离)或人的垂直速度(),线性速度会相应改变,以确保人在安全距离机器人。同样,turning-gain控制器决定将获得根据人的方向()和他的速度()保持人的中心视野的机器人。后一个人机器人的路径如图10。对图10 (),红色的符号“+”表示人的路径,而蓝色象征“∘”机器人的路径。“0”的起点是人。一开始,机器人仍然是和移动的人。当人与机器人之间的距离大于安全距离(大约在一点,),机器人开始跟随的人。结果表明,机器人可以遵循的人在一个安全的距离,让他在其视场的中心。在距离和方向的变化,机器人可以改变它的线速度和变增益,以确保机器人可以按照机器人稳定。数据10 (b)和10 (c)显示机器人之间的垂直距离和水平距离根据时间和目标,分别。结果表明,我们的方法可以保证机器人跟踪的人在一个安全的距离。
(一)
(b)
(c)
7所示。结论
在本文中,我们开发了一种新的移动机器人的人跟踪算法。本文表现出四个贡献。有关第一个贡献的人表示算法的基础上,融合multicues包括深浅颜色直方图和depth-texture直方图。颜色和纹理信息互补,提高外观的辨别能力。轻松的深度信息是背景的人的歧视。有关第二个贡献补丁基于检测算法将人分成许多补丁。它可以处理部分遮挡问题,从而通过分析补丁的相似性。第三个贡献关注追踪MEKF认为机器人的运动和人。有关第四的贡献为基础的模糊智能控制器(FZ-IGS),可以自适应地改变线速度和turning-gain根据人的职位获得的探测器。实验结果表明,该方法能够稳定跟踪一个人,准确。 In the future, we will study the obstacle avoidance method in the tracking process.
利益冲突
作者宣称没有利益冲突有关的出版。
确认
国家自然科学基金支持的研究工作是(61175087),河北教育部门的青年基金会,QN2014170,和河北省科技支持计划,14275601 d。