文摘

介绍了kinect煤矿救援机器人的视觉系统在illuminous地下环境中工作。Kinect的躯体感觉系统是用来实现手势识别涉及静态手势和动作。一个K提出了基于曲率的凸检测方法以适应手与多边形轮廓。此外,手动作完成通过使用夜间库与手势识别的框架。此外,该方法与BP神经网络相比,模板匹配。此外,利用深度信息的映射,建立了界面的手势识别救援机器人的人机交互。实验结果验证的有效性kinect视觉系统作为一个可行的替代技术,人机界面的煤矿救援机器人。

1。介绍

煤矿事故发生后救援非常紧急,因为48小时后,死亡率大大增加受害者由于暴露于空气质量差和缺乏食物,水,和医疗1,2]。矿井隧道崩溃可能会进一步伤害或杀害被困幸存者和救援人员。有害气体泄漏和爆炸也是可行的。在这样的时候,机器人拥有巨大的潜力来协助这些地下操作之前,救援队伍和报告可能有害人的条件。当爆炸条件存在或浓烟进入矿井巷道,机器人可以成为一个宝贵的工具。这些移动机器人导航深入粗石可以搜索幸存者和救援人员的现场视频和大气监测信息转移到确认安全状态或识别潜在危险条件矿山救援队(3]。

这是一个紧迫的挑战智能救援机器人矿井隧道很长一段距离地面。煤矿事故发生后,矿井隧道的环境是未知的和低illuminous甚至没有光(电力系统已经崩溃)。随着移动设备的发展和传感器、语音和手势已经成为一种流行方式与机器人互动和个人电脑(4]。声音是容易受到环境噪声和不适合连续的远程控制。很难分开不同的人的语调。此外,幸存者被困地下可能不容易呼吸退出有害气体。语音数据是不适合人机交互(HMI)矿井隧道。与声音相比,手势更自然、直观、健壮。此外,手势比声音可以传递更广泛的信息。因此,许多研究人员注意手势识别研究。

目前,大多数手势识别技术是基于普通摄像机(5]。然而,RGB彩色图像从普通的相机有一个缺点,他们不能提供足够的信息来跟踪在3 d空间,因为大部分的空间位置信息推断从2 d-3d映射。在成像过程中,大量的信息将丢失。近年来,随着躯体感觉的发展互动装置,研究方法基于深度相机正在上升。相机可以获取三维深度信息,如TOF相机(6),stereophotogrammetric系统[7]。他们都是非常准确的,但是他们的使用是有限的高成本,时间,空间,和专业知识的需求。Kinect为改善提供了一个可能的性能和价格之间的权衡手势接口的设计。

Kinect是一个新的集成三维传感器获取深度图像和RGB图像。它已广泛应用于许多不同的领域,比如娱乐(8)、工业自动化(9),医学应用(10),和远程控制机器人的11),因为它的廉价的深度感知。深度和视觉RGB信息的互补性在Kinect传感器开辟了新的机遇来解决根本问题在人类行为识别的人机界面。条件是识别环境非常黑暗,将传统目标识别的功能。而深度图像被Kinect不受灯光的影响,不能影响目标识别复杂的背景或灯光在目标识别领域。因此,目标或手势可以在黑暗中公认的或与Kinect的复杂图像的地方。此外,普通相机不适合地下工作,其形象可能会详细的信息。因为环境的地下矿井隧道illuminous低,甚至黑暗隧道的一部分。因此,Kinect是一个可行的救援机器人的传感器用于人机界面地下采矿隧道。

然而,很少有研究对Kinect的应用部署救援机器人,虽然Kinect已经广泛用于机器人导航(12),环境映射(13),和对象操作(14]。华威大学的一个本科生团队Kinect安装在机器人执行3 d大满贯在模拟灾难设置,即两条救援竞争(15]。但室内环境,而且高度结构化的课程举办的漫射胶合板(很大程度上)可以很容易地将其任务。苏亚雷斯和墨菲1]了Kinect救援机器人的使用和类似的应用程序和相关的挑战,但没有详细Kinect手势操作技术对救援机器人,导航,远程控制等等。Kinect的发展做了一些经典的识别方法,还介绍了一些新的研究技术改善人类行为识别。到目前为止kinect全身3 d运动估计利用跟踪身体关节(8- - - - - -10),而正确认识小手势,特别是手动作,仍然努力工作。许多研究主要包括手势和身体部位识别和姿态跟踪。Raheja et al。16)使用Kinect跟踪指尖和手掌通过SDK应用程序。Thanh et al。17]团队拍摄3 d Kinect图像直方图的手指关节的数据信息和识别手势TF-IDF算法。Doliotis et al。18)提出了一个clutter-tolerant手分割算法在三维姿态估计是制定检索问题,但当地回归平滑序列的分割宽度不允许算法实现实时性能。目的是延长组识别的手势,Wan et al。19)提出了一种方法来识别五个手势使用Kinect,但这项工作的一个限制是不可能检测垂直姿势。Pedersoli et al。20.)统一的开源框架,用于实时显示静态hand-poses和动态手势识别,但仅仅依靠深度信息。在此基础上,可以实现手势识别更多的取决于深度地图,而身体的姿势很容易专注于身体骨骼关节Kinect从捕获的数据。

因此,提出了一种kinect为营救机器人视觉系统地下采矿隧道和实现手势识别结合深度图和骨骼关节的信息。

本文组织如下。部分2介绍了kinect救援机器人的视觉系统的体系结构。部分3介绍了手势识别低使用OpenNI illuminous环境和夜间库窗口。部分的实验结果进行了分析4。最后,给出了结论和未来的工作5。

2。kinect视觉系统的体系结构

救援机器人的kinect视觉系统架构手势识别图所示1。系统由电机驱动器,Kinect, PC,履带式移动机器人平台使用地下矿山隧道。Kinect,直接连接到主机通过USB接口,实际上是一个3 d躯体感觉相机以极低的价格。在Kinect,有红外(IR)投影仪,一个颜色(RGB)相机,和一个红外(IR)传感器。为目的的三维传感、红外投影仪发出一个网格的红外光线在它前面。这光反射物体的路径和反映到红外传感器。模式由红外传感器接收解码在Kinect确定深度信息,然后发送到另一个设备通过USB接口进行进一步处理。它提供了640480像素(约30 fps) RGB图像和深度图像。每一个24位RGB图像。深度图像中的每个像素16位/毫米,其有效深度范围从0毫米到4096毫米。Kinect软件能够自动校准传感器基于用户的物理环境,适应障碍的存在。

该系统在图1是一个奴隶与kinect视觉系统控制模型。手势的计算机获得深度信息从幸存者,给出识别结果,然后传送命令执行器来控制机器人为幸存者服务或其他运营商。它主要是利用在倒塌的隧道挖掘幸存者。当气体在地下隧道是浓烟和为这些幸存者呼吸太糟糕了,他们不能发出任何声音。这时,唯一的方法来控制救援机器人的手手势识别的HMI搜寻幸存者。

3所示。手势识别

一般来说,手势分为两类,如静态手势和动态手势。这些都需要适当的识别是他们可以正确地定义机器。因为OpenNI和夜间图书馆自己的Kinect的框架,本文使用这些库函数实现简单的行动,而更侧重于静态手势识别细节。工作流是由图显示2。

3.1。获取深度图像

手势识别的第一步是获取图像数据捕获Kinect。OpenNI和夜间,我们可以在640年获得的图像480像素的分辨率30 fps。OpenNI标准API使自然互动开发人员跟踪真实(3 d)场景利用数据计算出传感器的输入,例如,表示一个手的位置。OpenNI是一个开源API公开。

在这个项目中,Kinect是由OpenNI的程序,和夜间的使用图书馆基于司机。需要被夜间深度映射类。因此,必须有三个步骤,包括初始化OpenNI,打开装置,初始化夜间开源Kinect。使用OpenNI类和函数之前,必要的一步是OpenNI进行初始化,然后我们可以获取设备信息通过定义一个设备类的对象和使用公开的功能。当使用夜间类和函数,它类似于OpenNI;也就是说,它需要在定义函数初始化。通过以上步骤,Kinect可以正常使用。

夜间包括手跟踪框架和手势识别框架,完成的基础上深度数据。的方法获取深度数据封装在HandTracker类,类提供了方法来获取手的位置,变换坐标,并检测手势。HandTrackerRef类商店手ID和识别结果。最后,需要捕获的深度信息转化为灰度图像。

3.2。静态手势识别

在上面的部分中,我们获得深度图对手势和RGB数据。在未来,我们需要认识到指尖,数一数根据手跟踪数据。Kinect的夜间发布框架可以提供20个主要关节的骨骼,但是只有一个联合信息来定位一个手掌。手掌关节不包括手掌轮廓,手指,指尖信息,然后不确定静态手势或者手指。因此,提出了指尖识别基于直接提取的轮廓和弯曲的手指。静态手势识别的工作流图所示3。过程是首先从深度定位和细分手流然后提取轮廓检测指尖使用曲率算法。

3.2.1之上。手段

得到手的轮廓,我们需要从深度段的手流。在这个项目中,我们使用基于深度的阈值分割方法。细分范围从手中心点的深度值加上或者减去深度值阈值。

让我们手骨骼关节定义为,=左和右,分别代表棕榈中心点的左手和右手。我们可以很容易地得到从深度图像的手势使用开源Kinect软件的函数。手中心点之间的距离和Kinect可以表达的 帧代表一个框架的深度图和深度图像的宽度代表一个宽度值。每个像素的深度图像是16位的,但是只有13位深度值是有效的。所以,每个像素的深度深度可以通过

手段被定义为的判断规则 在哪里有点常数表示深度的阈值和是一个逻辑的结果来判断是否每个像素点的深度图像是在手掌内。如果在深度图像每个像素值小于深度之和骨骼关节和一个深度阈值内的像素点是棕榈;否则就不是在手掌内。此外,如果阈值有一个变化范围,可以估计根据弯曲手指的长度。根据(1)- (3),我们得到的部分结果的一个手势,由图如图所示4。

事实上,没有绝对静止状态和手势通常是动态的,我们需要识别系统快速响应进一步远程控制或导航或复杂的人机界面。因此手势的识别程序必须跑得快。一个简单而快速的方法提供了一种可行性操作,确保动态手分割的准确性。

3.2.2。手轮廓提取

之前提取手的轮廓,我们必须进一步改善形象。在数据5和6,由于RGB相机和深度相机不定位在同一位置,像素坐标的RGB图像和深度图像中相应对象不能匹配。存在一些阴影,会严重影响识别的性能。此外,有不可避免的噪声图像。因此我们必须进行预处理的图片来消除它们。本文应用中值滤波方法(20.)来消除噪音和使用图像二值化方法提取手的形状,显示在图5。由于黑人和白人之间的灰度差,手轮廓是非常不同的。我们可以使用的开源功能OpenNI边缘过程有效地提取轮廓,显示在图6。

3.2.3。拟合手与多边形轮廓

详细的手势识别,基本思想是适应手轮廓多边形,然后数一只手的手指通过识别手指之间的凸点和凹点。本文使用曲率算法识别手指,手掌的凸点和凹点。如图7,重点手掌中心的点,手的轮廓,是th点后,是th之前。是一个向量分吗来。是一个向量分吗来。我们把一个角的余弦函数之间的和作为曲率的点。这个角可以表达的

通过判断是否角在一定的角度,我们可以进一步决定是否手的轮廓凸或凹点的手指。重要的是选择一个合适的角度阈值来判断。如果角度阈值太大,手腕附近可能被误解为指尖,而太少的阈值将导致识别失败。本文使用阈值小于55度的角度验证了很多次。如果小于阈值定义的角度,手的轮廓是一个凸或凹点的手掌。假设之间的欧几里得距离中点线 和点,之间的欧几里得距离吗和点。我们定义的规则如下。如果,是一个凹点在手指之间。如果,是一个凸点的手指,指尖。

使用上面定义的法律,手多边形轮廓的识别结果由图显示8。图像中,蓝线提出了轮廓,指尖的红色圆圈表示(即凸点),和蓝色的点显示凹点。更大的红色圆圈是轮廓的中心点,并计算了以下方程:

然而,对于一个实际应用,该方法无法表达所有数字的手势只数上面的点,尤其是在深度图的情况被Kinect是犹豫不决。为了解决这个问题,本文增加了一个辅助点,位于点远离轮廓中心点50像素,然后计数的数量高于辅助点凸点。识别结果如表所示1和2。从两个表中,我们可以确定适合每个数量的标准,然后通过标准识别号码。

3.3。动态手势识别

动态手势识别,本文采用动态时间规整(DTW) (21)检测手在背景复杂和混乱。DTW动态编程,需要大量的训练样本模板。根据这个框架,手势的手检测使用一个基于帧差分运动检测方法和深度分割。执行轨迹识别而不是使用最近邻分类框架使用DTW返回的相似性度量。我们组四个样品的手势,也就是说,波,点击,左,右。然而,它是不必要的获取和分析人体数据首先然后确定手的位置。在夜间图书馆,startGestureDetection函数在类HandTracker可以检测简单的手势,例如,波的参数是手骨骼关节。而手从右到左或从左到右,轨迹识别是必需的。在这样的时候,我们使用DTW算法来识别手势。大多数现有的方法集中在静态或动态手势迹象。 As a result, being able to classify both types of hand expressivity allows for understanding the most of hand gesture.

4所示。实验结果

在本节中,许多测试来验证提出的静态手势识别方法和救援体系的kinect视觉系统图9。救援系统的视觉系统是结合该静态手势和动态手势识别方法。用户的动作捕捉的Kinect传感器相比,这些手势之前定义。如果捕获的姿态在阈值范围内定义的手势,手势可以认可。然后,相应的命令发送到控制通过WiFi网络救援机器人的运动方向。

因为每个号码由手势有不同的凸点和凹点,本文使用的特性来识别号码。结果如图所示10。此外,该方法的多边形轮廓曲率计算进一步与两个不同的识别方法相比,也就是说,一个人工神经网络和模板匹配。测试采用了BP网络有11个输入网8隐藏网,和5个输出网和基于相关系数的模板匹配。90年测试,深度图像捕获的手势在不同的角度和距离Kinect,其中30个图像样本数据和60图像用于BP网络进行训练。第二列显示在表3多边形轮廓的识别率曲率计算是高于模板匹配方法。虽然他们使用更少的运行时,模板匹配方法过多依赖于手势模板的识别率较低。60件的BP网络训练数据的识别率高于多边形轮廓的方法,如第三列括号的表所示3,而BP网络与括号外的30块的训练数据具有更低的价值。BP网络的识别率更高成本的大量的样品和太多的运行时,它是不适合实时识别和进一步控制。因此,提出了多边形轮廓曲率计算比BP网络具有较高的识别率和模板匹配时没有太多的牺牲运行时。它验证该方法实现实时手势识别是可行的人机界面控制。

图11是一个接口,用于人机界面,用户可以发送一个识别结果救援机器人的控制系统。手势的识别主要依赖深度信息,和RGB图像提供了一些补充信息手轮廓提取。因此,如图11,它是实现,即使环境低illuminous或深色,手势的识别结果仍然是更好的。

5。结论

本文应用Kinect救援机器人的控制平台和礼物Kinect视觉系统低illuminous地下采矿隧道。糟糕的空气环境中,语音识别不为幸存者在地下矿井隧道工作,因为这些幸存者不能换气。低illuminous环境,RGB图像信息无法提取。Kinect能够获取目标信息的深度传感器,从而即使在黑暗的环境中工作。提出了一种静态手势识别方法,包括手轮廓提取和基于曲率的手凸多边形检测。此外,形象过程的界面结合提出了静态识别和DTW算法动态手认可。此外,比较测试中曲率多边形轮廓法、BP神经网络、和模板匹配,这表明,该方法具有较高的识别率,而没有牺牲的运行时。最后,提出了静态识别和动态手识别进行识别五个数字的手势和四个动态手势。实验结果验证kinect视觉系统。总之,它可以提供一个可行的救援机器人的视觉系统低illuminous地下环境。

然而,也有一些约束应用该算法时,如手的位置范围是有限的,不可避免的漏洞,和周围的声音对象获得图像的边界。因此,与更好的性能在地下营救机器人视觉系统需要探索更广泛。进一步提高kinect图像处理方案或更有效的算法将出现在未来。

利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是支持部分由中国国家自然科学基金(批准51305338),陕西省的科学研究计划项目(批准2013 jk1004),陕西省和技术创新项目(批准2013 ktcl01-02)。