我gydF4y2Ba 多媒体的发展gydF4y2Ba 1687 - 5699gydF4y2Ba 1687 - 5680gydF4y2Ba HindawigydF4y2Ba 10.1155 / 2017/2162078gydF4y2Ba 2162078gydF4y2Ba 研究文章gydF4y2Ba 手运动和姿势识别网络中的校准相机gydF4y2Ba 王gydF4y2Ba JingyagydF4y2Ba 1gydF4y2Ba http://orcid.org/0000 - 0001 - 6846 - 7289gydF4y2Ba PayandehgydF4y2Ba ShahramgydF4y2Ba 1gydF4y2Ba BrunnstromgydF4y2Ba 谢尔•gydF4y2Ba 网络机器人技术和遥感实验室gydF4y2Ba 工程科学学院gydF4y2Ba 西蒙弗雷泽大学gydF4y2Ba 本拿比gydF4y2Ba 公元前gydF4y2Ba 加拿大gydF4y2Ba V5A 1 s6gydF4y2Ba sfu.cagydF4y2Ba 2017年gydF4y2Ba 31日gydF4y2Ba 10gydF4y2Ba 2017年gydF4y2Ba 2017年gydF4y2Ba 29日gydF4y2Ba 04gydF4y2Ba 2017年gydF4y2Ba 30.gydF4y2Ba 08年gydF4y2Ba 2017年gydF4y2Ba 31日gydF4y2Ba 10gydF4y2Ba 2017年gydF4y2Ba 2017年gydF4y2Ba 版权©2017王Jingya Shahram Payandeh。gydF4y2Ba 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。gydF4y2Ba

本文提出一个手势识别相结合的方法建立轨迹和手的姿势识别。手部是分段的固定距离CbCr凌乱和移动背景和追踪的卡尔曼滤波器。两个校准摄像机的跟踪结果,3 d手运动轨迹可以重建。然后由动态运动建模原语和支持向量机训练轨迹识别。利用尺度不变特征变换,提取特征分割手的姿势,和手的姿势识别提出了新策略。介绍了姿态向量识别手势作为一个整体相结合的识别结果运动轨迹和手的姿势训练支持向量机的基于手势的手势识别向量。gydF4y2Ba

 1。介绍gydF4y2Ba

结果表明,近90%的日常交流是语言gydF4y2Ba 1gydF4y2Ba]。手势一直是一个强大的通讯工具在人们的日常生活。随着技术的发展,手势识别正成为一个重要的组成部分在创新的应用程序中,如人机界面,机器人tele-control,手语解释。摘要手势是指移动轨迹和手的姿势代表的手的形状和外表。gydF4y2Ba

几十年前,人类和计算机之间的交互是通过命令行接口键盘条目。通过技术进步,介绍了其他类型的用户界面的设备(如鼠标),可以提供替代传统的人机接口的设计。此外,结果表明,65%的人类交流涉及非语言手势(gydF4y2Ba 2gydF4y2Ba]。为听力受损的人,这个比例上升到100%。因此,手势,作为最主要的通信工具之一在我们的日常生活中,可以表达丰富的沟通模式与丰富的编码信息。开发一个手势界面丰富人机界面不仅提供了一个更方便的方法对听力受损,还可以增强和扩展当前的和现有模式的接口。gydF4y2Ba

手势识别可以分为两大类:基于ambient-based。基于手势识别需要用户戴手套等设备,标记,或其他工具以获得手或手臂关节角对应的空间位置(gydF4y2Ba 3gydF4y2Ba- - - - - -gydF4y2Ba 6gydF4y2Ba]。数据手套,一个3 d建模手设计(gydF4y2Ba 7gydF4y2Ba]。这手套措施使用模拟弯曲手指弯曲的角度传感器。采用了色彩斑斓的手套(gydF4y2Ba 5gydF4y2Ba)根据它的颜色重建手的姿势模式。由于电流传感器设计的进步,基于手势识别手势的收集相对准确的信息。此外,这样的手势识别方法是健壮的照亮变化的各种应用手势识别的主要缺点。gydF4y2Ba

ambient-based手手势识别、传感器捕获的图像场景和流程所需的信息需要确定手的动作和外表。为RGB类型传感器、姿态信息主要是依赖于手颜色或纹理(gydF4y2Ba 8gydF4y2Ba- - - - - -gydF4y2Ba 12gydF4y2Ba]。RGB-based系统的一个缺点是它对光照变化的敏感性。因此,如HSV色彩空间(gydF4y2Ba 13gydF4y2Ba],YCbCr [gydF4y2Ba 14gydF4y2Ba)、CIE实验室或CIE爱可以利用。的分类方法,如贝叶斯分类器与直方图技术(gydF4y2Ba 15gydF4y2Ba和高斯分类器gydF4y2Ba 16gydF4y2Ba,gydF4y2Ba 17gydF4y2Ba)通常被介绍。还有其他的手势识别的方法。例如,为了解决与RGB图像相关联的一些限制,介绍了深度传感器为了捕捉手运动(gydF4y2Ba 18gydF4y2Ba- - - - - -gydF4y2Ba 20.gydF4y2Ba]。深度传感器的输出可以被编码为灰度图像,在强度对应于对象和摄像机之间的距离。手势识别,因为手通常是最接近的移动物体到相机,可以定义一个合适的阈值灰度图像,以消除背景噪音。红外相机结合回射的标志也是为了确定使用的位置和姿态的手的一个相机(gydF4y2Ba 21gydF4y2Ba]。在本文中,两个校准RGB相机是用来记录手势。这些摄像机是利用稳定的照明条件下。由于相机的曝光补偿,YCbCr颜色空间采用手区域分割。gydF4y2Ba

作为一个最灵巧的手,人类身体的一部分,有27个自由度可以占领各种形状和外表。提取的手从其余的形象,颜色线索和运动线索通常用于从背景中手。肤色通常更独特、更敏感,照明色相饱和度的变化比在RGB颜色空间(gydF4y2Ba 9gydF4y2Ba]。大部分的颜色分割方法依赖于直方图匹配(gydF4y2Ba 23gydF4y2Ba,gydF4y2Ba 24gydF4y2Ba]。颜色提示不健壮的光照变化,经常导致未被发现的皮肤区域或错误检测nonskin区域。为了解决这样的问题,一些假设,如区域大小(规模过滤器)或特定的空间位置(位置过滤器)。另一个解决此类问题是允许用户戴手套有独特的颜色(gydF4y2Ba 5gydF4y2Ba)或特殊标记(LED灯(gydF4y2Ba 3gydF4y2Ba,gydF4y2Ba 25gydF4y2Ba),荧光材料(gydF4y2Ba 26gydF4y2Ba])或干净的背景噪音不大(gydF4y2Ba 12gydF4y2Ba]。这些方法是健壮的光照变化,但失去的意图解放从手套的手。运动线索通常用作分段的主要组件之一移动物体如图像帧的手或胳膊。它们也可以用于分段手势从静止的背景gydF4y2Ba 11gydF4y2Ba,gydF4y2Ba 27gydF4y2Ba,gydF4y2Ba 28gydF4y2Ba]。gydF4y2Ba

特征提取是非常重要的姿势识别。最简单、最常用的功能是手可以很容易地提取的轮廓。轮廓是一组常用的功能。几种不同的边缘检测方案可以用于生产轮廓gydF4y2Ba 9gydF4y2Ba]。轮廓通常采用与3 d模型,构建基于手的形状和结构。手的姿势可以被比较的相似性检测轮廓和生成轮廓基于手模型(gydF4y2Ba 29日gydF4y2Ba,gydF4y2Ba 30.gydF4y2Ba]。在[gydF4y2Ba 29日gydF4y2Ba),他们建立一个3 d模型与27个自由度模型的表达。手势识别是通过比较生成的基于模型和输入手的轮廓图像。另一个常用功能的姿势识别图提示。姿势可以识别五个指尖的位置的基础上,通过提取标记(LED照明灯gydF4y2Ba 3gydF4y2Ba,gydF4y2Ba 25gydF4y2Ba]或空间颜色)或在轮廓凸包(gydF4y2Ba 31日gydF4y2Ba]。还有其他功能探测器,可以应用于实现姿态识别,如尺度不变特征变换(筛选),这是对光照变化,规模和方向变化(gydF4y2Ba 32gydF4y2Ba- - - - - -gydF4y2Ba 35gydF4y2Ba];Haar-like功能,将手姿势转换成Haar小波变换的系数向量(gydF4y2Ba 36gydF4y2Ba];和方向直方图(gydF4y2Ba 37gydF4y2Ba]。gydF4y2Ba

手势是表现在四个方面:手的形状,位置,方向,和运动gydF4y2Ba 38gydF4y2Ba]。相同的语义路径通常是在不同尺度、速度、和形状由于个体差异。统计模型,隐马尔可夫模型(HMM)被发现在时空的时间序列建模效率相同的手势有不同的形状和持续时间(gydF4y2Ba 39gydF4y2Ba,gydF4y2Ba 40gydF4y2Ba]。其他特征提取方法如高斯混合模型和主成分分析(gydF4y2Ba 41gydF4y2Ba,gydF4y2Ba 42gydF4y2Ba)可以用来增强HMM识别过程。有限状态机(FSM)类似于嗯模型手运动在一个时空配置空间的有序状态(gydF4y2Ba 8gydF4y2Ba,gydF4y2Ba 43gydF4y2Ba]。提出的动态运动原语(DMP) (gydF4y2Ba 44gydF4y2Ba)是用于(gydF4y2Ba 43gydF4y2Ba)2 d轨迹识别,取得了一个令人印象深刻的98.06%的准确性。DMP编码的姿态路径权重向量保持拓扑结构的路径。DMP的好处是(a)的时空变化的姿态路径和(b)容易调整基于手势的权向量的维数路径复杂性适应不同的应用程序。gydF4y2Ba

手的姿势识别是手势识别的另一个关键部分。模板匹配是一个简单的姿势识别方法,并可以很容易地添加或删除模板类。提取特征的手的姿势,在轮廓凸包(gydF4y2Ba 31日gydF4y2Ba]或指尖检测使用圆形面具作为相关技术(gydF4y2Ba 45gydF4y2Ba可以使用。然而,这些识别方法,基于轮廓或轮廓通常需要一个干净的背景,手可以分割。在我们的例子中,手的姿势是一个杂乱和移动背景和使用颜色YCbCr空间分割。有时,手不能从背景中分割出来。在这种情况下,一方面可以作为部分堵塞。因此,特征检测器对光照变化和部分遮挡是必要的。可以这样的尺度不变特征变换(SIFT)特征检测器和描述符也是强大的规模和方向变化。此外,它健壮一些仿射变形在允许的范围内,可以受益的姿势识别。这是由于这样的事实:手和摄像机之间的相对位置的变化会导致仿射畸变之间的输入手姿势和体态模板。在我们的工作中,筛选用于特征检测器和姿势识别。 Combining recognition results of gesture path and hand postures, a gesture vector is proposed for gesture recognition [ 46gydF4y2Ba]。gydF4y2Ba

摘要手势是指移动轨迹和手的姿势代表的手的形状和外观。手运动也被称为姿态路径。两个校准相机是用来记录的手势。这些摄像机是利用稳定的照明条件下。由于相机的曝光补偿,YCbCr颜色空间采用手区域分割。本文也只集中在形状和运动自手位置和姿态参与身体上下文不考虑我们的工作。gydF4y2Ba

 2。预赛gydF4y2Ba

本节给出了初步分析和结果获得有关论文的主要贡献。两个预赛,三维坐标重建和分割,介绍了。三维坐标重建世界空间中的一个点的方法使用两个校准相机提出了部分gydF4y2Ba 2.1gydF4y2Ba。部分gydF4y2Ba 2.2gydF4y2Ba介绍和实验比较了几种方法的肤色分割和从背景中提取手部的方案。gydF4y2Ba

2.1。摄像机标定gydF4y2Ba

两个校准相机是用来捕捉手运动的重叠视野重建3 d手运动轨迹。两个摄像头的设置如图gydF4y2Ba 1gydF4y2Ba。相机和世界坐标之间的关系图gydF4y2Ba 2gydF4y2Ba。基于针孔相机模型,一个点之间的关系gydF4y2Ba 问gydF4y2Ba 在世界坐标和投影gydF4y2Ba 问gydF4y2Ba 1gydF4y2Ba 在图像平面上的相机gydF4y2Ba CgydF4y2Ba 1gydF4y2Ba 所示(gydF4y2Ba 1gydF4y2Ba)。投影的关系gydF4y2Ba 问gydF4y2Ba 2gydF4y2Ba 在相机gydF4y2Ba CgydF4y2Ba 2gydF4y2Ba 和相同的点gydF4y2Ba 问gydF4y2Ba 制定本法(gydF4y2Ba 2gydF4y2Ba)。gydF4y2Ba (1)gydF4y2Ba 问gydF4y2Ba 1gydF4y2Ba =gydF4y2Ba KgydF4y2Ba 1gydF4y2Ba RgydF4y2Ba 1gydF4y2Ba ∣gydF4y2Ba tgydF4y2Ba 1gydF4y2Ba 问gydF4y2Ba ,gydF4y2Ba (2)gydF4y2Ba 问gydF4y2Ba 2gydF4y2Ba =gydF4y2Ba KgydF4y2Ba 2gydF4y2Ba RgydF4y2Ba 2gydF4y2Ba ∣gydF4y2Ba tgydF4y2Ba 2gydF4y2Ba 问gydF4y2Ba 。gydF4y2Ba

校准相机的设置。gydF4y2Ba

图表相机的空间关系gydF4y2Ba CgydF4y2Ba 1gydF4y2Ba 和照相机gydF4y2Ba CgydF4y2Ba 2gydF4y2Ba 对世界坐标原点gydF4y2Ba OgydF4y2Ba 。gydF4y2Ba

内在矩阵,gydF4y2Ba KgydF4y2Ba 1gydF4y2Ba 和gydF4y2Ba KgydF4y2Ba 2gydF4y2Ba ,分别计算了相机标定为MATLAB工具箱(gydF4y2Ba 47gydF4y2Ba)在两个摄像机。外在的矩阵,gydF4y2Ba (gydF4y2Ba RgydF4y2Ba 1gydF4y2Ba ∣gydF4y2Ba tgydF4y2Ba 1gydF4y2Ba ]gydF4y2Ba 和gydF4y2Ba (gydF4y2Ba RgydF4y2Ba 2gydF4y2Ba ∣gydF4y2Ba tgydF4y2Ba 2gydF4y2Ba ]gydF4y2Ba ,代表着旋转gydF4y2Ba RgydF4y2Ba 和翻译gydF4y2Ba tgydF4y2Ba 世界坐标系与摄像机坐标系之间,gydF4y2Ba CgydF4y2Ba 1gydF4y2Ba 和gydF4y2Ba CgydF4y2Ba 2gydF4y2Ba ,分别。gydF4y2Ba

本节的目标是重建一个点的位置在世界空间利用其投影图像平面上的两个校准相机。目标是重建的坐标gydF4y2Ba 问gydF4y2Ba 基于gydF4y2Ba 问gydF4y2Ba 1gydF4y2Ba 和gydF4y2Ba 问gydF4y2Ba 2gydF4y2Ba 在(gydF4y2Ba 1gydF4y2Ba)和(gydF4y2Ba 2gydF4y2Ba)(这将导致4个方程三个未知数)。的坐标gydF4y2Ba 问gydF4y2Ba 可以计算三个未知数。根据实验装置的几何,特定的值gydF4y2Ba KgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba KgydF4y2Ba 2gydF4y2Ba ,gydF4y2Ba RgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba RgydF4y2Ba 2gydF4y2Ba ,gydF4y2Ba tgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba tgydF4y2Ba 2gydF4y2Ba 被计算为gydF4y2Ba (3)gydF4y2Ba KgydF4y2Ba 1gydF4y2Ba =gydF4y2Ba 561年gydF4y2Ba 0gydF4y2Ba 338年gydF4y2Ba 0gydF4y2Ba 561年gydF4y2Ba 230年gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba KgydF4y2Ba 2gydF4y2Ba =gydF4y2Ba 560年gydF4y2Ba 0gydF4y2Ba 339年gydF4y2Ba 0gydF4y2Ba 560年gydF4y2Ba 220年gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba RgydF4y2Ba 1gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba 1gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba ,gydF4y2Ba tgydF4y2Ba 1gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba 9gydF4y2Ba 44gydF4y2Ba cgydF4y2Ba 米gydF4y2Ba ,gydF4y2Ba RgydF4y2Ba 2gydF4y2Ba =gydF4y2Ba 0.707gydF4y2Ba - - - - - -gydF4y2Ba 0.707gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba 0.707gydF4y2Ba 0.707gydF4y2Ba 0gydF4y2Ba ,gydF4y2Ba tgydF4y2Ba 2gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba 9gydF4y2Ba 40gydF4y2Ba cgydF4y2Ba 米gydF4y2Ba 。gydF4y2Ba

实验评价,一盒由透明塑料两摄像机放置在重叠视图。这个盒子的尺寸图gydF4y2Ba 3gydF4y2Ba。图gydF4y2Ba 4gydF4y2Ba显示了两个不同的观点被摄像头。gydF4y2Ba

维度的透明盒子。gydF4y2Ba

两个摄像头的透明盒子在视图中。八个角都有红色的十字架。gydF4y2Ba

表gydF4y2Ba 1gydF4y2Ba列表8个顶点的坐标的图像平面和重建的3 d坐标在物质世界。地面真理的八个盒子角落也在此表中列出。消除任何坐标系统之间的位移误差,八个角点之间的相对位置在盒子上计算并与地面真理。表中列出的结果gydF4y2Ba 2gydF4y2Ba这也显示值之间的相对误差。gydF4y2Ba

3 d塑料盒上的八个角点的坐标投影点在世界坐标系中恢复的图像平面上的两个摄像头。gydF4y2Ba

CgydF4y2Ba 1gydF4y2Ba (像素)gydF4y2Ba CgydF4y2Ba 2gydF4y2Ba (像素)gydF4y2Ba 恢复三维坐标(cm)gydF4y2Ba 地面真理(厘米)gydF4y2Ba
bgydF4y2Ba 1gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 334334年gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 1gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 293375年gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 1gydF4y2Ba ′gydF4y2Ba =gydF4y2Ba (gydF4y2Ba - - - - - -gydF4y2Ba 3.9,0.3gydF4y2Ba ,gydF4y2Ba - - - - - -gydF4y2Ba 0.5gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 1gydF4y2Ba =gydF4y2Ba (gydF4y2Ba - - - - - -gydF4y2Ba 3,0gydF4y2Ba ,gydF4y2Ba 0gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba
bgydF4y2Ba 2gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 334160年gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 2gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 291173年gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 2gydF4y2Ba ′gydF4y2Ba =gydF4y2Ba (gydF4y2Ba - - - - - -gydF4y2Ba 4.0,0.4,12.8gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 2gydF4y2Ba =gydF4y2Ba (gydF4y2Ba - - - - - -gydF4y2Ba 3,0gydF4y2Ba ,gydF4y2Ba 13.1gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba
bgydF4y2Ba 3gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 468158年gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 3gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 412161年gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 3gydF4y2Ba ′gydF4y2Ba =gydF4y2Ba (gydF4y2Ba - - - - - -gydF4y2Ba 3.6gydF4y2Ba ,gydF4y2Ba - - - - - -gydF4y2Ba 9.3,12.9gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 3gydF4y2Ba =gydF4y2Ba (gydF4y2Ba - - - - - -gydF4y2Ba 3gydF4y2Ba ,gydF4y2Ba - - - - - -gydF4y2Ba 9.8,13.1gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba
bgydF4y2Ba 4gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 471341年gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 4gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 410406年gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 4gydF4y2Ba ′gydF4y2Ba =gydF4y2Ba (gydF4y2Ba - - - - - -gydF4y2Ba 3.4gydF4y2Ba ,gydF4y2Ba - - - - - -gydF4y2Ba 9.5gydF4y2Ba ,gydF4y2Ba - - - - - -gydF4y2Ba 0.3gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 4gydF4y2Ba =gydF4y2Ba (gydF4y2Ba - - - - - -gydF4y2Ba 3gydF4y2Ba ,gydF4y2Ba - - - - - -gydF4y2Ba 9.8,0gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba
bgydF4y2Ba 5gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 335335年gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 5gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 323368年gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 5gydF4y2Ba ′gydF4y2Ba =gydF4y2Ba (gydF4y2Ba - - - - - -gydF4y2Ba 1.2,0.3gydF4y2Ba ,gydF4y2Ba - - - - - -gydF4y2Ba 0.4gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 5gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 0,0gydF4y2Ba ,gydF4y2Ba 0gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba
bgydF4y2Ba 6gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 333165年gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 6gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 322182年gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 6gydF4y2Ba ′gydF4y2Ba =gydF4y2Ba (gydF4y2Ba - - - - - -gydF4y2Ba 1.2,0.5,12.6gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 6gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 0,0gydF4y2Ba ,gydF4y2Ba 13.1gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba
bgydF4y2Ba 7gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 460166年gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 7gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 442167年gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 7gydF4y2Ba ′gydF4y2Ba =gydF4y2Ba (gydF4y2Ba - - - - - -gydF4y2Ba 0.7gydF4y2Ba ,gydF4y2Ba - - - - - -gydF4y2Ba 9.3,12.7gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 7gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 0gydF4y2Ba ,gydF4y2Ba - - - - - -gydF4y2Ba 9.8,13.1gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba
bgydF4y2Ba 8gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 463333年gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 8gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 438396年gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 8gydF4y2Ba ′gydF4y2Ba =gydF4y2Ba (gydF4y2Ba - - - - - -gydF4y2Ba 1。4gydF4y2Ba ,gydF4y2Ba - - - - - -gydF4y2Ba 9.5gydF4y2Ba ,gydF4y2Ba - - - - - -gydF4y2Ba 0.3gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba bgydF4y2Ba 8gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 0gydF4y2Ba ,gydF4y2Ba - - - - - -gydF4y2Ba 9.8,0gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba

八个角点之间的相对位置关系。gydF4y2Ba

点关系gydF4y2Ba 恢复(cm)的距离gydF4y2Ba 地面真理(厘米)gydF4y2Ba 错误(厘米)gydF4y2Ba
|gydF4y2Ba bgydF4y2Ba 1gydF4y2Ba - - - - - -gydF4y2Ba bgydF4y2Ba 2gydF4y2Ba |gydF4y2Ba (gydF4y2Ba 0.1,0.1,13.3gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba (gydF4y2Ba 0,0gydF4y2Ba ,gydF4y2Ba 13.1gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba (gydF4y2Ba 0.1,0.1,0.2gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba
bgydF4y2Ba 1gydF4y2Ba - - - - - -gydF4y2Ba bgydF4y2Ba 4gydF4y2Ba (gydF4y2Ba 0.5,9.8,0.2gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba (gydF4y2Ba 0,9.8,0gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba (gydF4y2Ba 0.5,0gydF4y2Ba ,gydF4y2Ba 0.2gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba
bgydF4y2Ba 1gydF4y2Ba - - - - - -gydF4y2Ba bgydF4y2Ba 5gydF4y2Ba (gydF4y2Ba 2.7,0gydF4y2Ba ,gydF4y2Ba 0.1gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba (gydF4y2Ba 3,0gydF4y2Ba ,gydF4y2Ba 0gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba (gydF4y2Ba 0.3,0gydF4y2Ba ,gydF4y2Ba 0.1gydF4y2Ba ]gydF4y2Ba TgydF4y2Ba
2.2。手分割gydF4y2Ba

一个高效的手分割方法对视觉跟踪是成功的关键,进一步的姿势识别。可能存在各种各样的手出现在不同的姿势,角度和方向。颜色提示是一种有效的工具来识别背景的手。然而,分段从杂乱的背景是非常具有挑战性的gydF4y2Ba 48gydF4y2Ba)由于存在不同的皮肤颜色与人的肤色不同光照下也可以改变。在本节中,一个合适的颜色空间表示的皮肤颜色是探索;位置和尺寸约束添加到定位手部。gydF4y2Ba

给定一个单色的手部或不同的颜色背景,手部可以通过阈值分割的背景颜色。杂乱的背景,里面有多种颜色包括摄像机视图。人体皮肤有相对一致的颜色是不同于许多对象的颜色(gydF4y2Ba 49gydF4y2Ba]。因此,皮肤颜色可以是一个重要的线索将手从背景区域。一个合适的颜色空间和分类算法是必不可少的成功和有效的皮肤分割。皮肤分割了许多颜色空间在前面研究[gydF4y2Ba 13gydF4y2Ba- - - - - -gydF4y2Ba 15gydF4y2Ba]。红绿蓝(RGB)颜色空间对光照的变化很敏感,这是手分割效率较低。Hue-Saturation-Value (HSV) [gydF4y2Ba 13gydF4y2Ba]和YCbCr [gydF4y2Ba 14gydF4y2Ba更健壮的比较RGB色彩空间,因此广泛用于皮肤分割与不同的照明条件。gydF4y2Ba

存在不同的分类算法,如分段线性分类器(gydF4y2Ba 14gydF4y2Ba,gydF4y2Ba 50gydF4y2Ba)和贝叶斯分类器与直方图技术(gydF4y2Ba 15gydF4y2Ba为皮肤分割。分析和比较的皮肤分割使用颜色像素分类(gydF4y2Ba 49gydF4y2Ba)展示不同的皮肤颜色表示和分类的性能。此外,基于贝叶斯分类器RGB, 3 d高斯混合(RGB)和固定距离CbCr显示所有获得良好的表演在一个共同的数据集(gydF4y2Ba 49gydF4y2Ba]。本研究复制在我们基于三种肤色分类器实验装置。贝叶斯RGB分类器和3 d RGB高斯混合分类器训练在[使用方法和数据报告gydF4y2Ba 15gydF4y2Ba]。固定距离CbCr分类器(gydF4y2Ba 77年gydF4y2Ba ≤gydF4y2Ba CgydF4y2Ba bgydF4y2Ba ≤gydF4y2Ba 127年gydF4y2Ba 和gydF4y2Ba 133年gydF4y2Ba ≤gydF4y2Ba CgydF4y2Ba rgydF4y2Ba ≤gydF4y2Ba 173年gydF4y2Ba 在()获得使用方法报告gydF4y2Ba 14gydF4y2Ba]。图gydF4y2Ba 5(一个)gydF4y2Ba一个手势视频中显示了一个典型的框架。使用贝叶斯RGB肤色分割结果,3 d RGB高斯混合,固定距离(CbCr)分类器数据所示gydF4y2Ba 5 (b)gydF4y2Ba,gydF4y2Ba 5 (c)gydF4y2Ba,gydF4y2Ba 5 (d)gydF4y2Ba,分别。固定距离CbCr分类器给最好的结果在三个分类器,从准确的皮肤分割图表示gydF4y2Ba 5gydF4y2Ba。gydF4y2Ba

手皮肤分割不同的分类器。gydF4y2Ba

原始图像gydF4y2Ba

贝叶斯RGB分类器gydF4y2Ba

高斯分类器gydF4y2Ba

固定距离CbCrgydF4y2Ba

我们评估了固定距离CbCr分类器在其他几个样本用手势帧不同的肤色、照明条件和背景。表gydF4y2Ba 3gydF4y2Ba显示了分割的结果。在我们的研究中,gydF4y2Ba 房间光线gydF4y2Ba代表现有的荧光照明条件(即在我们的实验室。,30.0- - - - - -500陆x米e一个年代ured using standard light meter (Reed LM-81LX), held vertically at the position of the hand). The 强烈的光gydF4y2Ba代表现有的房间如前所述光加上额外的标准LED台灯指向主体(即。,500 - 800勒克斯测量使用标准照度计(Reed lm - 81 lx),垂直握住手的位置)。剩余的这项研究中,固定距离CbCr分类器采用皮肤分割为分段的手在我们的系统混乱和移动背景。类似于其他分割方法,固定距离CbCr方法仍然可以导致出现一些背景噪音(blob分割结果在表中显示gydF4y2Ba 3gydF4y2Ba)。在我们的研究中,一个上规模限制分段介绍了气泡的大小(即。,3000像素),所有的噪音blob小于约束将被消除。gydF4y2Ba

皮肤固定距离CbCr分类器的分类结果。gydF4y2Ba

图像获取条件gydF4y2Ba 原始图像gydF4y2Ba 分割结果gydF4y2Ba
光(我)房间gydF4y2Ba(2)300 - 500勒克斯gydF4y2Ba(3)较轻的皮肤颜色gydF4y2Ba
(我)强光gydF4y2Ba(2)500 - 800勒克斯gydF4y2Ba(3)较轻的皮肤颜色gydF4y2Ba
光(我)房间gydF4y2Ba(2)300 - 500勒克斯gydF4y2Ba(3)较轻的皮肤颜色gydF4y2Ba
(我)强光gydF4y2Ba(2)500 - 800勒克斯gydF4y2Ba(3)深色皮肤的颜色gydF4y2Ba
光(我)房间gydF4y2Ba(2)300 - 500勒克斯gydF4y2Ba(3)深色皮肤的颜色gydF4y2Ba
3所示。手跟踪和轨迹重建gydF4y2Ba

在前面的小节中,手blob分段,在一些不理想的情况下,其他还包括皮肤面部和颈部等领域作为分割过程的一部分。由于手部的相似之处和其他皮肤区域共享的各种属性,如形状和颜色,计划涉及位置约束采用单独的手从其他皮肤斑点。卡尔曼滤波器(KF)是用来跟踪和降低其他皮肤区域的影响姿态和轨迹识别。根据跟踪结果,手的运动轨迹可以重建。gydF4y2Ba

3.1。卡尔曼滤波的应用gydF4y2Ba

卡尔曼滤波器(KF) [gydF4y2Ba 51gydF4y2Ba)已广泛应用于计算机视觉社区为对象跟踪gydF4y2Ba 52gydF4y2Ba]。在这里,一个状态的简化表示gydF4y2Ba xgydF4y2Ba 和时间gydF4y2Ba tgydF4y2Ba 被定义为重心的位置和速度的blob,还是gydF4y2Ba (4)gydF4y2Ba xgydF4y2Ba tgydF4y2Ba =gydF4y2Ba ugydF4y2Ba tgydF4y2Ba ,gydF4y2Ba vgydF4y2Ba tgydF4y2Ba ,gydF4y2Ba ugydF4y2Ba tgydF4y2Ba ′gydF4y2Ba ,gydF4y2Ba vgydF4y2Ba tgydF4y2Ba ′gydF4y2Ba TgydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba (gydF4y2Ba ugydF4y2Ba tgydF4y2Ba ,gydF4y2Ba vgydF4y2Ba tgydF4y2Ba )gydF4y2Ba 代表的重心的像素值手团,由黄色的边界框计算图gydF4y2Ba 6gydF4y2Ba。生成的边界框是最大分四个方向,包括,,,,的手blob。关键是用一个向量表示gydF4y2Ba (gydF4y2Ba ugydF4y2Ba ,gydF4y2Ba vgydF4y2Ba ]gydF4y2Ba TgydF4y2Ba ,在那里gydF4y2Ba ugydF4y2Ba 和gydF4y2Ba vgydF4y2Ba 边界框中心的像素值是由红十字会表示。gydF4y2Ba ugydF4y2Ba tgydF4y2Ba ′gydF4y2Ba 和gydF4y2Ba vgydF4y2Ba tgydF4y2Ba ′gydF4y2Ba 显示的速度手blob的方向gydF4y2Ba ugydF4y2Ba 和gydF4y2Ba vgydF4y2Ba 分别在框架gydF4y2Ba tgydF4y2Ba 。滤波器的实现包括两个步骤,预测步骤(更新)和校正步骤(测量)。为每个视频帧,手的位置预测从先前的帧。根据测量KF模型修改。图gydF4y2Ba 7gydF4y2Ba显示在KF迭代的概念图。由于KF是一个递归估计,预测步骤,计算下次估计状态的步骤只需要估计状态和当前时间步的测量。gydF4y2Ba

手的位置是由像素值的质心分段手blob。gydF4y2Ba

KF的迭代的迭代周期。gydF4y2Ba

例如,gydF4y2Ba 一个gydF4y2Ba 可以被定义为一个吗gydF4y2Ba 4gydF4y2Ba ×gydF4y2Ba 4gydF4y2Ba 状态转移矩阵模型转换当前状态之间的关系gydF4y2Ba xgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba 和下一个状态gydF4y2Ba xgydF4y2Ba tgydF4y2Ba 。测量矩阵gydF4y2Ba HgydF4y2Ba 是一个gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba 4gydF4y2Ba 矩阵映射gydF4y2Ba xgydF4y2Ba tgydF4y2Ba 为观察向量gydF4y2Ba zgydF4y2Ba tgydF4y2Ba 。这个系统中的KF运动模型简化为一个恒定的速度模型。转换模型gydF4y2Ba 一个gydF4y2Ba 和测量模型gydF4y2Ba HgydF4y2Ba 整个跟踪过程中剩余的是相同的。在预测步骤,之前估计的状态gydF4y2Ba xgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba 和之前的估计误差协方差gydF4y2Ba PgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba 可以通过下面的计算方程,在哪里gydF4y2Ba WgydF4y2Ba 过程噪声协方差的高斯分布噪声gydF4y2Ba 问gydF4y2Ba 。gydF4y2Ba (5)gydF4y2Ba xgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba xgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba - - - - - -gydF4y2Ba +gydF4y2Ba WgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba ⟹gydF4y2Ba ugydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba vgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba ugydF4y2Ba tgydF4y2Ba ′gydF4y2Ba - - - - - -gydF4y2Ba vgydF4y2Ba tgydF4y2Ba ′gydF4y2Ba - - - - - -gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba 0gydF4y2Ba 1gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 1gydF4y2Ba 0gydF4y2Ba 1gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 1gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 1gydF4y2Ba ugydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba vgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba ugydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba ′gydF4y2Ba vgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba ′gydF4y2Ba +gydF4y2Ba WgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba PgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba PgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba 一个gydF4y2Ba TgydF4y2Ba +gydF4y2Ba 问gydF4y2Ba ,gydF4y2Ba pgydF4y2Ba WgydF4y2Ba ~gydF4y2Ba NgydF4y2Ba 0gydF4y2Ba ,gydF4y2Ba 问gydF4y2Ba 。gydF4y2Ba

实际需要测量手的位置纠正之前的状态gydF4y2Ba xgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba 和误差协方差gydF4y2Ba PgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba 。为了生成和改善后的状态gydF4y2Ba xgydF4y2Ba tgydF4y2Ba 更好的精度,测量gydF4y2Ba zgydF4y2Ba tgydF4y2Ba 可以根据我们的恒定速度计算的假设如下:gydF4y2Ba (6)gydF4y2Ba zgydF4y2Ba tgydF4y2Ba =gydF4y2Ba HgydF4y2Ba xgydF4y2Ba tgydF4y2Ba +gydF4y2Ba VgydF4y2Ba tgydF4y2Ba ⟹gydF4y2Ba ugydF4y2Ba 米gydF4y2Ba egydF4y2Ba 一个gydF4y2Ba 年代gydF4y2Ba tgydF4y2Ba vgydF4y2Ba 米gydF4y2Ba egydF4y2Ba 一个gydF4y2Ba 年代gydF4y2Ba tgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 1gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba ugydF4y2Ba tgydF4y2Ba vgydF4y2Ba tgydF4y2Ba ugydF4y2Ba tgydF4y2Ba ′gydF4y2Ba vgydF4y2Ba tgydF4y2Ba ′gydF4y2Ba +gydF4y2Ba VgydF4y2Ba tgydF4y2Ba ,gydF4y2Ba pgydF4y2Ba VgydF4y2Ba tgydF4y2Ba ~gydF4y2Ba NgydF4y2Ba 0gydF4y2Ba ,gydF4y2Ba RgydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba VgydF4y2Ba tgydF4y2Ba 是高斯分布的测量噪声和噪声协方差呢gydF4y2Ba RgydF4y2Ba 。后状态gydF4y2Ba xgydF4y2Ba tgydF4y2Ba 和误差协方差gydF4y2Ba PgydF4y2Ba tgydF4y2Ba 可以得到的校正方程。gydF4y2Ba (7)gydF4y2Ba KgydF4y2Ba tgydF4y2Ba =gydF4y2Ba PgydF4y2Ba tgydF4y2Ba HgydF4y2Ba TgydF4y2Ba HgydF4y2Ba PgydF4y2Ba tgydF4y2Ba HgydF4y2Ba TgydF4y2Ba +gydF4y2Ba RgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba xgydF4y2Ba tgydF4y2Ba =gydF4y2Ba xgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba +gydF4y2Ba KgydF4y2Ba tgydF4y2Ba zgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba HgydF4y2Ba tgydF4y2Ba xgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba ,gydF4y2Ba PgydF4y2Ba tgydF4y2Ba =gydF4y2Ba 我gydF4y2Ba - - - - - -gydF4y2Ba KgydF4y2Ba tgydF4y2Ba HgydF4y2Ba PgydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba KgydF4y2Ba 增益矩阵。此外,为了限制跟踪状态定义在每个框架中,饱和值定义中间帧。这个添加指标被定义为blob的面积的函数可以进一步提高跟踪结果的鲁棒性。gydF4y2Ba

 3.2。实验研究gydF4y2Ba

在本节中,实验结果与不同的速度和条件提出了单手使用的跟踪(与跟踪相关结果可以发现两只手在gydF4y2Ba 53gydF4y2Ba])。图gydF4y2Ba 8gydF4y2Ba显示了两个摄像头和示例的设置帧从相机gydF4y2Ba CgydF4y2Ba 1gydF4y2Ba 和gydF4y2Ba CgydF4y2Ba 2gydF4y2Ba 也包括在内。帧从相机gydF4y2Ba CgydF4y2Ba 1gydF4y2Ba 和照相机gydF4y2Ba CgydF4y2Ba 2gydF4y2Ba 也被称为前视图和侧视图,分别在剩下的纸。gydF4y2Ba

两个摄像头的系统设置。示例框架由照相机拍摄的gydF4y2Ba CgydF4y2Ba 1gydF4y2Ba 和gydF4y2Ba CgydF4y2Ba 2gydF4y2Ba 列出在左边的这幅图像。gydF4y2Ba

图gydF4y2Ba 9gydF4y2Ba显示了多个摄像机跟踪的结果的一个最小的背景噪音的存在。案件涉及的背景噪音,人物gydF4y2Ba 10gydF4y2Ba显示了一个示例的跟踪结果。初始化,blob时成功地定位和跟踪手团不是与任何背景噪音重叠区域(图gydF4y2Ba 10gydF4y2Ba(a))。在下一帧(图gydF4y2Ba 10gydF4y2Ba(e)),现在手重叠噪声颜色斑点区域。前一帧的边界框而不是扩大到包括整个颜色斑点,KF的预测跟踪结果是为了适应在新手调整边界框的位置。在下一帧,重叠的结束和边界框的大小和位置更新手blob。KF跟踪在这种情况下表现良好,但如果手部与背景噪音重叠的时间较长,边界框的状态与跟踪结果将基于预测的手的速度慢慢散去。图gydF4y2Ba 11gydF4y2Ba显示了一个示例。手blob数据跟踪gydF4y2Ba 11gydF4y2Ba(一),gydF4y2Ba 11gydF4y2Ba(b)gydF4y2Ba 11gydF4y2Ba(c),当背景噪音的手重叠区域很长一段时间,系统将失去跟踪手的区域。gydF4y2Ba

样本从手势视频帧的手移动和KF跟踪结果。第一列((一),(e),(我)和(m))和第二列((b)、(f) (j)和(n))显示原始帧剪从相机gydF4y2Ba CgydF4y2Ba 1gydF4y2Ba 和照相机gydF4y2Ba CgydF4y2Ba 2gydF4y2Ba ,分别。跟踪结果对相机视图显示在第三列((c)、(g)、(k)和(o))和第四列((d)、(h)、(l)和(p))。gydF4y2Ba

样品从手势视频帧剪手移动和重叠的背景噪音。第一行((a)、(b)和(c))显示了原始帧被相机gydF4y2Ba CgydF4y2Ba 2gydF4y2Ba 。第二行((d)、(e)和(f))显示了跟踪结果。gydF4y2Ba

样品从手势视频帧剪手团重叠背景blob。第一行((a)、(b) (c)和(d))显示了原始帧被相机gydF4y2Ba CgydF4y2Ba 1gydF4y2Ba 。第二行((e)、(f) (g)和(h))显示了跟踪结果。gydF4y2Ba

 4所示。轨迹重建和平滑gydF4y2Ba

节gydF4y2Ba 2gydF4y2Ba,这是显示一个点的三维坐标的重叠区域内的摄像机视图可以通过投影图像上的像素值重建飞机。为每个实例的时间gydF4y2Ba tgydF4y2Ba 跟踪状态的定义,手中心gydF4y2Ba (gydF4y2Ba ugydF4y2Ba 1gydF4y2Ba tgydF4y2Ba ,gydF4y2Ba vgydF4y2Ba 1gydF4y2Ba tgydF4y2Ba ]gydF4y2Ba 和gydF4y2Ba (gydF4y2Ba ugydF4y2Ba 2gydF4y2Ba tgydF4y2Ba ,gydF4y2Ba vgydF4y2Ba 2gydF4y2Ba tgydF4y2Ba ]gydF4y2Ba 可以提取来自两个相机视图。替代gydF4y2Ba (gydF4y2Ba ugydF4y2Ba 1gydF4y2Ba tgydF4y2Ba ,gydF4y2Ba vgydF4y2Ba 1gydF4y2Ba tgydF4y2Ba ]gydF4y2Ba 和gydF4y2Ba (gydF4y2Ba ugydF4y2Ba 2gydF4y2Ba tgydF4y2Ba ,gydF4y2Ba vgydF4y2Ba 2gydF4y2Ba tgydF4y2Ba ]gydF4y2Ba 为gydF4y2Ba 问gydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba 问gydF4y2Ba 2gydF4y2Ba 在(gydF4y2Ba 1gydF4y2Ba)和(gydF4y2Ba 2gydF4y2Ba);手在时间坐标gydF4y2Ba tgydF4y2Ba 和相应的点gydF4y2Ba 问gydF4y2Ba tgydF4y2Ba 在世界空间可以重建。图gydF4y2Ba 12gydF4y2Ba显示的例子重建手单手和双手的运动轨迹。gydF4y2Ba

重建的三维轨迹的单手的例子(a)和多个手部运动(b)。gydF4y2Ba

 4.1。轨迹平滑gydF4y2Ba

重建的轨迹如图gydF4y2Ba 12gydF4y2Ba一般来说并不是一个平滑的轨迹。例如,在图gydF4y2Ba (13日)gydF4y2Ba从绿色标记点,轨迹开始,沿着蓝色箭头,然后在红色标记点结束。沿着轨迹波动可以由于边界框的大小的变化。例如,如果手部阻挡据英国与其他区域,分割的中心颜色blob并不代表真正的位置的中心。消除这种波动的影响,每一个轨道是由3时空的组件gydF4y2Ba xgydF4y2Ba ,gydF4y2Ba ygydF4y2Ba ,gydF4y2Ba zgydF4y2Ba 的方向。图gydF4y2Ba 13 (b)gydF4y2Ba显示投影圆轨迹随时间变化的信息gydF4y2Ba xgydF4y2Ba ,gydF4y2Ba ygydF4y2Ba ,gydF4y2Ba zgydF4y2Ba 的方向。两种滤波方法实现和比较的轨迹,即局部加权散点图平滑(黄土)gydF4y2Ba 54gydF4y2Ba)和黄土的健壮的版本(RLOESS)。黄土是局部加权散点图平滑使用最小二乘二次多项式拟合。RLOESS是一个健壮的版本的黄土平滑分配低体重异常值的回归。gydF4y2Ba

(a)重建的三维轨迹时手朝着一个圆;(b)中表示gydF4y2Ba xgydF4y2Ba ,gydF4y2Ba ygydF4y2Ba ,gydF4y2Ba zgydF4y2Ba 的方向。gydF4y2Ba

图gydF4y2Ba 14gydF4y2Ba比较这两种方法的结果。在这个图中,跨度是数据点的总数的百分比,小于或等于1。例如,如果跨度= 0.1,这意味着10%的数据点都包含为每个平滑计算。图中红点gydF4y2Ba 14gydF4y2Ba代表原始数据点gydF4y2Ba xgydF4y2Ba 三维重建圆轨迹的方向。蓝色曲线代表平滑数据点。根据观察,如果跨度值设置太大(数字gydF4y2Ba 14 (b)gydF4y2Ba和gydF4y2Ba 14 (d)gydF4y2Ba),平滑曲线拟合不好与原数据点。如果跨度值设置太小,原始数据中的异常值的影响不能完全消除(图gydF4y2Ba (14日)gydF4y2Ba)。总之,RLOESS优于黄土对于这种情况。在我们的系统中,我们采用RLOESS跨度为0.1,消除小波动轨迹重建的手。图gydF4y2Ba 15gydF4y2Ba显示了RLOESS平滑轨迹,波动已被抹去。gydF4y2Ba

比较原始数据点(红点)和平滑数据点(蓝色曲线)使用黄土((a)和(b))和RLOESS ((c)和(d))与不同的跨度。(一)跨= 0.1;(b)跨度= 0.5;(c)跨度= 0.1;(d) = 0.5。gydF4y2Ba

由RLOESS平滑轨迹。gydF4y2Ba

 5。手的轨迹识别gydF4y2Ba

在前面的小节中,手的方法跟踪轨迹重建,平滑。识别的轨迹是一个挑战性的任务由于各种模式的手可以在时间和空间上。例如,相同的目标运动轨迹由不同的人通常具有相同的空间格局。动态运动原始(DMP) (gydF4y2Ba 44gydF4y2Ba,gydF4y2Ba 55gydF4y2Ba)是一种轨迹控制方法有良好的表现(所示gydF4y2Ba 6gydF4y2Ba手写识别和[gydF4y2Ba 11gydF4y2Ba为2 d轨迹识别。在本文中,我们扩展了空间手轨迹识别的方法。gydF4y2Ba

5.1。动态运动原语的概述gydF4y2Ba

动态运动原语(DMP)的方法模型运动与给定的开始和结束为一组微分方程。例如,它能够编码的手部运动轨迹的时空信息的权向量的健壮的时空变化沿着相同的轨迹。gydF4y2Ba

的微分方程描述动态系统的时空演化与给定的开始和结束了(gydF4y2Ba 8gydF4y2Ba)和(gydF4y2Ba 9gydF4y2Ba)。一个二阶非线性函数的线性弹簧阻尼模型gydF4y2Ba fgydF4y2Ba 添加(gydF4y2Ba 8gydF4y2Ba强迫项)。这个非线性力函数可以捕获运动模式由人类的复杂性。gydF4y2Ba (8)gydF4y2Ba τgydF4y2Ba zgydF4y2Ba ˙gydF4y2Ba =gydF4y2Ba αgydF4y2Ba zgydF4y2Ba βgydF4y2Ba zgydF4y2Ba ggydF4y2Ba - - - - - -gydF4y2Ba ygydF4y2Ba - - - - - -gydF4y2Ba zgydF4y2Ba +gydF4y2Ba fgydF4y2Ba ,gydF4y2Ba (9)gydF4y2Ba τgydF4y2Ba ygydF4y2Ba ˙gydF4y2Ba =gydF4y2Ba zgydF4y2Ba 。gydF4y2Ba

在(gydF4y2Ba 8gydF4y2Ba)和(gydF4y2Ba 9gydF4y2Ba),gydF4y2Ba ygydF4y2Ba ,gydF4y2Ba zgydF4y2Ba ,gydF4y2Ba zgydF4y2Ba ˙gydF4y2Ba 代表的位置,速度和加速度的运动动力学。gydF4y2Ba τgydF4y2Ba 是一个时间常数代表轨迹持续时间和gydF4y2Ba ggydF4y2Ba 是一个已知的目标代表最后的手的位置轨迹。一个合适的选择的参数gydF4y2Ba αgydF4y2Ba zgydF4y2Ba 和gydF4y2Ba βgydF4y2Ba zgydF4y2Ba ,强迫项gydF4y2Ba fgydF4y2Ba 会随时间衰减为零,使系统收敛于目标位置gydF4y2Ba (gydF4y2Ba ygydF4y2Ba ,gydF4y2Ba zgydF4y2Ba )gydF4y2Ba =gydF4y2Ba (gydF4y2Ba ggydF4y2Ba ,gydF4y2Ba 0gydF4y2Ba )gydF4y2Ba 。gydF4y2Ba

非线性强迫函数gydF4y2Ba fgydF4y2Ba 是由一组Gaussian-like基础功能gydF4y2Ba (10)gydF4y2Ba fgydF4y2Ba xgydF4y2Ba =gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba ϕgydF4y2Ba 我gydF4y2Ba xgydF4y2Ba wgydF4y2Ba 我gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba ϕgydF4y2Ba 我gydF4y2Ba xgydF4y2Ba xgydF4y2Ba ggydF4y2Ba - - - - - -gydF4y2Ba ygydF4y2Ba 0gydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba wgydF4y2Ba 我gydF4y2Ba 基函数的权重和吗gydF4y2Ba ϕgydF4y2Ba 我gydF4y2Ba (gydF4y2Ba xgydF4y2Ba )gydF4y2Ba 是gydF4y2Ba NgydF4y2Ba Gaussian-like基础功能。强迫项gydF4y2Ba fgydF4y2Ba 消失了很长一段时间。gydF4y2Ba

权重向量gydF4y2Ba wgydF4y2Ba =gydF4y2Ba (gydF4y2Ba wgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba …gydF4y2Ba ,gydF4y2Ba wgydF4y2Ba NgydF4y2Ba ]gydF4y2Ba TgydF4y2Ba 在gydF4y2Ba fgydF4y2Ba 保存轨迹的形状信息。例如,如果gydF4y2Ba wgydF4y2Ba 是固定的和其他参数,如目标状态gydF4y2Ba ggydF4y2Ba 或时间常数gydF4y2Ba τgydF4y2Ba 变化,DMP将生成的拓扑相似的轨迹。换句话说,类似的轨迹会有相似的特征向量gydF4y2Ba wgydF4y2Ba 名为DMP模型的不变性特性(gydF4y2Ba 55gydF4y2Ba]。这样的属性,轨迹可分为基于权重向量。gydF4y2Ba

 5.2。从三维轨迹中提取权向量gydF4y2Ba

给定一个一维的轨迹gydF4y2Ba 问gydF4y2Ba =gydF4y2Ba (gydF4y2Ba 问gydF4y2Ba 0gydF4y2Ba ,gydF4y2Ba …gydF4y2Ba ,gydF4y2Ba 问gydF4y2Ba tgydF4y2Ba - - - - - -gydF4y2Ba 1gydF4y2Ba )gydF4y2Ba 在每个点的动力学gydF4y2Ba 问gydF4y2Ba 年代gydF4y2Ba =gydF4y2Ba (gydF4y2Ba ygydF4y2Ba ,gydF4y2Ba zgydF4y2Ba ,gydF4y2Ba zgydF4y2Ba ˙gydF4y2Ba )gydF4y2Ba TgydF4y2Ba 表示时间的状态向量gydF4y2Ba 年代gydF4y2Ba ,可以根据帧率计算gydF4y2Ba tgydF4y2Ba 是整个的时间路径。给定轨迹,学习权向量的初始状态和目标状态,也可以从轨迹中提取时间。从(gydF4y2Ba 8gydF4y2Ba),gydF4y2Ba fgydF4y2Ba 可以写成gydF4y2Ba (11)gydF4y2Ba fgydF4y2Ba =gydF4y2Ba αgydF4y2Ba zgydF4y2Ba βgydF4y2Ba zgydF4y2Ba ggydF4y2Ba - - - - - -gydF4y2Ba ygydF4y2Ba - - - - - -gydF4y2Ba zgydF4y2Ba - - - - - -gydF4y2Ba τgydF4y2Ba zgydF4y2Ba ˙gydF4y2Ba =gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba ϕgydF4y2Ba 我gydF4y2Ba xgydF4y2Ba wgydF4y2Ba 我gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba ϕgydF4y2Ba 我gydF4y2Ba xgydF4y2Ba xgydF4y2Ba ggydF4y2Ba - - - - - -gydF4y2Ba ygydF4y2Ba 0gydF4y2Ba 。gydF4y2Ba 权重向量gydF4y2Ba wgydF4y2Ba 可以学习使用局部加权回归(轻水反应堆)所gydF4y2Ba 44gydF4y2Ba]。gydF4y2Ba

在进行轨迹识别之前,“圆”(图轨迹实例gydF4y2Ba 17日(d)gydF4y2Ba)选择从收集到的轨迹,以可视化的权向量,并学会了DMP模型。获得手轨迹是在三维空间中,在DMP沿每个投影方向可以利用世界坐标系统。图gydF4y2Ba 16gydF4y2Ba显示了学会了DMP模型和权重向量与不同维度(gydF4y2Ba DgydF4y2Ba wgydF4y2Ba )的轨迹预测gydF4y2Ba xgydF4y2Ba 方向。数据gydF4y2Ba 16gydF4y2Ba(一),gydF4y2Ba 16gydF4y2Ba(c),gydF4y2Ba 16gydF4y2Ba(e)gydF4y2Ba 16gydF4y2Ba(g)显示原来的轨迹在绿色和DMP蓝色的学习轨迹。数据gydF4y2Ba 16gydF4y2Ba(b),gydF4y2Ba 16gydF4y2Ba(d),gydF4y2Ba 16gydF4y2Ba(f)gydF4y2Ba 16gydF4y2Ba(h)显示相应的权重向量。可以看出,当维度gydF4y2Ba NgydF4y2Ba 权向量的增加,学习轨迹方法最初的轨迹。gydF4y2Ba

(a)、(c)、(e)和(g)之间的比较是DMP学习轨迹(蓝色)和原始轨迹(绿色)以及不同权重向量维度gydF4y2Ba DgydF4y2Ba wgydF4y2Ba 。(b)、(d) (f)和(h)显示学习权重向量。gydF4y2Ba

轨迹五类的样本。标记为绿色的起点,终点是红色的。gydF4y2Ba

跳gydF4y2Ba

左gydF4y2Ba

正确的gydF4y2Ba

圆gydF4y2Ba

向前gydF4y2Ba

 5.3。培训阶段手轨迹使用支持向量机分类器gydF4y2Ba

的不变性特性DMP保留轨迹的形状信息的权重向量,可以用于轨迹识别。在[gydF4y2Ba 11gydF4y2Ba),他们比较两种分类方法:gydF4y2Ba kgydF4y2Ba 最近邻(gydF4y2Ba kgydF4y2Ba 神经网络)和支持向量机(SVM)。根据实验结果,SVM获得更更好的精度gydF4y2Ba kgydF4y2Ba 神经网络。在我们的实现中,多类SVM训练和测试执行使用LIBSVM库(gydF4y2Ba 56gydF4y2Ba]。gydF4y2Ba

轨迹识别,收集五类的轨迹。这五类是由通过“跳”,“左”,“对了,”“圆”和“前进。“图gydF4y2Ba 17gydF4y2Ba为每个类显示了示例轨迹。8人(2男6女)被要求执行轨迹,为每个类5。收集超过200轨迹,3/4的数据集训练支持向量机,而其他的数据集进行测试。轨迹在训练和测试数据集是由不同的人来完成。gydF4y2Ba

一个线性内核的支持向量机是训练有素的轨迹识别。表gydF4y2Ba 4gydF4y2Ba给出了5倍交叉验证识别准确性基于不同的权向量维度。随着尺寸的增加,相同数量的训练数据的精度降低。这是因为更大的权向量的维度,多个参数的支持向量机需要决定,还需要更多的训练数据。在获得的最高识别率gydF4y2Ba DgydF4y2Ba wgydF4y2Ba =gydF4y2Ba 5gydF4y2Ba 。这也是因为我们收集的类的轨迹是相对简单和杰出的彼此。对于复杂的轨迹,需要较高的权向量维度。gydF4y2Ba

识别与不同数量的准确性gydF4y2Ba DgydF4y2Ba wgydF4y2Ba 。gydF4y2Ba

训练轨迹数字gydF4y2Ba 权向量维数gydF4y2Ba DgydF4y2Ba wgydF4y2Ba
5gydF4y2Ba 10gydF4y2Ba 20.gydF4y2Ba 40gydF4y2Ba
150年gydF4y2Ba 86.67%gydF4y2Ba 74.12%gydF4y2Ba 59.17%gydF4y2Ba 51.67%gydF4y2Ba
5.4。测试阶段的轨迹识别gydF4y2Ba

我们应用测试数据集上的训练支持向量机导致88.0%的准确性。识别结果如表所示gydF4y2Ba 5gydF4y2Ba。误分类出现由于用户习惯。因为轨迹“跳”和“推”都是向前移动,在某些情况下,如果轨迹“跳”是由较小的弧度,并被错误地归类为“推动。”轨迹“左”,有时,执行角度,支持向量机将意识到这是“推”。但轨迹“圆”,这是非常独特的从其他类,可分为完全。gydF4y2Ba

测试轨迹的识别结果。gydF4y2Ba

类gydF4y2Ba 跳gydF4y2Ba 左gydF4y2Ba 正确的gydF4y2Ba 圆gydF4y2Ba 推gydF4y2Ba
跳gydF4y2Ba 12gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 3gydF4y2Ba
左gydF4y2Ba 0gydF4y2Ba 14gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba
正确的gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 17gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba
圆gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 18gydF4y2Ba 0gydF4y2Ba
推gydF4y2Ba 6gydF4y2Ba 4gydF4y2Ba 1gydF4y2Ba 0gydF4y2Ba 15gydF4y2Ba
精度gydF4y2Ba 84.4% (76/90)gydF4y2Ba

我们训练支持向量机测试了90测试轨迹收集3人,6为每个类。识别结果如表所示gydF4y2Ba 5gydF4y2Ba。误分类出现由于用户习惯。正如你所看到的,因为轨迹“跳”和“推”都是前进,在某些情况下,如果轨迹“跳”是由较小的弧度,并被错误地归类为“推动。“还留下的轨迹,有时它被授予一个角,并支持向量机将推动。但轨迹“圆”,这是很独特的从其他类,它可以完美地分类。gydF4y2Ba

 6。手的姿势识别gydF4y2Ba

手的姿势识别是另一个手势识别的关键部分。我们系统样本姿势和遵循的姿势改变手轨迹(图gydF4y2Ba 18gydF4y2Ba)。姿势识别有三个步骤,即(一)手图像采集、特征提取(b)和(c)分类。为我们的系统,手沿着轨迹跟踪完成图像采集过程中手的姿势已经从背景中分割出来。gydF4y2Ba

手的姿势变化沿着轨迹,手的姿势是由两个摄像头捕捉到的。gydF4y2Ba

模板匹配是一个简单的姿势识别方法,并可以很容易地添加或删除模板类。提取特征的手的姿势,在轮廓凸包(gydF4y2Ba 31日gydF4y2Ba]或指尖检测使用圆形面具作为相关技术(gydF4y2Ba 45gydF4y2Ba可以使用。然而,这些识别方法,基于轮廓或轮廓通常需要一个干净的背景,手可以分割。在我们的例子中,手的姿势是由杂乱和移动背景和分段使用固定距离CbCr皮肤更优雅。有时,手不能从背景中分割出来。在这种情况下,一方面可以作为部分堵塞。因此,特征检测器对光照变化和部分遮挡是必要的。筛选是一个特征检测器和描述符也是强大的规模和方向变化。此外,它是健壮的仿射畸变在某些范围内,这可能对姿势识别,因为手和摄像机之间的相对位置不断变化,导致仿射畸变之间的输入手姿势和体态模板。在我们的工作中,筛选用于特征检测器和姿势识别。的方法gydF4y2Ba 袋的视觉单词gydF4y2Ba和支持向量机结合的分类。gydF4y2Ba

6.1。尺度不变特征变换gydF4y2Ba

尺度不变特征变换(SIFT)特征检测器(开发的gydF4y2Ba 22gydF4y2Ba]。筛选功能提供强劲的显示匹配的闭塞和仿射畸变,噪音,和照明的变化。获得特征在不同尺度,筛选使用高斯过滤器改变方差与原始图像卷积和downsampled图像。高斯的区别是减去相邻图像与高斯卷积计算相同的八度音阶(图gydF4y2Ba 19gydF4y2Ba)。gydF4y2Ba

为每个级别的八度,原始图像与高斯卷积在不同的方差。相邻高斯图像减去生产difference-of-Gaussian图像。每一个八度后,高斯图像downsampled 2倍和重复的过程gydF4y2Ba 22gydF4y2Ba]。gydF4y2Ba

为了检测的局部最大值或最小值的不同高斯(狗),每个样本点是26个邻国相比gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba 地区,8日在自己的形象,在规模上方和下方(图9gydF4y2Ba 20.gydF4y2Ba)。选择一个点作为特征点只有26比所有其他的更大或更小的邻居。稳定的特征点,特征点一旦检测到上面的方法中,阈值最小对比上执行这些邻国之间的特征点。也消除边缘响应应用于狗,因为它有很强的反应边。通过这种方式,图像中的特征点与强烈的对比和特征点匹配。gydF4y2Ba

极值点是通过比较检测到一个像素(标有×)26个邻国(标有圈)gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba 区域在当前和相邻的狗gydF4y2Ba 22gydF4y2Ba]。gydF4y2Ba

通过分配一个常数为每个特征点定位基于本地图像属性,旋转的特征点是不变的。这个方向信息还用于建立一个是一个向量的特征点描述符包含128负的元素。结果向量定义为筛选键和用于加权的方法来找到匹配点和检测图像之间的相同的对象。图gydF4y2Ba 21gydF4y2Ba显示检测到的特征点筛选的绿色圆圈或双手的手掌。圈的大小提出了特征点的规模,和每一个圆的半径是每个特征点的方向。36集这两个姿态之间找到匹配点的例子,在蓝线连接。gydF4y2Ba

匹配的特征点检测筛选两个手掌。gydF4y2Ba

我们的工作是为了认识六个目标手姿势,即“手掌”,“V”,“点”“Y”“拳头,”和“八”(图gydF4y2Ba 22gydF4y2Ba)。为了证明特性发现这些姿势有不同的类之间的歧视,我们筛选适用于每个类的姿势图所示gydF4y2Ba 23gydF4y2Ba表和上市的数量匹配点gydF4y2Ba 6gydF4y2Ba。对角线上的数字标志着粗体显示的数量匹配分在同一个班。正如你所看到的,它比其他数字相同的行或列,它存在两个不同的类之间的匹配点的数量。这表明虽然有不同姿势类之间的匹配特性,匹配的数量的相同类型的姿势更大错误分类等姿势。gydF4y2Ba

不同的姿势类之间的匹配点的数量。gydF4y2Ba

的姿势gydF4y2Ba 棕榈gydF4y2Ba VgydF4y2Ba 点gydF4y2Ba YgydF4y2Ba 的拳头gydF4y2Ba 八gydF4y2Ba
棕榈gydF4y2Ba 45gydF4y2Ba 12gydF4y2Ba 6gydF4y2Ba 16gydF4y2Ba 8gydF4y2Ba 10gydF4y2Ba
VgydF4y2Ba 7gydF4y2Ba 36gydF4y2Ba 13gydF4y2Ba 8gydF4y2Ba 9gydF4y2Ba 12gydF4y2Ba
点gydF4y2Ba 7gydF4y2Ba 22gydF4y2Ba 39gydF4y2Ba 9gydF4y2Ba 13gydF4y2Ba 11gydF4y2Ba
YgydF4y2Ba 12gydF4y2Ba 14gydF4y2Ba 7gydF4y2Ba 25gydF4y2Ba 11gydF4y2Ba 9gydF4y2Ba
的拳头gydF4y2Ba 4gydF4y2Ba 8gydF4y2Ba 15gydF4y2Ba 6gydF4y2Ba 20.gydF4y2Ba 6gydF4y2Ba
八gydF4y2Ba 16gydF4y2Ba 15gydF4y2Ba 8gydF4y2Ba 15gydF4y2Ba 9gydF4y2Ba 27gydF4y2Ba

6类的姿势,从左到右的姿势,是“手掌”,“V”,“点”“Y”“拳头,”和“八”。gydF4y2Ba

特征点检测6个姿势通过筛选,从左到右的姿势,是“手掌”,“V”,“点”“Y”“拳头,”和“八”。gydF4y2Ba

 6.2。袋的视觉单词gydF4y2Ba

袋的视觉单词是一个流行的图像分类算法。每个图像是由一组检测特征点,和袋视觉词用一个向量来表示特征点的发生数量。换句话说,它是一个直方图特征点。通过这种方式,每个图像都由一个直方图向量表示。图gydF4y2Ba 24gydF4y2Ba显示了一个典型的处理管道生成每个图像的特征点直方图。gydF4y2Ba

生成直方图的视觉单词的管道为每个图像基于检测到的特征点。gydF4y2Ba

在这篇文章中,检测到的特征点筛选并通过集群gydF4y2Ba KgydF4y2Ba 则。gydF4y2Ba KgydF4y2Ba ——集群编码每个功能点的指数属于哪个集群。通常,这是通过寻找输入特征点之间的最短欧氏距离和集群中心由一群训练有素的特征点提取一组训练图像。如何确定集群的数量是一个问题。如果集群的数量太小,没有足够的类之间的歧视,分类精度会下降。如果集群的数量太大,然后将着稀拉的特性,分类精度仍会下降。在[gydF4y2Ba 57gydF4y2Ba),提出了一种方法来确定集群的数量gydF4y2Ba kgydF4y2Ba 。gydF4y2Ba (12)gydF4y2Ba kgydF4y2Ba ≈gydF4y2Ba ngydF4y2Ba 2gydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba ngydF4y2Ba 是检测筛选的数量对训练图像特征点。有超过20000个特征点检测训练图像和我们选择gydF4y2Ba kgydF4y2Ba 到150岁。聚类后,每个模板都由一个向量表示的索引显示相应的功能是属于哪个集群。最后一步将是这个向量排序成一个直方图gydF4y2Ba kgydF4y2Ba 箱里。通过这种方式,每个模板将被映射到一个gydF4y2Ba 1gydF4y2Ba ×gydF4y2Ba 150年gydF4y2Ba 向量叫做bag-of-words向量。gydF4y2Ba

 6.3。培训阶段使用尺度不变特征变换姿势分类器gydF4y2Ba

后将每个模板的特征点映射成一个bag-of-words向量,向量是用来训练多类支持向量机分类器模型。支持向量机是一种监督式学习的方法建立一个分类和回归gydF4y2Ba ngydF4y2Ba 维超平面优化把数据分成不同组。gydF4y2Ba

姿态识别、六类收集的姿势;前视图和侧面的每个类都包括在内。图gydF4y2Ba 25gydF4y2Ba显示了6类体式;前视图所示图gydF4y2Ba (25日)gydF4y2Ba,而侧视图如图gydF4y2Ba 25 (b)gydF4y2Ba;从左到右,姿势是“手掌”,“V”,“点”“Y”“拳头,”和“八”。gydF4y2Ba

6姿势的前视图和侧面视图类。gydF4y2Ba

6个姿势类的前视图gydF4y2Ba

6个姿势类的侧视图gydF4y2Ba

训练姿势分类器、分段良好的手的姿势模板收集从六个姿势类从手势视频剪;前视图和侧面视图都包括在内。通过应用袋子的话,每个图像的表示gydF4y2Ba 1gydF4y2Ba ×gydF4y2Ba 150年gydF4y2Ba 向量。等多类支持向量机训练基于向量。表gydF4y2Ba 7gydF4y2Ba显示了5倍交叉验证的准确性不同数量的线性内核支持向量机的训练数据。通过增加训练数据的数量,准确性会略有增加。我们用402的姿势图像作为训练数据集,以构建支持向量机分类器。gydF4y2Ba

与不同数量的训练数据训练精度。gydF4y2Ba

数量的训练数据gydF4y2Ba 120年gydF4y2Ba 240年gydF4y2Ba 340年gydF4y2Ba 402年gydF4y2Ba 480年gydF4y2Ba
精度gydF4y2Ba 98.3%gydF4y2Ba 98.8%gydF4y2Ba 98.5%gydF4y2Ba 98.8%gydF4y2Ba 98.8gydF4y2Ba
6.4。测试阶段的姿势识别gydF4y2Ba

测试集包含432姿势由其他四人216次,36个州为每个类的时间。在每次状态,一个前视图和侧视图的姿态。测试的性能训练姿势优雅漂亮,每个姿势的图像分别从相机视图都是公认的。识别结果如表所示gydF4y2Ba 8gydF4y2Ba。每一列是指一个姿势实例分为相应的类。78.7%的精度。gydF4y2Ba

混淆矩阵姿态识别的测试集。gydF4y2Ba

的姿势gydF4y2Ba 八gydF4y2Ba 的拳头gydF4y2Ba 棕榈gydF4y2Ba 点gydF4y2Ba 六个gydF4y2Ba VgydF4y2Ba
八gydF4y2Ba 71年gydF4y2Ba 0gydF4y2Ba 1gydF4y2Ba 4gydF4y2Ba 2gydF4y2Ba 0gydF4y2Ba
的拳头gydF4y2Ba 0gydF4y2Ba 46gydF4y2Ba 0gydF4y2Ba 15gydF4y2Ba 9gydF4y2Ba 0gydF4y2Ba
棕榈gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 61年gydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 2gydF4y2Ba
点gydF4y2Ba 0gydF4y2Ba 17gydF4y2Ba 3gydF4y2Ba 52gydF4y2Ba 7gydF4y2Ba 2gydF4y2Ba
YgydF4y2Ba 1gydF4y2Ba 9gydF4y2Ba 0gydF4y2Ba 1gydF4y2Ba 43gydF4y2Ba 1gydF4y2Ba
VgydF4y2Ba 0gydF4y2Ba 0gydF4y2Ba 7gydF4y2Ba 0gydF4y2Ba 11gydF4y2Ba 67年gydF4y2Ba
精度gydF4y2Ba 98.6%gydF4y2Ba 63.9%gydF4y2Ba 84.7%gydF4y2Ba 72.2%gydF4y2Ba 59.7%gydF4y2Ba 93.06%gydF4y2Ba
78.7% (340/432)gydF4y2Ba

测试的分类器区分最正确姿势。但姿势属于类“拳头”,大量的姿势也分为类“点”和几个数字“Y”的姿势被误诊成阶级”的拳头。“这样做的原因是,这三个姿势都含有类似的右手三根手指卷曲在一起的一部分。因此,他们分享更多类似的功能。但是对于这些姿势很杰出,其识别精度更高。gydF4y2Ba

同样,如果我们看看分类错误的姿势,不分段良好的手的姿势会导致误分类。图gydF4y2Ba 26gydF4y2Ba显示了三个样本分类错误的姿势。背景噪音分段手部(数据gydF4y2Ba (26日)gydF4y2Ba和gydF4y2Ba 26日(b)gydF4y2Ba错误分类的一个原因。也由于手外观改变观点,一些姿势时不能被外表的变化太多了。例如,在图gydF4y2Ba 26日(c)gydF4y2Ba食指的姿态“八”是总看不见的从相机视图,这是被误诊成类“拳头”。gydF4y2Ba

分类错误的姿势的例子。gydF4y2Ba

考虑到在同一时间采取的姿势状态是相同的姿势,但是不同的观点,相机视图的姿势识别结果与对方以下列方式有关。同时,如果姿势的识别结果取自两个摄像头是不同的,那么这个姿势是作为模糊和丢弃。认为是同一个类的姿势从相机视图将被保存在后续的步骤中手势识别。对于每个姿势类,识别和放弃率如表所示gydF4y2Ba 9gydF4y2Ba。尽管近百分之三十的测试数据是废弃的,该方案提高了识别精度从78.7%降至96.6%。gydF4y2Ba

识别结果,放弃率的测试集。gydF4y2Ba

的姿势gydF4y2Ba 识别精度gydF4y2Ba 放弃率gydF4y2Ba
八gydF4y2Ba 35/35gydF4y2Ba 1/36gydF4y2Ba
的拳头gydF4y2Ba 16/20gydF4y2Ba 13/36gydF4y2Ba
棕榈gydF4y2Ba 27/27gydF4y2Ba 9/36gydF4y2Ba
点gydF4y2Ba 17/18gydF4y2Ba 18/36gydF4y2Ba
YgydF4y2Ba 17/17gydF4y2Ba 19/36gydF4y2Ba
VgydF4y2Ba 31/31gydF4y2Ba 5/36gydF4y2Ba
精度gydF4y2Ba 96.6%gydF4y2Ba 30.1%gydF4y2Ba
7所示。手势识别gydF4y2Ba

手势识别、姿态和轨迹识别的结果结合成一个特征向量我们叫姿态向量。从每个手势视频和姿态向量提取用于支持向量机进行分类。如何定义一个特征向量的细节在以下介绍。此外,本节给出手势识别性能的评价。gydF4y2Ba

7.1。姿态向量gydF4y2Ba

姿态向量是由两部分组成:姿势元素gydF4y2Ba pgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba 和轨迹元素gydF4y2Ba TgydF4y2Ba 。gydF4y2Ba TgydF4y2Ba 表示认可轨迹类。根据手势的复杂性,每个手势分为gydF4y2Ba 我gydF4y2Ba 段处理姿态变化。gydF4y2Ba pgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba 代表了公认的姿势类的发生数量gydF4y2Ba jgydF4y2Ba 在段gydF4y2Ba 我gydF4y2Ba 。方程(gydF4y2Ba 13gydF4y2Ba)显示了一个向量和姿态gydF4y2Ba 我gydF4y2Ba 段和gydF4y2Ba jgydF4y2Ba 姿势类。gydF4y2Ba (13)gydF4y2Ba vgydF4y2Ba ggydF4y2Ba =gydF4y2Ba pgydF4y2Ba 11gydF4y2Ba ,gydF4y2Ba pgydF4y2Ba 12gydF4y2Ba ,gydF4y2Ba pgydF4y2Ba 13gydF4y2Ba ,gydF4y2Ba …gydF4y2Ba ,gydF4y2Ba pgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba ,gydF4y2Ba …gydF4y2Ba ,gydF4y2Ba pgydF4y2Ba 米gydF4y2Ba ngydF4y2Ba ,gydF4y2Ba TgydF4y2Ba 。gydF4y2Ba

手势在不同速度会产生一个巨大的数字差异公认的姿势。因为相机的帧速率是固定的,手移动的速度越快,越少的姿势可以采取。因此,姿态向量元素的姿势被公认的总数规范化姿势为每个部分gydF4y2Ba PgydF4y2Ba 米gydF4y2Ba 。方程(gydF4y2Ba 13gydF4y2Ba)是写成gydF4y2Ba (14)gydF4y2Ba pgydF4y2Ba 11gydF4y2Ba PgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba pgydF4y2Ba 12gydF4y2Ba PgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba pgydF4y2Ba 13gydF4y2Ba PgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba …gydF4y2Ba ,gydF4y2Ba pgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba PgydF4y2Ba 我gydF4y2Ba ,gydF4y2Ba …gydF4y2Ba ,gydF4y2Ba pgydF4y2Ba 米gydF4y2Ba ngydF4y2Ba PgydF4y2Ba 米gydF4y2Ba ,gydF4y2Ba TgydF4y2Ba 。gydF4y2Ba 为每个手势和姿态向量提取采用手势分类。gydF4y2Ba

 7.2。定义类和姿态的姿态向量gydF4y2Ba

测试识别性能,我们定义8类的手势。单手和双手手势都包括在内。虽然我们只有八类定义的手势进行评估,更多的手势类可以被添加到系统,一些训练数据和手势的定义。图gydF4y2Ba 27gydF4y2Ba显示手运动轨迹和姿态。蓝色箭头表示的手移动轨迹,姿势变化也是这个图所示。gydF4y2Ba

八个动作类的例子。开始和结束帧所示,蓝色箭头所示方向移动。gydF4y2Ba

抓住gydF4y2Ba

打击gydF4y2Ba

调用gydF4y2Ba

戳gydF4y2Ba

变焦gydF4y2Ba

移动gydF4y2Ba

硬推gydF4y2Ba

碰撞gydF4y2Ba

动作名称的列表及其组成部分的姿态和轨迹是列在表中gydF4y2Ba 10gydF4y2Ba。自定义手势只包含一个或没有姿态变化,每个轨迹划分为两个部分,使得姿态向量gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba 6gydF4y2Ba +gydF4y2Ba 1gydF4y2Ba =gydF4y2Ba 13gydF4y2Ba 元素长时间单手使用的手势。在使用情况下,每个手的姿态向量提取每只手,然后组合在一起使双手动作向量只要两次单手使用的情况下,和它包含gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba 6gydF4y2Ba +gydF4y2Ba 1gydF4y2Ba +gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba 6gydF4y2Ba +gydF4y2Ba 1gydF4y2Ba =gydF4y2Ba 26gydF4y2Ba 元素。gydF4y2Ba

动作类的名字和他们的作品。gydF4y2Ba

手势gydF4y2Ba 的姿势gydF4y2Ba 轨迹gydF4y2Ba
抓住gydF4y2Ba 棕榈gydF4y2Ba →gydF4y2Ba 的拳头gydF4y2Ba +gydF4y2Ba 向前gydF4y2Ba
打击gydF4y2Ba 的拳头gydF4y2Ba +gydF4y2Ba 向前gydF4y2Ba
调用gydF4y2Ba YgydF4y2Ba +gydF4y2Ba 圆gydF4y2Ba
戳gydF4y2Ba 点gydF4y2Ba +gydF4y2Ba 向前gydF4y2Ba
变焦gydF4y2Ba 八gydF4y2Ba +gydF4y2Ba 左gydF4y2Ba
移动gydF4y2Ba VgydF4y2Ba →gydF4y2Ba 八gydF4y2Ba +gydF4y2Ba 正确的gydF4y2Ba
推gydF4y2Ba 左、右手掌gydF4y2Ba +gydF4y2Ba 向前gydF4y2Ba
碰撞gydF4y2Ba 左翼和右翼的拳头gydF4y2Ba +gydF4y2Ba 左和右gydF4y2Ba
7.3。训练阶段的手势使用支持向量机分类器gydF4y2Ba

在训练阶段,10为每个类手势,80年总手势,收集培训阶段四人之一。单手和双手的姿势模型分别训练支持向量机。地面轨迹的真相和手的姿势的识别结果利用组合姿态向量。线性内核支持向量机训练,获得了5倍交叉验证精度在94%,单手双手手势动作和100%。手势的训练精度是列在表中gydF4y2Ba 11gydF4y2Ba。gydF4y2Ba

交叉验证的准确性的训练动作。gydF4y2Ba

手势gydF4y2Ba 单手的姿势gydF4y2Ba 双手手势gydF4y2Ba
精度gydF4y2Ba 94%gydF4y2Ba 100%gydF4y2Ba
7.4。手势识别的测试阶段gydF4y2Ba

在本节中,收集80个手势进行测试。这80个动作,每个动作10类,四人之间的收集。基于最初的地区检测到有多少手姿势,手势自动归类为单手或双手的姿势。然后,基于每只手的轨迹和姿态识别训练SVM模型将每个手势识别基于其姿态向量。图gydF4y2Ba 28gydF4y2Ba显示了测试管道。表gydF4y2Ba 12gydF4y2Ba显示了每个类的识别结果和精度。gydF4y2Ba

手势识别的混淆矩阵测试集。gydF4y2Ba

手势gydF4y2Ba 抓住gydF4y2Ba 打击gydF4y2Ba 调用gydF4y2Ba 戳gydF4y2Ba 变焦gydF4y2Ba 移动gydF4y2Ba 推gydF4y2Ba 碰撞gydF4y2Ba
抓住gydF4y2Ba 6gydF4y2Ba 2gydF4y2Ba 2gydF4y2Ba
打击gydF4y2Ba 8gydF4y2Ba 2gydF4y2Ba
调用gydF4y2Ba 10gydF4y2Ba
戳gydF4y2Ba 10gydF4y2Ba
变焦gydF4y2Ba 10gydF4y2Ba
移动gydF4y2Ba 10gydF4y2Ba
推gydF4y2Ba 10gydF4y2Ba
碰撞gydF4y2Ba 10gydF4y2Ba
精度gydF4y2Ba 60%gydF4y2Ba 80%gydF4y2Ba 100%gydF4y2Ba 100%gydF4y2Ba 100%gydF4y2Ba 100%gydF4y2Ba 100%gydF4y2Ba 100%gydF4y2Ba
92.5% (74/80)gydF4y2Ba

手势识别的测试管道。gydF4y2Ba

所有的姿势都承认除了类“抓住”和“打击。“这是因为,在姿态识别阶段,训练分类器分类“拳头”到“点”(表gydF4y2Ba 8gydF4y2Ba这两个体式)的相似性。因此,极有可能为这类错误分类。涉及的手势姿态发生变化,会有一段时间间隔,姿态不会姿势中定义的类。与我们的姿势识别方案,这样的姿势会有很高的机会被丢弃,而姿态识别结果是不一致的。例如,在课堂上“动”,间隔姿势改变姿势“V”“八”是丢弃,并获得较高的识别精度。gydF4y2Ba

 8。结论和未来的工作gydF4y2Ba

提出了一种应用方法对轨迹和姿态识别的使用多个校准相机。一个固定距离CbCr采用区域分割。卡尔曼滤波器采用手跟踪的阻塞或背景噪音。发现手轨迹包含时间和空间模式,可以在不同的个体之间不同。DMP应用的方法,可以保持时空信息的加权向量。例如,拓扑相似的轨迹会有类似的权重向量,可以利用使用支持向量机作为轨迹分类特征向量。结果表明,只有几个轨迹训练数据,可以实现识别的准确性达88.0%。gydF4y2Ba

检测到的特征点,手的姿势使用筛选方法。bag-of-words方法是用来表示每个姿势unisize直方图向量。这样的直方图向量使用SVM用于姿势识别。训练姿势同时包含前面和侧面视图由摄像机拍摄的。手的姿势识别结果时只考虑是公认的从相机的观点是一致的。这样的计划,尽管一些姿势作为面目全非然后丢弃(30%),96.6%的识别率有准确性。手势识别,手势特征向量相结合定义轨迹和姿态识别的结果。在我们的实验研究中,手势识别使用SVM方法导致了92.5%的准确率。gydF4y2Ba

8.1。未来的工作gydF4y2Ba

结合RGB和深度传感器(RGB-D)可以利用在未来确定各种沉默特性结合传感模式。特别是,各种功能可以与每个扫描平面的深度关联映射可以作为部分的学习算法(gydF4y2Ba 58gydF4y2Ba]。当前的实验装置利用两个校准相机放置在一个固定的距离。的摄像头应用程序不能被放置在邻近的用户(例如,老年人的情况下的老年生活和应用计算机接口),pan-tilt-zoom相机可以部署(gydF4y2Ba 59gydF4y2Ba]。这种活跃的相机设置可以提供一个健壮的方法,其中一个镜头可以放大的手手势识别的用户,而之后(通过平移和倾斜运动)的预测运动模式是通过另一个相机的手。gydF4y2Ba

 的利益冲突gydF4y2Ba

作者宣称没有利益冲突有关的出版。gydF4y2Ba

 艾伯特gydF4y2Ba M。gydF4y2Ba 沉默的消息gydF4y2Ba 1971年gydF4y2Ba 美国贝尔蒙特,小腿gydF4y2Ba 沃兹沃思出版商gydF4y2Ba 大厅gydF4y2Ba e . T。gydF4y2Ba 沉默的语言gydF4y2Ba 1973年gydF4y2Ba 纽约,纽约,美国gydF4y2Ba 锚的出版商gydF4y2Ba SturmangydF4y2Ba d . J。gydF4y2Ba ZeltzergydF4y2Ba D。gydF4y2Ba 的调查Glove-based输入gydF4y2Ba IEEE计算机图形学和应用程序gydF4y2Ba 1994年gydF4y2Ba 14gydF4y2Ba 1gydF4y2Ba 30.gydF4y2Ba 39gydF4y2Ba 2 - s2.0 - 0028194746gydF4y2Ba 10.1109/38.250916gydF4y2Ba 罗萨莱斯gydF4y2Ba R。gydF4y2Ba AthitsosgydF4y2Ba V。gydF4y2Ba SigalgydF4y2Ba lgydF4y2Ba SclaroffgydF4y2Ba 年代。gydF4y2Ba 3 d重建手的姿势使用专门的映射gydF4y2Ba 《IEEE计算机视觉国际会议gydF4y2Ba 2001年gydF4y2Ba 1gydF4y2Ba 378年gydF4y2Ba 387年gydF4y2Ba 2 - s2.0 - 0034850566gydF4y2Ba 10.1109 / ICCV.2001.937543gydF4y2Ba 王gydF4y2Ba R。gydF4y2Ba 瑞尔gydF4y2Ba J。gydF4y2Ba 实时人工跟踪颜色手套gydF4y2Ba ACM交易图片gydF4y2Ba 2009年gydF4y2Ba 28gydF4y2Ba 3,第63条gydF4y2Ba 10.1145/1531326.1531369gydF4y2Ba 斯特gydF4y2Ba 年代。gydF4y2Ba Murray-SmithgydF4y2Ba R。gydF4y2Ba 奥克利眼镜gydF4y2Ba 我。gydF4y2Ba AngeslevagydF4y2Ba J。gydF4y2Ba 动态手势交互原语gydF4y2Ba 3160年gydF4y2Ba 移动人机交互程序国际会议gydF4y2Ba 2004年gydF4y2Ba 325年gydF4y2Ba 330年gydF4y2Ba 10.1007 / 978 - 3 - 540 - 28637 - 0 - _31gydF4y2Ba 齐默尔曼gydF4y2Ba t·G。gydF4y2Ba 拉尼尔gydF4y2Ba J。gydF4y2Ba 布兰查德gydF4y2Ba C。gydF4y2Ba 布赖森gydF4y2Ba 年代。gydF4y2Ba HarvillgydF4y2Ba Y。gydF4y2Ba 一个手势接口设备gydF4y2Ba 学报SIGCHI / GI会议人的因素在计算系统和图形界面gydF4y2Ba 1987年gydF4y2Ba 189年gydF4y2Ba 192年gydF4y2Ba 2 - s2.0 - 0023531297gydF4y2Ba 密特拉gydF4y2Ba 年代。gydF4y2Ba 阿查里雅gydF4y2Ba T。gydF4y2Ba 手势识别:一项调查gydF4y2Ba IEEE系统,人,控制论,C部分:应用程序和评论gydF4y2Ba 2007年gydF4y2Ba 37gydF4y2Ba 3gydF4y2Ba 311年gydF4y2Ba 324年gydF4y2Ba 10.1109 / TSMCC.2007.893280gydF4y2Ba 2 - s2.0 - 34247194893gydF4y2Ba PavlovicgydF4y2Ba 诉我。gydF4y2Ba 沙玛gydF4y2Ba R。gydF4y2Ba 黄gydF4y2Ba t·S。gydF4y2Ba 人机交互目视判读的手势:一个回顾gydF4y2Ba IEEE模式分析与机器智能gydF4y2Ba 1997年gydF4y2Ba 19gydF4y2Ba 7gydF4y2Ba 677年gydF4y2Ba 695年gydF4y2Ba 10.1109/34.598226gydF4y2Ba 2 - s2.0 - 0031193007gydF4y2Ba 吴gydF4y2Ba Y。gydF4y2Ba 黄gydF4y2Ba t·S。gydF4y2Ba 建立手势识别:一个回顾gydF4y2Ba 国际研讨会Gestue-Based在人机交互通信gydF4y2Ba 1999年gydF4y2Ba 103年gydF4y2Ba 115年gydF4y2Ba 刘gydF4y2Ba Z。gydF4y2Ba 胡gydF4y2Ba F。gydF4y2Ba 罗gydF4y2Ba D。gydF4y2Ba 吴gydF4y2Ba X。gydF4y2Ba 视觉手势识别人类机器人交互原语使用动态运动gydF4y2Ba 系统,人与控制论gydF4y2Ba 2014年10月gydF4y2Ba 圣地亚哥,加州,美国gydF4y2Ba IEEEgydF4y2Ba 2094年gydF4y2Ba 2100年gydF4y2Ba 10.1109 / SMC.2014.6974231gydF4y2Ba 他gydF4y2Ba 一个。gydF4y2Ba OhyagydF4y2Ba J。gydF4y2Ba 使用多个摄像头Multiple-hand-gesture跟踪gydF4y2Ba 《IEEE计算机视觉与模式识别会议gydF4y2Ba 1999年gydF4y2Ba 2 - s2.0 - 0032655039gydF4y2Ba 萨克斯gydF4y2Ba D。gydF4y2Ba 福尔兹gydF4y2Ba R。gydF4y2Ba 对健壮的皮肤在视频图像识别gydF4y2Ba 国际会议的程序自动脸上和手势识别gydF4y2Ba 1996年gydF4y2Ba 379年gydF4y2Ba 384年gydF4y2Ba 2 - s2.0 - 0030421450gydF4y2Ba 柴gydF4y2Ba D。gydF4y2Ba 颜gydF4y2Ba k . N。gydF4y2Ba 脸在可视电话应用程序使用肤色分割图gydF4y2Ba IEEE电路和系统视频技术gydF4y2Ba 1999年gydF4y2Ba 9gydF4y2Ba 4gydF4y2Ba 551年gydF4y2Ba 564年gydF4y2Ba 2 - s2.0 - 0032651860gydF4y2Ba 10.1109/76.767122gydF4y2Ba 琼斯gydF4y2Ba m·J。gydF4y2Ba RehggydF4y2Ba j . M。gydF4y2Ba 统计模型与应用程序肤色检测gydF4y2Ba 国际计算机视觉杂志》上gydF4y2Ba 2002年gydF4y2Ba 46gydF4y2Ba 1gydF4y2Ba 81年gydF4y2Ba 96年gydF4y2Ba 390108年gydF4y2Ba 10.1023 /:1013200319198gydF4y2Ba 2 - s2.0 - 0036165170gydF4y2Ba 格林斯潘gydF4y2Ba H。gydF4y2Ba GoldbergergydF4y2Ba J。gydF4y2Ba EshetgydF4y2Ba 我。gydF4y2Ba face-color混合物模型建模和分割gydF4y2Ba 模式识别的字母gydF4y2Ba 2001年gydF4y2Ba 22gydF4y2Ba 14gydF4y2Ba 1525年gydF4y2Ba 1536年gydF4y2Ba 2 - s2.0 - 0035546367gydF4y2Ba 10.1016 / s0167 - 8655 (01) 00086 - 1gydF4y2Ba Zbl0986.68935gydF4y2Ba 杨gydF4y2Ba M。gydF4y2Ba AhujagydF4y2Ba N。gydF4y2Ba 高斯混合模型对人类皮肤颜色在图像和视频数据库及其应用gydF4y2Ba 学报学报:存储和检索图像和视频数据库的七世gydF4y2Ba 1999年gydF4y2Ba 3656年gydF4y2Ba 458年gydF4y2Ba 466年gydF4y2Ba 2 - s2.0 - 0032663394gydF4y2Ba 刘gydF4y2Ba X。gydF4y2Ba 》gydF4y2Ba K。gydF4y2Ba 手势识别使用深度数据gydF4y2Ba 学报Automatci脸上的IEEE国际会议和手势识别gydF4y2Ba 2004年gydF4y2Ba 529年gydF4y2Ba 534年gydF4y2Ba 2 - s2.0 - 4544385678gydF4y2Ba 任gydF4y2Ba Z。gydF4y2Ba 孟gydF4y2Ba J。gydF4y2Ba 元gydF4y2Ba J。gydF4y2Ba 基于深度相机的手势识别和人机交互的应用程序gydF4y2Ba 学报》第八届国际会议信息,通信和信号处理(ICICS 11)gydF4y2Ba 2011年12月gydF4y2Ba IEEEgydF4y2Ba 1gydF4y2Ba 5gydF4y2Ba 10.1109 / ICICS.2011.6173545gydF4y2Ba 2 - s2.0 - 84860641847gydF4y2Ba 王gydF4y2Ba Y。gydF4y2Ba 余gydF4y2Ba T。gydF4y2Ba 史gydF4y2Ba lgydF4y2Ba 李gydF4y2Ba Z。gydF4y2Ba 利用人体手势输入游戏通过深度分析gydF4y2Ba 学报2008年IEEE国际多媒体会议和博览会,ICME 2008gydF4y2Ba 2008年6月gydF4y2Ba 德吴gydF4y2Ba 993年gydF4y2Ba 996年gydF4y2Ba 2 - s2.0 - 54049141411gydF4y2Ba 10.1109 / ICME.2008.4607604gydF4y2Ba 迪亚兹gydF4y2Ba C。gydF4y2Ba PayandehgydF4y2Ba 年代。gydF4y2Ba 多通道为触觉传感界面交互gydF4y2Ba 杂志上的传感器gydF4y2Ba 2017年gydF4y2Ba 2017年gydF4y2Ba 24gydF4y2Ba 2072951gydF4y2Ba 10.1155 / 2017/2072951gydF4y2Ba 劳gydF4y2Ba d·G。gydF4y2Ba 独特的形象特征尺度不变的要点gydF4y2Ba 国际计算机视觉杂志》上gydF4y2Ba 2004年gydF4y2Ba 60gydF4y2Ba 2gydF4y2Ba 91年gydF4y2Ba 110年gydF4y2Ba 10.1023 / B: VISI.0000029664.99615.94gydF4y2Ba 2 - s2.0 - 3042535216gydF4y2Ba 艾哈迈德gydF4y2Ba 年代。gydF4y2Ba 一个可用的实时3 d手跟踪gydF4y2Ba 《IEEE会议信号,系统和电脑gydF4y2Ba 1994年gydF4y2Ba 美国太平洋格罗夫,CAgydF4y2Ba 1257年gydF4y2Ba 1261年gydF4y2Ba 10.1109 / ACSSC.1994.471660gydF4y2Ba 陆gydF4y2Ba Y。gydF4y2Ba PayandehgydF4y2Ba 年代。gydF4y2Ba 合作混合多摄像头跟踪监视的人gydF4y2Ba 加拿大电气和计算机工程杂志》上gydF4y2Ba 2008年gydF4y2Ba 33gydF4y2Ba 3 - 4gydF4y2Ba 145年gydF4y2Ba 152年gydF4y2Ba 2 - s2.0 - 72149131331gydF4y2Ba 10.1109 / CJECE.2008.4721631gydF4y2Ba 公园gydF4y2Ba J。gydF4y2Ba 尹gydF4y2Ba 杨绍明。关铭gydF4y2Ba LED-glove基于交互多模式显示的电话会议gydF4y2Ba 学报》第16届国际会议上人工现实和Telexistence工作坊,ICAT 2006gydF4y2Ba 2006年12月gydF4y2Ba 中文gydF4y2Ba 395年gydF4y2Ba 399年gydF4y2Ba 2 - s2.0 - 46449120896gydF4y2Ba 10.1109 / ICAT.2006.80gydF4y2Ba 金gydF4y2Ba H。gydF4y2Ba FellnergydF4y2Ba d . W。gydF4y2Ba 互动投影墙的手势gydF4y2Ba 诉讼程序的计算机图形学国际CGI 2004gydF4y2Ba 2004年6月gydF4y2Ba grcgydF4y2Ba 395年gydF4y2Ba 402年gydF4y2Ba 2 - s2.0 - 5444257352gydF4y2Ba 10.1109 / CGI.2004.1309240gydF4y2Ba 弗里曼gydF4y2Ba w·T。gydF4y2Ba 斯曼gydF4y2Ba C。gydF4y2Ba 电视通过手势控制gydF4y2Ba 程序自动脸上国际研讨会和手势识别gydF4y2Ba 1995年gydF4y2Ba 179年gydF4y2Ba 183年gydF4y2Ba 螺栓gydF4y2Ba r。gydF4y2Ba 眼睛在接口gydF4y2Ba 人为因素在计算系统学术会议gydF4y2Ba 1982年3月gydF4y2Ba 美国马里兰州盖瑟斯堡gydF4y2Ba 360年gydF4y2Ba 362年gydF4y2Ba 10.1145/800049.801811gydF4y2Ba StarnergydF4y2Ba T。gydF4y2Ba 韦弗gydF4y2Ba J。gydF4y2Ba PentlandgydF4y2Ba 一个。gydF4y2Ba 实时的美国手语识别使用桌子和基于嵌入式计算机的视频gydF4y2Ba IEEE模式分析与机器智能gydF4y2Ba 1998年gydF4y2Ba 20.gydF4y2Ba 12gydF4y2Ba 1371年gydF4y2Ba 1375年gydF4y2Ba 10.1109/34.735811gydF4y2Ba 2 - s2.0 - 0032304547gydF4y2Ba GavrilagydF4y2Ba d . M。gydF4y2Ba 戴维斯gydF4y2Ba l S。gydF4y2Ba 三维模型跟踪人类行动:一种多视点的方法gydF4y2Ba 《IEEE计算机视觉与模式识别会议gydF4y2Ba 1996年6月gydF4y2Ba 73年gydF4y2Ba 80年gydF4y2Ba 2 - s2.0 - 0029711401gydF4y2Ba 李gydF4y2Ba Y。gydF4y2Ba 手势识别使用KinectgydF4y2Ba 学报2012年IEEE第三国际会议软件工程和服务科学,ICSESS 2012gydF4y2Ba 2012年6月gydF4y2Ba 中文gydF4y2Ba 196年gydF4y2Ba 199年gydF4y2Ba 2 - s2.0 - 84866480409gydF4y2Ba 10.1109 / ICSESS.2012.6269439gydF4y2Ba 周gydF4y2Ba H。gydF4y2Ba 谢gydF4y2Ba lgydF4y2Ba 方gydF4y2Ba X。gydF4y2Ba 视觉鼠标:筛选检测和PCA识别gydF4y2Ba 《IEEE国际会议上计算情报和安全gydF4y2Ba 2007年gydF4y2Ba 263年gydF4y2Ba 266年gydF4y2Ba 2 - s2.0 - 52249113070gydF4y2Ba ScovannergydF4y2Ba P。gydF4y2Ba 阿里gydF4y2Ba 年代。gydF4y2Ba 沙阿gydF4y2Ba M。gydF4y2Ba 一个三维筛选描述符及其行动识别中的应用gydF4y2Ba 学报》第十五届ACM国际多媒体会议(毫米' 07)gydF4y2Ba 2007年9月gydF4y2Ba 357年gydF4y2Ba 360年gydF4y2Ba 10.1145/1291233.1291311gydF4y2Ba 2 - s2.0 - 37849037402gydF4y2Ba 王gydF4y2Ba C。gydF4y2Ba 王gydF4y2Ba K。gydF4y2Ba 手的姿势识别人类机器人交互使用筛选的演算法,对机器人技术的最新进展gydF4y2Ba 施普林格控制和信息科学的课堂讲稿gydF4y2Ba 2008年gydF4y2Ba 317年gydF4y2Ba 329年gydF4y2Ba PanditagydF4y2Ba 年代。gydF4y2Ba NarotegydF4y2Ba s P。gydF4y2Ba 使用筛选手势识别gydF4y2Ba 《IEEE国际会议上计算情报和安全gydF4y2Ba 2013年gydF4y2Ba 2gydF4y2Ba 1gydF4y2Ba 4gydF4y2Ba 清gydF4y2Ba C。gydF4y2Ba GeorganasgydF4y2Ba n D。gydF4y2Ba PetriugydF4y2Ba e . M。gydF4y2Ba 实时应用手势识别使用haar-like特性gydF4y2Ba 《IEEE会议仪器和测量技术gydF4y2Ba 2007年5月gydF4y2Ba 波兰华沙gydF4y2Ba IEEEgydF4y2Ba 1gydF4y2Ba 6gydF4y2Ba 10.1109 / IMTC.2007.379068gydF4y2Ba 2 - s2.0 - 34648822574gydF4y2Ba 弗里曼gydF4y2Ba w·T。gydF4y2Ba 罗斯gydF4y2Ba M。gydF4y2Ba 手势识别的方向直方图gydF4y2Ba 程序自动脸上国际研讨会和手势识别gydF4y2Ba 1995年gydF4y2Ba 296年gydF4y2Ba 301年gydF4y2Ba 斯托科gydF4y2Ba w . C。gydF4y2Ba MarscharkgydF4y2Ba M。gydF4y2Ba 手语结构:一个大纲的美国聋人的视觉通信系统gydF4y2Ba 聋人和聋教育研究杂志》上gydF4y2Ba 2005年gydF4y2Ba 10gydF4y2Ba 1gydF4y2Ba 3gydF4y2Ba 37gydF4y2Ba 2 - s2.0 - 21644485950gydF4y2Ba 10.1093 /聋/ eni001gydF4y2Ba ElmezaingydF4y2Ba M。gydF4y2Ba Al-HamadigydF4y2Ba 一个。gydF4y2Ba AppenrodtgydF4y2Ba J。gydF4y2Ba 米歇利斯gydF4y2Ba B。gydF4y2Ba 一个隐藏的马尔科夫模型连续手势识别系统运动轨迹gydF4y2Ba 《IEEE国际会议模式识别gydF4y2Ba 2008年12月gydF4y2Ba 1gydF4y2Ba 4gydF4y2Ba 2 - s2.0 - 77957954869gydF4y2Ba PayandehgydF4y2Ba 年代。gydF4y2Ba 视觉跟踪在传统微创手术gydF4y2Ba 2016年gydF4y2Ba 美国俄亥俄州克利夫兰gydF4y2Ba CRC的新闻gydF4y2Ba 10.1201 / 9781315367484gydF4y2Ba 巴希尔gydF4y2Ba F。gydF4y2Ba 曲gydF4y2Ba W。gydF4y2Ba KhokhargydF4y2Ba 一个。gydF4y2Ba 联系gydF4y2Ba D。gydF4y2Ba 使用分段PCA HMM-based运动识别系统gydF4y2Ba 学报2005年IEEE图像处理国际会议上,ICIP 2005gydF4y2Ba 2005年9月gydF4y2Ba itagydF4y2Ba 1288年gydF4y2Ba 1291年gydF4y2Ba 2 - s2.0 - 33749251478gydF4y2Ba 10.1109 / ICIP.2005.1530635gydF4y2Ba 巴希尔gydF4y2Ba f . I。gydF4y2Ba KhokhargydF4y2Ba 答:一个。gydF4y2Ba 联系gydF4y2Ba D。gydF4y2Ba 对象trajectory-based活动分类和识别使用隐马尔科夫模型gydF4y2Ba IEEE图像处理gydF4y2Ba 2007年gydF4y2Ba 16gydF4y2Ba 7gydF4y2Ba 1912年gydF4y2Ba 1919年gydF4y2Ba 10.1109 / TIP.2007.898960gydF4y2Ba MR2463094gydF4y2Ba 2 - s2.0 - 34347372619gydF4y2Ba 在香港gydF4y2Ba P。gydF4y2Ba 土耳其人gydF4y2Ba M。gydF4y2Ba 黄gydF4y2Ba t·S。gydF4y2Ba 手势建模和识别使用有限状态机gydF4y2Ba 程序自动脸上的第四届IEEE国际会议和手势识别,FG 2000gydF4y2Ba 2000年3月gydF4y2Ba 联邦铁路局gydF4y2Ba 410年gydF4y2Ba 415年gydF4y2Ba 2 - s2.0 - 84905402324gydF4y2Ba 10.1109 / AFGR.2000.840667gydF4y2Ba SchaalgydF4y2Ba 年代。gydF4y2Ba 动态运动原语——一个电机控制框架在人类和人形机器人gydF4y2Ba 在斯普林格适应运动的动物和机器gydF4y2Ba 2006年gydF4y2Ba 德国gydF4y2Ba 施普林格gydF4y2Ba 261年gydF4y2Ba 280年gydF4y2Ba LetessiergydF4y2Ba J。gydF4y2Ba -gydF4y2Ba F。gydF4y2Ba 视觉跟踪的光秃秃的手指互动的表面gydF4y2Ba ACM研讨会上的用户界面软件的程序和技术gydF4y2Ba 2004年gydF4y2Ba 119年gydF4y2Ba 122年gydF4y2Ba 2 - s2.0 - 20344373685gydF4y2Ba 王gydF4y2Ba J。gydF4y2Ba PayandehgydF4y2Ba 年代。gydF4y2Ba 手运动的研究/姿态识别两个摄像头的观点gydF4y2Ba 课堂讲稿在计算机科学(包括子系列讲义在人工智能和课堂讲稿在生物信息学):前言gydF4y2Ba 2015年gydF4y2Ba 9475年gydF4y2Ba 314年gydF4y2Ba 323年gydF4y2Ba 2 - s2.0 - 84952782905gydF4y2Ba 10.1007 / 978 - 3 - 319 - 27863 - 6 _29gydF4y2Ba Bouguet, J。,摄像机标定Toolbox for Matlab, http://www.vision.caltech.edu/bouguetj/calib_doc/gydF4y2Ba2017年10月,持续访问gydF4y2Ba 方gydF4y2Ba Y。gydF4y2Ba 王gydF4y2Ba K。gydF4y2Ba 程gydF4y2Ba J。gydF4y2Ba 陆gydF4y2Ba H。gydF4y2Ba 一个实时手势识别方法gydF4y2Ba 《IEEE国际会议多媒体和世博会gydF4y2Ba 2007年gydF4y2Ba 995年gydF4y2Ba 998年gydF4y2Ba PhunggydF4y2Ba s . L。gydF4y2Ba BouzerdoumgydF4y2Ba 一个。gydF4y2Ba 柴gydF4y2Ba D。gydF4y2Ba 皮肤分割使用像素颜色分类:分析和比较gydF4y2Ba IEEE模式分析与机器智能gydF4y2Ba 2005年gydF4y2Ba 27gydF4y2Ba 1gydF4y2Ba 148年gydF4y2Ba 154年gydF4y2Ba 2 - s2.0 - 13344275139gydF4y2Ba 10.1109 / TPAMI.2005.17gydF4y2Ba SobottkagydF4y2Ba K。gydF4y2Ba 皮塔饼gydF4y2Ba 我。gydF4y2Ba 一个新颖的方法,自动分割,面部特征提取和跟踪gydF4y2Ba 信号处理:图像通信gydF4y2Ba 1998年gydF4y2Ba 12gydF4y2Ba 3gydF4y2Ba 263年gydF4y2Ba 281年gydF4y2Ba 2 - s2.0 - 0032097277gydF4y2Ba 10.1016 / s0923 - 5965 (97) 00042 - 8gydF4y2Ba 卡尔曼gydF4y2Ba r·E。gydF4y2Ba 一个线性滤波和预测问题的新方法gydF4y2Ba 流体工程gydF4y2Ba 1960年gydF4y2Ba 82年gydF4y2Ba 1gydF4y2Ba 35gydF4y2Ba 45gydF4y2Ba 10.1115/1.3662552gydF4y2Ba YilmazgydF4y2Ba 一个。gydF4y2Ba JavedgydF4y2Ba O。gydF4y2Ba 沙阿gydF4y2Ba M。gydF4y2Ba 对象跟踪:一个调查gydF4y2Ba ACM计算调查gydF4y2Ba 2006年gydF4y2Ba 38gydF4y2Ba 4、第十三条gydF4y2Ba 10.1145/1177352.1177355gydF4y2Ba 2 - s2.0 - 33846013241gydF4y2Ba 王gydF4y2Ba J。gydF4y2Ba 手跟踪及其模式识别网络中的校准相机(应用科学硕士论文)gydF4y2Ba 2015年gydF4y2Ba 加拿大gydF4y2Ba 西蒙弗雷泽大学gydF4y2Ba levelandgydF4y2Ba w·S。gydF4y2Ba 洛斯:一个程序健壮的局部加权回归平滑散点图gydF4y2Ba 美国统计学家gydF4y2Ba 1981年gydF4y2Ba 35gydF4y2Ba 1gydF4y2Ba MR556476gydF4y2Ba IjspeertgydF4y2Ba a·J。gydF4y2Ba 录像gydF4y2Ba J。gydF4y2Ba 霍夫曼gydF4y2Ba H。gydF4y2Ba 牧师gydF4y2Ba P。gydF4y2Ba SchaalgydF4y2Ba 年代。gydF4y2Ba 电动机动力运动原语:学习吸引子模型的行为gydF4y2Ba 神经计算gydF4y2Ba 2013年gydF4y2Ba 25gydF4y2Ba 2gydF4y2Ba 328年gydF4y2Ba 373年gydF4y2Ba 10.1162 / NECO_a_00393gydF4y2Ba MR3058499gydF4y2Ba Zbl1269.92002gydF4y2Ba 2 - s2.0 - 84875592161gydF4y2Ba 常gydF4y2Ba C。gydF4y2Ba 林gydF4y2Ba C。gydF4y2Ba LIBSVM:支持向量机的库gydF4y2Ba ACM智能交易系统和技术gydF4y2Ba 2011年gydF4y2Ba 2gydF4y2Ba 3、第二十七条gydF4y2Ba 10.1145/1961189.1961199gydF4y2Ba 2 - s2.0 - 79955702502gydF4y2Ba MardiagydF4y2Ba k V。gydF4y2Ba 肯特gydF4y2Ba j . T。gydF4y2Ba 毕比gydF4y2Ba j . M。gydF4y2Ba 多变量分析gydF4y2Ba 1979年gydF4y2Ba 学术出版社gydF4y2Ba MR560319gydF4y2Ba MohsingydF4y2Ba N。gydF4y2Ba 刘gydF4y2Ba X。gydF4y2Ba PayandehgydF4y2Ba 年代。gydF4y2Ba 信号处理技术对自然的睡眠姿势估计使用深度数据gydF4y2Ba 第七届IEEE学报》年度信息技术、电子和移动通信大会上,IEEE IEMCON 2016gydF4y2Ba 2016年10月gydF4y2Ba 可以gydF4y2Ba 2 - s2.0 - 85005979521gydF4y2Ba 10.1109 / IEMCON.2016.7746284gydF4y2Ba 陆gydF4y2Ba Y。gydF4y2Ba PayandehgydF4y2Ba 年代。gydF4y2Ba 智能合作跟踪多幅相机系统gydF4y2Ba 学报》第九届国际会议上智能系统设计和应用中,ISDA 2009gydF4y2Ba 2009年12月gydF4y2Ba itagydF4y2Ba 608年gydF4y2Ba 613年gydF4y2Ba 2 - s2.0 - 77949505711gydF4y2Ba 10.1109 / ISDA.2009.12gydF4y2Ba