应用仿生学和生物力学GydF4y2Ba

应用仿生学和生物力学GydF4y2Ba/GydF4y2Ba2020.GydF4y2Ba/GydF4y2Ba文章GydF4y2Ba

研究文章|GydF4y2Ba开放获取GydF4y2Ba

体积GydF4y2Ba 2020.GydF4y2Ba |GydF4y2Ba文章的IDGydF4y2Ba 9160528.GydF4y2Ba |GydF4y2Ba https://doi.org/10.1155/2020/9160528GydF4y2Ba

H. M.Ravindu T. Bandara,K.S.Priyanayana,A.G.Budgika P.Jayasekara,D.P.Chandima,R.A.R. R.C.GopuraGydF4y2Ba,GydF4y2Ba "GydF4y2Ba具有手势方差补偿的国内轮椅导航智能手势分类模型GydF4y2Ba",GydF4y2Ba应用仿生学和生物力学GydF4y2Ba,GydF4y2Ba 卷。GydF4y2Ba2020.GydF4y2Ba,GydF4y2Ba 文章的IDGydF4y2Ba9160528.GydF4y2Ba,GydF4y2Ba 11GydF4y2Ba 页面GydF4y2Ba,GydF4y2Ba 2020.GydF4y2Ba.GydF4y2Ba https://doi.org/10.1155/2020/9160528GydF4y2Ba

具有手势方差补偿的国内轮椅导航智能手势分类模型GydF4y2Ba

学术编辑:GydF4y2Baandrea cereeatti.GydF4y2Ba
已收到GydF4y2Ba 2019年8月28日GydF4y2Ba
修改后的GydF4y2Ba 2019年12月02日GydF4y2Ba
接受GydF4y2Ba 2020年1月04GydF4y2Ba
发表GydF4y2Ba 2020年1月30日GydF4y2Ba

抽象的GydF4y2Ba

老人和残疾人口迅速增加。通过提高日常活动的信心,促进其生活水平非常重要。导航是一个重要的任务,大多数老人和残疾人都需要帮助。用智能系统替换能够通过轮椅系统辅助人类导航的人力系统是一种有效的解决方案。手势通常用于导航系统。但是,这些系统没有准确识别手势差异的能力。因此,本文提出了一种用手势模型创建一种智能手势分类系统的方法,该模型是根据人类研究建立的,以便在手势方差补偿能力下的国内航行中的每一个基本运动。已经进行了实验,以评估用户记忆和回忆能力以及对手势模型的适应性。引入动态手势识别模块(DGIM),静态手势识别模块(SGIM)和手势澄清器(GC)以识别手势命令。使用与人类用户进行的实验结果分析了所提出的系统,用于系统准确性和精确度。 Accuracy of the intelligent system was determined with the use of confusion matrix. Further, those results were analyzed using Cohen’s kappa analysis in which overall accuracy, misclassification rate, precision, and Cohen’s kappa values were calculated.

1.介绍GydF4y2Ba

为长者和残疾人士提供的辅助技术是一个迅速发展的领域[GydF4y2Ba1GydF4y2Ba,GydF4y2Ba2GydF4y2Ba].许多研究都集中在人类生命的生活水平方面。大多数老年人和残疾人的常见问题是导航。由于它们很难转向,因此他们需要另一个人或机器的一些帮助。但是,在有沟通问题时,协助不够[GydF4y2Ba3.GydF4y2Ba].很难在国内环境中导航,难以准确沟通。随着言语,口吃和讨厌和讨厌的言语障碍等言论障碍越来越多地观察残疾人和老年人。因此,这种社区中的人声学互动变得困难。此外,在没有得到帮助的情况下无法在国内环境中导航,创造焦虑,愤怒和抑郁等常见问题,这导致健康状况差[GydF4y2Ba4GydF4y2Ba].因此,辅助技术显然应该以更智能的方式升级,使人类的生活更舒适、更健康[GydF4y2Ba5GydF4y2Ba].GydF4y2Ba

人类更喜欢使用多种模式,例如语音和手势,在国内环境中相互互动[GydF4y2Ba6GydF4y2Ba- - - - - -GydF4y2Ba8GydF4y2Ba].手势包括手势、面部表情或暗示,这些甚至对人类来说都很难理解。此外,语音和手势表情可以集成来创建导航命令[GydF4y2Ba9GydF4y2Ba].作为一个例子,轮椅上的一个人可能会说“去那里”,人们可以通过显示他想要移动的方向来将手势整合到句子中[GydF4y2Ba10GydF4y2Ba].语音指令可能包含不确定的术语,如距离和方向,表示“近”、“远”、“中间”、“左”和“右”,或表示“这里”和“那里”的地点[GydF4y2Ba11GydF4y2Ba].对机器人来说,解释不确定的术语是一项艰巨的任务。此外,这种解读取决于多种因素,如用户体验、视力、环境、环境的认知反馈等[GydF4y2Ba12GydF4y2Ba- - - - - -GydF4y2Ba14GydF4y2Ba].考虑这些因素使声乐指挥解释极其困难。然而,使用具有理解此类短语的能力的智能系统可能不太可能被人类使用,因为系统产生的小错误或误解可能对残疾人或老年人的危急损害。GydF4y2Ba

大多数老年人都存在语音困难,这使得他们很难用语音识别系统来明确发出的语音指令。此外,语音指令包含各种不确定性,如时间相关、频率、距离和方向等,这让人很难理解。例如,“去那里”和“来这里”具有位置不确定性,而“等在这里”和“给我一分钟”等命令具有与时间相关的不确定性。手势在导航中广泛使用,也有差异[GydF4y2Ba15GydF4y2Ba].然而,与声音命令相比,手势显示了更详细的指导,这导致智能系统的更准确的决定。如果智能系统能够将手势解释为导航命令,并且一个人可以为所有基本导航任务使用手势给出导航命令,这将是智能轮椅等系统更简单而有效的方法[GydF4y2Ba16GydF4y2Ba].这样的系统应该具备在理解差异的同时解释手势的能力,就像用于导航的手势字母一样。此外,这些手势应该容易记住,并能够表达残疾人或坐轮椅的老年人可能需要的每一项基本任务。此外,对无意识手部动作的误解也会造成严重的后果。因此,也应该考虑安全预防措施[GydF4y2Ba17GydF4y2Ba].GydF4y2Ba

已经提出了一种方法[GydF4y2Ba18GydF4y2Ba],利用RGB深度相机识别人手的动态手势。该系统能够在复杂背景下自动识别手势。然而,该系统能够识别有限的导航命令,并且该系统被设计为使用手势控制移动机器人。因此,机器人只能执行基本的机器人运动。一种可响应各种手势和语音指令的实时免提沉浸式图像导航系统已在[GydF4y2Ba19GydF4y2Ba].该系统能够通过Kinect和跳跃动作传感器识别各种手部和手指动作和语音指令。然而,该系统是专门为图像导航设计的,它不具备任何运动导航理解能力。GydF4y2Ba

一种带有手势识别装置的智能轮椅在[GydF4y2Ba20.GydF4y2Ba].轮椅可以通过诸如向前,向后和右/左/左侧的基本手势来控制。然而,这种轮椅不能识别更复杂的静态和动态手势,并且对任务的识别不是实时的。GydF4y2Ba

另一种方法已经提出[GydF4y2Ba21GydF4y2Ba]来识别动态手势,使用跳跃运动传感器。该系统可以识别简单的动态手势,如swipe, tap和drawing circle来验证登录。然而,该系统不能识别复杂的动态手势用于国内导航任务。一种动态和静态手势识别方法在[GydF4y2Ba22GydF4y2Ba]对于辅助机器人。该系统可以识别简单的动态手势,例如挥舞着和点头,而可以在定位位置识别简单的尖头手势。但是,此系统无法识别用于导航的手动和静态命令的动态运动命令。这种系统的另一个弱点是使用单独的手指和缺乏实时手势识别的灵活性。最具动态和静态手势使用单独的手指。GydF4y2Ba

[中的手识别系统GydF4y2Ba23GydF4y2Ba]使用Kinect传感器来获得深度图和彩色图。使用彩色图的深度图具有增加手势识别的鲁棒性,并且使用了手指地球移动器的距离方法来消除任何输入变化或颜色失真。由于该方法仅考虑手指之间的距离,因此不会检测到彼此的彼此的移动。这些类型的手指震颤导致手势差异,在此设置中不会被识别。本文的目的是开发一个简单但独特的手势系统,以帮助在弥补上述手势差异的国内环境中导航。[GydF4y2Ba24GydF4y2Ba]利用深度图像通过隐马尔可夫模型(HMM)识别实时动态手势。该系统考虑了手势方向、速度和风格的动态变化。然而,微小的差异,如手指方向,手指骨方向,手指速度没有考虑在这个系统。还有另一种方法是在三维空间中使用HMM进行时空手部运动模式[GydF4y2Ba25GydF4y2Ba].在这种方法中,他们已经考虑了手动运动,在3D空间中的手掌方向来补偿手势差异或震颤。然而,它未能识别通常在老年人中看到的手掌方向的手指运动。已经开发了许多手势识别系统,以识别最静态和动态的手势。然而,很少有人试图补偿非自愿手势方差。系统引入的系统GydF4y2Ba26GydF4y2Ba,GydF4y2Ba27GydF4y2Ba]尝试定义更多功能,以最小化所有静态和动态差异或震颤。为避免过度装备和冗余,它们已使用2级分类器融合来过滤掉不必要的功能。即使有大约44个功能,单独的分类器和2个级别的融合,也是[GydF4y2Ba26GydF4y2Ba未能补偿手指震颤。因为他们(GydF4y2Ba26GydF4y2Ba,GydF4y2Ba27GydF4y2Ba]没有考虑针对手掌方向或骨角的手指角度,这些特征融合到它们的方法中变得困难。系统在[GydF4y2Ba28GydF4y2Ba]引入了一个操作手机的手势词汇,而不是本文提出的系统。然而,这个系统考虑了大范围的手势和小范围的手势,其中微小的手势差异很重要。贝叶斯线性分类器已用于小尺度手势,而hmm已用于大尺度手势。然而,在静态和动态手势的特征和差异中未考虑的手指运动、骨角或手指方向将不能通过使用单独的分类器进行补偿。GydF4y2Ba

因此,本文介绍了一种新的方法,即使使用具有语音障碍的轮椅使用者的手势分类模型,即使具有震颤,识别动态和静态运动相关的手势的方法。定义了具有基本导航命令的完整手势模型。它可用于通过家庭环境导航智能轮椅。提取详细的功能集,以便补偿手势中发生的用户差异。GydF4y2Ba

本文的目的是开发一个手势模型,以帮助轮椅使用者在家庭环境中导航。因此,设计的手势必须涵盖所有可能的导航场景。这些手势分为静态、动态、手掌和手指手势。一个系统不仅应该能够识别静态和动态手势,而且应该能够补偿发生在老年人中的手和手指颤抖。系统应该能够识别同一手势的不同变体,从一个用户到另一个用户。总之,上述所有现有系统都不是专门设计为导航手势模型的。很少有作为手语手势模型的。然而,这些手势词汇对于本文的目的并不有效。上述系统中使用的手势识别方法和工具都着重于手势的准确性。一些系统考虑了手掌震颤引起的手势差异。 However, none of them has considered finger tremors and finger bone angles as possibilities. In this article, we are not only focusing on developing a specifically designed gesture vocabulary but also considering all possible variations of the same gesture.

因此,老年人的震颤不会是导航系统混淆的原因。拟议系统的整体功能在部分中解释GydF4y2Ba2GydF4y2Ba.建议创建手势模型和特征提取过程的概念GydF4y2Ba3.GydF4y2Ba.在一节中提出和讨论了实验结果GydF4y2Ba4GydF4y2Ba.最后,在第一部分给出了结论GydF4y2Ba5GydF4y2Ba.GydF4y2Ba

2.系统概述GydF4y2Ba

建议系统的总体功能如图所示GydF4y2Ba1GydF4y2Ba.所提出的系统能够识别静态和动态手势并将这些手势解释为导航命令。手势记忆(GM)基于来自人类研究的识别的手势,能够在国内环境中创建每个基本导航任务。此外,还评估了用户记住和调用手势的能力。GydF4y2Ba

手势识别模块利用跳跃运动传感器提取手部骨骼信息,提取的数据发送到手势澄清器(GC),根据手势特征将手势区分为静态手势和动态手势。静态手势识别模块(SGIM)和动态手势识别模块(DGIM)理解并识别与观察手势相关的导航命令。状态识别模块(SIM)与GC、SGIM、DGIM和状态控制模块(SCM)一起工作,以区分手势和无意识的手部动作。单片机通过控制“打开”和“关闭”等最优先级的手势命令来理解用户使用手势识别系统的需求。GydF4y2Ba

3.姿态模型GydF4y2Ba

3.1.人类研究I:导航指令的识别GydF4y2Ba

人类的自然交流包括多种形式,比如声音和手势。因此,定义手势应该能够取代所有可能的导航命令。为了识别轮椅使用者在基本导航过程中使用的指令,进行了一项人体研究。20名55至70岁的轮椅使用者参与了这项研究。参与者被要求通过手势、声音或多模式交互来引导他们的轮椅。自然导航指令识别是优先考虑的。因此,交互方式并不局限于手势。改变位置是为了覆盖所有可能的导航场景。参与者先前并不知道这些地点或先前的研究结果。保证了结果的准确性,避免了结果的重复。 All possible navigation commands were recorded, most frequent commands were identified, and the graphical representation of the identified command frequencies is given in Figure2GydF4y2Ba.GydF4y2Ba

上面确定的最常见的命令被考虑用于提议的手势系统。GydF4y2Ba

3.2。人体研究II:手势识别GydF4y2Ba

进行了人类研究,以了解轮椅使用者使用的手势功能,以获得识别的导航命令。一组20人从同一年龄组随机选择(55至70)参加了该研究。要求参与者执行在人类研究中识别的基本导航命令,我只使用手势。本研究中收集的数据用于构建稍后将详细阐述的手势系统。飞跃运动传感器用于跟踪手势,并由通过该手势进行处理以识别手势特征。记录在执行每个命令中关联的大多数主要手动功能。结果显示在表格中GydF4y2Ba1GydF4y2Ba.利用每个手势常用的手部特征作为特征提取的基础。GydF4y2Ba


导航命令GydF4y2Ba Palm Distientation.GydF4y2Ba 掌托GydF4y2Ba 指尖运动GydF4y2Ba 手指骨头GydF4y2Ba 手指GydF4y2Ba
单手指GydF4y2Ba 多个手指GydF4y2Ba

前进GydF4y2Ba 92%GydF4y2Ba 32%GydF4y2Ba 28%GydF4y2Ba 6%GydF4y2Ba 44%GydF4y2Ba 56%GydF4y2Ba
向左转GydF4y2Ba 84%GydF4y2Ba 75%GydF4y2Ba 42%GydF4y2Ba 18%GydF4y2Ba 8%GydF4y2Ba 48%GydF4y2Ba
向右转GydF4y2Ba 82%GydF4y2Ba 75%GydF4y2Ba 44%GydF4y2Ba 16%GydF4y2Ba 7%GydF4y2Ba 52%GydF4y2Ba
停止GydF4y2Ba 96%GydF4y2Ba 68%GydF4y2Ba 64%GydF4y2Ba 24%GydF4y2Ba 18%GydF4y2Ba 74%GydF4y2Ba
转身GydF4y2Ba 98%GydF4y2Ba 56%GydF4y2Ba 86%GydF4y2Ba 77%GydF4y2Ba 14%GydF4y2Ba 84%GydF4y2Ba
慢下来GydF4y2Ba 98%GydF4y2Ba 87%GydF4y2Ba 54%GydF4y2Ba 21%GydF4y2Ba 19%GydF4y2Ba 72%GydF4y2Ba
稍微留下GydF4y2Ba 90%GydF4y2Ba 34%GydF4y2Ba 97%GydF4y2Ba 42%GydF4y2Ba 47%GydF4y2Ba 52%GydF4y2Ba
转动略微对GydF4y2Ba 89%GydF4y2Ba 35%GydF4y2Ba 98%GydF4y2Ba 44%GydF4y2Ba 46%GydF4y2Ba 53%GydF4y2Ba

两种主要类型的手势被识别为静态手势(指针或姿势)和动态手势(手动运动)。静态手势主要用于微妙的运动命令,如停止,转身,稍微向左转/右转。对于剧烈的运动命令,参与者使用了手动运动。其他重要趋势是,参与者喜欢更均匀地使用静态和动态手势。这些命令也被发现是两种类型:指向手势和掌上打开的手势。参与者使用的指数在指向手势中不可预测,并且主要使用一种手指或两根手指。动态手势主要用于表达轮椅需要执行的运动和方向。GydF4y2Ba

3.3.手势系统GydF4y2Ba

轮椅使用者的导航指令应涵盖所有可能的导航场景。如果用户有发声能力,命令将包括包含准确指令的信息。要让智能轮椅只通过手势工作,手势应该简单、清晰和准确。该手势系统基于所有基本的导航场景。这些手势简单明了。在手势定义的基础上,采用动态手势表示动作指令。定义的手势如图所示GydF4y2Ba3.GydF4y2Ba.GydF4y2Ba

手势系统是基于以下考虑因素而构建的。GydF4y2Ba(1)GydF4y2Ba有定义的手势应该简单、清晰和准确GydF4y2Ba(2)GydF4y2Ba手势应该定义为用户可以使用最少数量的手势导航路径的方式GydF4y2Ba(3)GydF4y2Ba用户应该能够记住和调用定义的手势。为了确保用户对手势系统的可调节性,进行了人类研究。本研究的细节在部分中解释GydF4y2Ba4.1GydF4y2Ba和GydF4y2Ba4.2GydF4y2Ba(4)GydF4y2Ba手势之间应该有显著的差异。因此,用户不会对手势有任何混淆GydF4y2Ba(5)GydF4y2Ba手势系统应该具有静态和动态手势,以便缓解由跳跃运动传感器引起的不准确性GydF4y2Ba

3.4.特征提取GydF4y2Ba

伴随着声音的手势往往是自愿和非自愿的。这些手势携带着诸如方向和动作等信息。对于有声音残疾的轮椅使用者,这些手势可以被认为是主要的形态。尽管有像美国手语这样的手势系统,但这些手势的执行情况却因人而异。为了弥补这种差异,我们使用了骨角,如下所述。GydF4y2Ba

定义的手势系统由两种主要形式的手势组成:动态手势和静态手势。静态手势是非展开的手势,可以通过基本手部特征来建模。使用手指移动和手动移动等动态手功能建模动态手势。GydF4y2Ba(1)GydF4y2Ba掌上方向。GydF4y2Ba基于Leap Motion坐标采取了棕榈方向。手掌的桨距角,辊角和偏航角描绘了取向。俯仰角是旋转的角度GydF4y2Ba 轴、滚角是绕轴转动的角度GydF4y2Ba 轴和偏航角是旋转的角度GydF4y2Ba 轴。如图所示GydF4y2Ba4GydF4y2Ba,四元数角理论被用来取偏航,俯仰,和滚GydF4y2Ba ,GydF4y2Ba ,GydF4y2Ba 相对于单个向量的向量。通常使用欧拉角,因为它有能力取相对的向量。但欧拉角有一定的局限性,可以用四元数角来解决。使用欧拉角的主要限制是难以平滑地插值物体的两个方向[GydF4y2Ba29GydF4y2Ba]GydF4y2Ba(2)GydF4y2Ba手指骨角。GydF4y2Ba手指相对于手掌骨的骨角被提取。这些角度如图所示GydF4y2Ba5GydF4y2Ba.因此,即使当(i)慢下来时,(j)更快,(k)关闭,并且(l)开启,手指的位置不正确,不会影响手势识别。如图所示GydF4y2Ba5GydF4y2Ba,远端角度(GydF4y2Ba ),GydF4y2Ba近端(GydF4y2Ba ),GydF4y2Ba和中级(GydF4y2Ba )GydF4y2Ba使用等式计算相对于糖尿病骨的骨骼(GydF4y2Ba1GydF4y2Ba)。这些角度被用于食指和中指。对于拇指手指,只有远端和近端骨角,因为拇指没有中间骨。这三个手指被认为是因为鉴定的大多数导航手势与它们相关联。由于环形手指和小指是紧密相关的耦合,所考虑远端,近端和中角的平均值。定义的导航手势具有唯一的戒指或小指特征。但是,对于其他三个手指来获得单独的功能非常重要,因为它们在手势中单独包含。在此,蜂鸣骨骨,近端骨,中间骨和远端骨的方向表示GydF4y2Ba ,GydF4y2Ba ,GydF4y2Ba ,GydF4y2Ba和GydF4y2Ba ,GydF4y2Ba分别。GydF4y2Ba 使用相同的方法完成其他两个角度的计算GydF4y2Ba(3)GydF4y2Ba指尖速度GydF4y2Ba.为了检测定义的动态手势,我们考虑了食指指尖的速度。速度矢量的大小和方向考虑了两种不同的输入。同时,通过其他手指的指尖平均速度来检测手指运动。图中显示了考虑的所有属性GydF4y2Ba4GydF4y2Ba(4)GydF4y2Ba手掌的速度GydF4y2Ba.为了检测手掌移动,掌速度幅度和方向被认为是输入。手掌方向角也是检测动态手势的输入功能GydF4y2Ba

3.5。手势的分类GydF4y2Ba

已经开发了人工神经网络(ANNS)来识别和阐明动态和静态手势。每个静态手势识别模块(SGIM)和动态手势识别模块(DGIM)由ANN组成。手势澄清器(GC)由算法组成GydF4y2Ba1GydF4y2Ba和GydF4y2Ba2GydF4y2Ba区分动态手势从静态手势。GC优先级在DGIM中定义了像“关闭”和“打开”的关键命令以来的动态手势。它控制基于优先级命令的系统状态。如果收到的导航命令是“关闭”,GC将从DGIM和SGIM隔离GI,并等待下一个命令“打开”。此外,当GC和SCM识别出姿态确认时,将激活适当的子模块。GydF4y2Ba

SGIM由ANN组成,具有14个输入(B1,B2,B3,B4,B5,B6,M1,M2,M3,T1,T2,P1,P2和P3)。该ANN中有两个隐藏层,输出层具有四个输出(N1,N2,N3和N4)。SGIM的输出表示从1到12的静态导航命令编号.DGIM由ANN组成,具有5个输入(C1,C2,Q1,Q2,P1,P2,P3和V1)和4个输出(N5,N6,n7和n8)。DGIM的输出表示1到12的动态导航命令编号。SGIM和DGIM的两个输出都是二进制数。两个ANNS都使用符切函数作为激活功能。GydF4y2Ba

=指1的指尖速度GydF4y2Ba
=指2的指尖速度GydF4y2Ba
 = mean value for fingertip velocity of Fingers 3 and 4
 = captured frame from a leap motion sensor
 = frames taken from a leap motion sensor from 0.25 s intervals
要求GydF4y2Ba::GydF4y2BaFGydF4y2Ba1GydF4y2Ba,GydF4y2BaFGydF4y2Ba2GydF4y2Ba,GydF4y2BaFGydF4y2Ba,GydF4y2BaV.GydF4y2Ba1GydF4y2Ba
确保GydF4y2Ba::激活模块GydF4y2Ba
为了GydF4y2Ba在n中'k'GydF4y2Ba做GydF4y2Ba
如果GydF4y2BaFGydF4y2Ba1GydF4y2Ba> 0或GydF4y2BaFGydF4y2Ba2GydF4y2Ba> 0或F > 0和GydF4y2BaV.GydF4y2Ba1GydF4y2Ba> 0GydF4y2Ba然后GydF4y2Ba
将状态更改为等待GydF4y2Ba
如果GydF4y2Ba
结束了GydF4y2Ba
如果GydF4y2BaFGydF4y2Ba1GydF4y2Ba> 0或GydF4y2BaFGydF4y2Ba2GydF4y2Ba> 0或F > 0和GydF4y2BaV.GydF4y2Ba1GydF4y2Ba> 0GydF4y2Ba然后GydF4y2Ba
    Activate DGIM
    Activate SCM
别的GydF4y2Ba
    Activate SGIM
如果GydF4y2Ba

4.结果和讨论GydF4y2Ba

为了评估所提出的智能手势系统的有效性和准确性,我们从两个方面进行了实验:(a)定义手势的记忆和回忆的准确性和(b)智能手势识别系统的准确性和鲁棒性。系统在[GydF4y2Ba20.GydF4y2Ba].为了进行实验,随机选择了20名轮椅使用者的一组参与者。他们从20 - 30岁、30 - 55岁和55岁以上三个年龄组中选出。参与者除腿部活动障碍外,基本健康,无认知障碍。实验阶段的研究平台如图所示GydF4y2Ba6(a)GydF4y2Ba和GydF4y2Ba6 (b)GydF4y2Ba.GydF4y2Ba

要求GydF4y2Ba: : 启用GydF4y2Ba
确保GydF4y2Ba::DGIM激活GydF4y2Ba
如果GydF4y2Ba激活= 0.GydF4y2Ba然后GydF4y2Ba
DGIMGydF4y2Ba启用GydF4y2Ba= 1GydF4y2Ba
如果GydF4y2Ba手势= '关闭'GydF4y2Ba然后GydF4y2Ba
    Activate waiting state
DGIMGydF4y2Ba启用GydF4y2Ba= 0.GydF4y2Ba
别的GydF4y2Ba
禁用等待状态GydF4y2Ba
DGIMGydF4y2Ba启用GydF4y2Ba= 1GydF4y2Ba
如果GydF4y2Ba
如果GydF4y2Ba

开发的智能系统的实现需要高性能的智能轮椅和快速可靠的计算能力。为此,我们使用了一个轮椅机器人这是我们实验室开发的具有基本导航能力的机器人。我们在轮椅上安装了一台工业级高端电脑,DDR4 SO-DIMM内存为32gb,处理器为第6代i7四核(3.6 GHZ)。同时,为了提高计算能力,还增加了1tb的SSD内存。为了补偿高性能和坚固的操作,它可以承受-20°C到60°C的温度。这些是智能系统正常工作的必要条件,因为训练和执行将需要大量的计算能力。GydF4y2Ba

4.1。实验I.GydF4y2Ba

每个参与者都显示了导航命令和相关手势的详细呈现。他们被要求记住15分钟的命令和手势。然后,要求每个参与者调用随机给定导航命令的相关手势。调用每个导航命令的手势的百分比准确性被记录为exp。1.在下一步中,每个参与者都被要求调用随机给定的手势的导航命令。调用每只手势的导航命令的百分比准确性被记录为exp。2.之后,参与者被要求一次回忆起所有导航命令。升回导航命令的百分比准确性被记录为exp。最后,每个参与者都有一个固定的导航路径,并要求他们用系统中定义的手势指导自己。考虑识别的所有导航命令选择导航路径。 Percentage accuracy of remembering each gesture in a task situation was recorded as Exp. 4. Recorded data is presented in Table2GydF4y2Ba.图中给出的盒子GydF4y2Ba7(一)GydF4y2Ba和GydF4y2Ba7 (b)GydF4y2Ba显示每个动态和静态手势的记忆和回忆能力。GydF4y2Ba


命令没有。GydF4y2Ba 导航命令GydF4y2Ba Exp。1GydF4y2Ba 实验2。GydF4y2Ba Exp。3GydF4y2Ba Exp。4GydF4y2Ba

一种GydF4y2Ba 前进GydF4y2Ba 98%GydF4y2Ba 99%GydF4y2Ba 99%GydF4y2Ba 99%GydF4y2Ba
B.GydF4y2Ba 停止GydF4y2Ba 99%GydF4y2Ba 99%GydF4y2Ba 98%GydF4y2Ba 100%GydF4y2Ba
CGydF4y2Ba 落后GydF4y2Ba 98%GydF4y2Ba 98%GydF4y2Ba 97%GydF4y2Ba 98%GydF4y2Ba
D.GydF4y2Ba 坚定的左派GydF4y2Ba 95%GydF4y2Ba 97%GydF4y2Ba 97%GydF4y2Ba 94%GydF4y2Ba
E.GydF4y2Ba 坚强的权利GydF4y2Ba 95%GydF4y2Ba 97%GydF4y2Ba 97%GydF4y2Ba 95%GydF4y2Ba
FGydF4y2Ba 稍微离开GydF4y2Ba 94%GydF4y2Ba 95%GydF4y2Ba 98%GydF4y2Ba 89%GydF4y2Ba
GGydF4y2Ba 稍微右GydF4y2Ba 93%GydF4y2Ba 95%GydF4y2Ba 98%GydF4y2Ba 91%GydF4y2Ba
HGydF4y2Ba 转身GydF4y2Ba 95%GydF4y2Ba 95%GydF4y2Ba 98%GydF4y2Ba 98%GydF4y2Ba
一世GydF4y2Ba 慢下来GydF4y2Ba 96%GydF4y2Ba 97%GydF4y2Ba 97%GydF4y2Ba 99%GydF4y2Ba
jGydF4y2Ba 越快GydF4y2Ba 95%GydF4y2Ba 96%GydF4y2Ba 98%GydF4y2Ba 99%GydF4y2Ba
K.GydF4y2Ba 关GydF4y2Ba 100%GydF4y2Ba 100%GydF4y2Ba 98%GydF4y2Ba 100%GydF4y2Ba
L.GydF4y2Ba 打开GydF4y2Ba 99%GydF4y2Ba 100%GydF4y2Ba 100%GydF4y2Ba 100%GydF4y2Ba

4.2。实验IIGydF4y2Ba

参与者被要求用手势完成一项特定的导航任务。任务的导航路径以所有手势都被利用的方式规划。图中给出了导航任务和固定路径GydF4y2Ba8GydF4y2Ba.每个参与者都必须使用手势来指导自己,系统对手势进行分类。所有参与者都重复了这个过程。每个手势的系统识别准确性都被记录下来。识别特定手势的成功率和失败率在表格中的混淆矩阵中给出GydF4y2Ba3.GydF4y2Ba- - - - - -GydF4y2Ba5GydF4y2Ba.GydF4y2Ba


一种GydF4y2Ba B.GydF4y2Ba CGydF4y2Ba D.GydF4y2Ba E.GydF4y2Ba
一种GydF4y2Ba 0.99GydF4y2Ba 0.01GydF4y2Ba
B.GydF4y2Ba 0.97GydF4y2Ba 0.03GydF4y2Ba
CGydF4y2Ba 0.02GydF4y2Ba 0.98GydF4y2Ba
D.GydF4y2Ba 0.01GydF4y2Ba 0.99GydF4y2Ba
E.GydF4y2Ba 0.01GydF4y2Ba 0.99GydF4y2Ba
观察卡巴GydF4y2Ba 标准错误GydF4y2Ba .95置信区间GydF4y2Ba
下限GydF4y2Ba 上限GydF4y2Ba
0.9648GydF4y2Ba 0.0145.GydF4y2Ba 0.9363GydF4y2Ba 0.9933.GydF4y2Ba


FGydF4y2Ba GGydF4y2Ba HGydF4y2Ba 一世GydF4y2Ba jGydF4y2Ba K.GydF4y2Ba L.GydF4y2Ba
FGydF4y2Ba 0.95GydF4y2Ba 0.01GydF4y2Ba 0.04GydF4y2Ba
GGydF4y2Ba 0.01GydF4y2Ba 0.99GydF4y2Ba
HGydF4y2Ba 0.04GydF4y2Ba 0.96GydF4y2Ba 0.01GydF4y2Ba
一世GydF4y2Ba 0.03GydF4y2Ba 0.97GydF4y2Ba
jGydF4y2Ba 0.03GydF4y2Ba 0.97GydF4y2Ba
K.GydF4y2Ba 1.00GydF4y2Ba
L.GydF4y2Ba 1.00GydF4y2Ba
观察卡巴GydF4y2Ba 标准错误GydF4y2Ba .95置信区间GydF4y2Ba
下限GydF4y2Ba 上限GydF4y2Ba
0.9879GydF4y2Ba 0.003GydF4y2Ba 0.9819GydF4y2Ba 0.9939GydF4y2Ba


静态GydF4y2Ba 动态的GydF4y2Ba

静态GydF4y2Ba 24GydF4y2Ba 1GydF4y2Ba 25GydF4y2Ba
动态的GydF4y2Ba 2GydF4y2Ba 23GydF4y2Ba 25GydF4y2Ba
26GydF4y2Ba 24GydF4y2Ba
准确性GydF4y2Ba 0.94GydF4y2Ba
误分类率GydF4y2Ba 0.06GydF4y2Ba
精度GydF4y2Ba 0.95GydF4y2Ba
科恩的kappaGydF4y2Ba 0.88(> 0.81)GydF4y2Ba

在实验一中,参与者对“前进”、“停止”、“后退”和“打开/关闭”等基本导航指令表现出近乎完美的记忆力。除“略右/略左”指令外,大多数导航指令的召回准确率都在90多。如表中所述GydF4y2Ba2GydF4y2Ba,exp。2精度高于Exp。因此,可以推断出召回手势的导航命令更容易。Exp。4values are slightly lower than other accuracy values. Recalling hand gestures during a task is tougher than in any situation. Overall, almost all accuracy values are higher than 90% and for most critical gestures such Turn on/off has almost perfect recalling accuracy. Therefore, it can be proved that the proposed gesture system is user friendly and easy to memorize.

在实验II中,创建了三种混乱矩阵,以验证识别精度。对于两只手势识别系统,为每种手势显示静态和动态,识别精度。GydF4y2Ba

对于所有静态手势,精度超过90%,如表中给出的混淆矩阵所示GydF4y2Ba3.GydF4y2Ba.在静态姿态矩阵中,Cohen的kappa值采用线性加权法计算。静态混淆矩阵中所使用的权值相等。对于所有的动态手势,识别正确率均在90%以上,整体正确率高于静态手势识别系统。因此,该系统使用了比静态手势更多的动态手势。并计算了该矩阵的Cohen kappa值,如表所示GydF4y2Ba4GydF4y2Ba线性加权。诸如“开启/关”之类的临界动态手势以两点和其他手势加权,其中一个点。由于两个识别系统的Kappa值超过0.81,因此可以证明系统正常工作。对于手势型选择系统,计算了混淆矩阵,并计算了整体准确性,错误分类率,精度和COHEN的kappa值。总体而言,精度为0.94(> 0.90),kappa值超过0.81。因此,可以得出结论,选择系统也在正常工作。GydF4y2Ba

5.结论GydF4y2Ba

本文提出了一种基于手势识别模型来识别与导航相关的手势的新方法,其具有用户差异的补偿。介绍了智能手势识别系统,以阐明具有高精度的手势。引入骨角骨的骨角作为新颖的特征引入,以提高手势差异的识别。该系统能够消除由于用户无法执行精确的手势而消除并发症。已经实施了智能澄清系统,以分离静态和动态手势。实验结果证实,具有语音障碍的轮椅用户可以记住并回忆提出的手势系统。因此,所提出的手势模型可以被认为是用户友好的,并且得出结论,所提出的智能手势识别系统可以高精度地识别用户手势。GydF4y2Ba

数据可用性GydF4y2Ba

用于支持本研究结果的数据包括在文章中。GydF4y2Ba

利益冲突GydF4y2Ba

作者声明他们没有利益冲突。GydF4y2Ba

致谢GydF4y2Ba

这项研究得到了国家研究委员会赠款编号17-069和Moratuwa大学高级机器人中心(CAR)的支持。GydF4y2Ba

参考GydF4y2Ba

  1. S. Yusif, J. Soar和a . Hafeez-Baig,“老年人、辅助技术和采用的障碍:系统的回顾”,GydF4y2Ba国际医学信息学报GydF4y2Ba,卷。94,pp。112-116,2016。GydF4y2Ba视图:GydF4y2Ba出版商的网站GydF4y2Ba|GydF4y2Ba谷歌学者GydF4y2Ba
  2. R. Mostaghel,“老年人的创新和技术:系统文献综述”,GydF4y2Ba商业研究杂志GydF4y2Ba,卷。69,没有。11,PP。4896-4900,2016。GydF4y2Ba视图:GydF4y2Ba出版商的网站GydF4y2Ba|GydF4y2Ba谷歌学者GydF4y2Ba
  3. C. Aouatef, B. Iman, C. Allaoua,“环境环境中的多智能体系统对老年病人的帮助”,载于GydF4y2Ba智能信息处理、安全与先进通信国际会议论文集GydF4y2Ba,pp.1-5,ACM,2015。GydF4y2Ba视图:GydF4y2Ba出版商的网站GydF4y2Ba|GydF4y2Ba谷歌学者GydF4y2Ba
  4. M. Kavussanu,C. Ring和J.Kavanagh,“反社会行为,道德脱离,同理心脏和消极情绪:残疾人能够和健全的运动员之间的比较”GydF4y2Ba道德和行为GydF4y2Ba第25卷,没有。4,页297-306,2015。GydF4y2Ba视图:GydF4y2Ba出版商的网站GydF4y2Ba|GydF4y2Ba谷歌学者GydF4y2Ba
  5. M. Mast,M.Burmester,B. Graf等,“设计半自动服务机器人的人体机器人互动,以帮助老年人”GydF4y2Ba环境辅助生活GydF4y2Ba,第15-29页,施普林格,2015。GydF4y2Ba视图:GydF4y2Ba谷歌学者GydF4y2Ba
  6. M. A. V. Muthugala, P. H. D. A. Srimal和A. G. B. Jayasekara,“基于环境和用户意图增强模糊语音指令的解释,以改进对人类友好的机器人导航,”GydF4y2Ba应用科学GydF4y2Ba,卷。7,不。8,p。821,2017。GydF4y2Ba视图:GydF4y2Ba出版商的网站GydF4y2Ba|GydF4y2Ba谷歌学者GydF4y2Ba
  7. M.Foukarakis,M.Nidona和C. StephanIdis,“在国内服务机器人上应用多式联运用户界面开发框架”GydF4y2Ba第十届辅助环境相关普适技术国际会议论文集GydF4y2Ba,pp.378-384,ACM,2017。GydF4y2Ba视图:GydF4y2Ba谷歌学者GydF4y2Ba
  8. C. Georgoulas,A.Raza,J.Güttler,T.Linner和T.Bock,“家庭环境通过服务机器人和LEAP运动控制器进行互动”GydF4y2Ba第31届建筑自动化与机器人技术国际研讨会论文集GydF4y2Ba,ISARC,2014。GydF4y2Ba视图:GydF4y2Ba谷歌学者GydF4y2Ba
  9. J. Guerrero-García, C. González和D. Pinto,“研究用户定义的身体手势导航交互式地图”,在GydF4y2Ba第十八届国际人机交互会议论文集GydF4y2Ba, ACM, 2017。GydF4y2Ba视图:GydF4y2Ba谷歌学者GydF4y2Ba
  10. P.Viswanathan,E.P.Zambalde,G. Foley等,“具有认知障碍的老年人的智能轮椅控制策略:用户态度,需求和偏好,”GydF4y2Ba自治机器人GydF4y2Ba,卷。41,没有。3,pp。539-554,2017。GydF4y2Ba视图:GydF4y2Ba出版商的网站GydF4y2Ba|GydF4y2Ba谷歌学者GydF4y2Ba
  11. M. A.V.J.Meuthugala和A.G.B.P.Jayasekara,“解释与相关参考相关的不确定信息,以改善导航命令理解服务机器人”GydF4y2Ba2017年IEEE / RSJ智能机器人和系统会议的诉讼程序GydF4y2Ba,pp.6567-6574,IRO,2017年。GydF4y2Ba视图:GydF4y2Ba谷歌学者GydF4y2Ba
  12. H. R.T.Bandara,M.V.J.Meuthugala,A.B.P.Jayasekara,D.P.Chandima,“通过互动讨论接地物属性,用于在服务机器人中建立认知地图”,“GydF4y2Ba2018年IEEE系统、人与控制论(SMC)国际会议论文集GydF4y2BaIEEE 2018。GydF4y2Ba视图:GydF4y2Ba谷歌学者GydF4y2Ba
  13. H. M. R. T. Bandara, M. A. V. Muthugala, A. G. B. P. Jayasekara, D. P. Chandima,“服务机器人互动对话模型的认知空间代表地图”,载于GydF4y2Ba罗马2018年诉讼程序 - IEEE机器人和人类互动沟通国际会议GydF4y2BaIEEE 2018。GydF4y2Ba视图:GydF4y2Ba谷歌学者GydF4y2Ba
  14. M.V.J.Muthugala和A. B.P.Jayasekara,“通过根据经验和环境解释导航指挥中的不确定信息,”加强人类互动“GydF4y2Ba2016 IEEE机器人与自动化国际会议论文集GydF4y2Ba, 2915-2921页,IEEE, 2016。GydF4y2Ba视图:GydF4y2Ba谷歌学者GydF4y2Ba
  15. H. M. R.T.Bandara,B.M.S.S.S. Basnayake,A.G.B.P.Payasekara和D.P.Chandima,基于手势和声乐导航命令的移动机器人的认知导航指挥识别,“GydF4y2Ba第二届电气工程国际会议(EECON)的诉讼程序GydF4y2BaIEEE 2018。GydF4y2Ba视图:GydF4y2Ba谷歌学者GydF4y2Ba
  16. E.Wästlund,K. Sponseller,O. Pettersson和A.露出,“评估凝视驱动的动力轮椅对残疾人的导航支持,”GydF4y2Ba康复研究与发展杂志GydF4y2Ba,卷。52,没有。7,PP。815-826,2015。GydF4y2Ba视图:GydF4y2Ba出版商的网站GydF4y2Ba|GydF4y2Ba谷歌学者GydF4y2Ba
  17. S. Pushp,B. Bhardwaj和S. M. Hazarika,“基于意图识别的导航援助认知决策”GydF4y2Ba国际挖掘情报与知识探索国际会议GydF4y2Ba, pp. 81-89,施普林格,2017。GydF4y2Ba视图:GydF4y2Ba谷歌学者GydF4y2Ba
  18. Xu D., Wu X., Chen Y. L., Xu Y.,“在线动态手势识别技术,”GydF4y2Ba智能与机器人系统杂志GydF4y2Ba,卷。77,没有。3-4,pp。583-596,2015。GydF4y2Ba视图:GydF4y2Ba出版商的网站GydF4y2Ba|GydF4y2Ba谷歌学者GydF4y2Ba
  19. M. Sreejith,S. Rakesh,S.Gupta,S. Biswas和P. P. DAS,“使用Microsoft Kinect 2.0和Leap Motion Controller的实时免提沉浸式图像导航系统”GydF4y2Ba2015第五届全国计算机视觉、模式识别、图像处理与图形学学术会议GydF4y2Ba,pp.1-4,IEEE,2015。GydF4y2Ba视图:GydF4y2Ba谷歌学者GydF4y2Ba
  20. H. G. M. T. Yashoda, a . M. S. Piumal, P. G. S. P. Polgahapitiya, M. M. M. Mubeen, M. a . V. J. Muthugala, a . G. B. Jayasekara,“具有多个控制接口的智能轮椅的设计和开发”,载于GydF4y2Ba2018 Moratuwa工程研究会议(MERCon)GydF4y2Ba,pp.324-329,IEEE,2018。GydF4y2Ba视图:GydF4y2Ba谷歌学者GydF4y2Ba
  21. A. Chan, T. Halevi和N. Memon,“通过手的几何形状和手势进行认证的跳跃运动控制器”GydF4y2Ba关于信息安全、隐私和信任的人类方面的国际会议GydF4y2Ba,pp。13-22,Springer,Cham,2015。GydF4y2Ba视图:GydF4y2Ba谷歌学者GydF4y2Ba
  22. G. Canal,S. Escalera和C.Ngulo,“基于辅助场景的手势的实时人员机器人交互系统”GydF4y2Ba计算机视觉和图像理解GydF4y2Ba,卷。149,pp。65-77,2016。GydF4y2Ba视图:GydF4y2Ba出版商的网站GydF4y2Ba|GydF4y2Ba谷歌学者GydF4y2Ba
  23. Ren z, J.孟,J. Yuan, Z. Zhang,“基于kinect传感器的鲁棒手势识别”,inGydF4y2Ba第19届ACM多媒体国际会议的诉讼程序GydF4y2Ba,第759-760页,ACM, 2011。GydF4y2Ba视图:GydF4y2Ba谷歌学者GydF4y2Ba
  24. A. Kurakin, Z. Zhang, and Z. Liu,“带有深度传感器的动态手势识别实时系统”,inGydF4y2Ba2012第20届欧洲信号处理会议论文集GydF4y2Ba,第1975-1979页,IEEE, 2012。GydF4y2Ba视图:GydF4y2Ba谷歌学者GydF4y2Ba
  25. “基于隐马尔可夫模型的时空手势识别”,载于GydF4y2BaACM虚拟现实软件与技术研讨会论文集GydF4y2Ba,pp.51-58,ACM,1996。GydF4y2Ba视图:GydF4y2Ba谷歌学者GydF4y2Ba
  26. J. Singha和R. H. Laskar,“基于自协同发音信息和分类器融合的全局手势识别”,GydF4y2Ba多模式用户界面日志GydF4y2Ba,第10卷,不。1,页77-93,2016。GydF4y2Ba视图:GydF4y2Ba出版商的网站GydF4y2Ba|GydF4y2Ba谷歌学者GydF4y2Ba
  27. J. Singha和R. H. Laskar,“使用两级速度标准化,特征选择和分类器融合,”手势识别“GydF4y2Ba多媒体系统GydF4y2Ba,卷。23,不。4,pp。499-514,2017。GydF4y2Ba视图:GydF4y2Ba出版商的网站GydF4y2Ba|GydF4y2Ba谷歌学者GydF4y2Ba
  28. “一种面向移动设备的手势识别框架和基于可穿戴手势的交互原型,”GydF4y2BaIEEE人机系统汇刊GydF4y2Ba第44卷,第2期。2, 293-299页,2014。GydF4y2Ba视图:GydF4y2Ba出版商的网站GydF4y2Ba|GydF4y2Ba谷歌学者GydF4y2Ba
  29. n . h·休斯GydF4y2Ba四元数到/从欧拉角任意旋转序列和方向余弦矩阵的几何变换方法GydF4y2Ba, 2017年第2期。GydF4y2Ba

H. M. Ravindu T. Bandara等人版权所有©2020这是一篇开放获取的文章GydF4y2Ba创意公共归因许可证GydF4y2Ba,允许在任何媒介上不受限制地使用、分发和复制,只要原稿被适当引用。GydF4y2Ba


更多相关文章GydF4y2Ba

704.GydF4y2Ba 的观点GydF4y2Ba|GydF4y2Ba 369GydF4y2Ba 下载GydF4y2Ba |GydF4y2Ba0GydF4y2Ba 引用GydF4y2Ba
PDF.GydF4y2Ba 下载引用GydF4y2Ba 引用GydF4y2Ba
下载其他格式GydF4y2Ba更多的GydF4y2Ba
订单印刷副本GydF4y2Ba命令GydF4y2Ba

相关文章GydF4y2Ba

我们致力于尽快、安全地分享与COVID-19有关的发现。任何提交COVID-19论文的作者请通过以下方式通知我们GydF4y2Bahelp@hindawi.comGydF4y2Ba为确保他们的研究快速跟踪并尽快在预印刷服务器上提供。我们将为与Covid-19相关的接受文章提供无限的出版费豁免。GydF4y2Ba注册在这里GydF4y2Ba作为评论员,帮助快速跟踪新的提交。GydF4y2Ba