老年人和残疾人人口迅速增加。重要的是要提升他们的生活水平提高对日常活动的信心。导航是一个重要的任务,大多数老年人和残疾人需要帮助。取代人类的援助的智能系统,它能够协助人类通过轮椅导航系统是一种有效的解决方案。手势导航系统中经常使用。然而,这些系统不具备准确地识别手势差异的能力。因此,本文提出了一个方法来创建一个智能手势分类系统与一个手势模型,建立了基于人类研究每一个基本运动在国内导航与手势方差补偿能力。实验进行了评估用户记住和回忆能力和适应性对手势模型。动态手势识别模块(DGIM)、静态手势识别模块(SGIM)和姿态澄清器(GC)介绍了以识别手势命令。拟议的系统系统分析准确度和精密度与人类用户使用的实验结果。 Accuracy of the intelligent system was determined with the use of confusion matrix. Further, those results were analyzed using Cohen’s kappa analysis in which overall accuracy, misclassification rate, precision, and Cohen’s kappa values were calculated.
老年人和残疾人辅助技术是一个迅速发展的领域gydF4y2Ba
人类倾向于使用语音和手势等多种形式在国内环境中相互作用[gydF4y2Ba
大多数老年人讲话困难,很难澄清语音指令由他们使用语音识别系统。此外,语音指令包括各种类型的不确定性,如时间有关,频率、距离和方向,使其难以理解。作为一个例子,“去”和“过来”的位置不确定性和命令像“在这儿等着”,“给我一分钟”与时间相关的不确定性。手势也广泛应用于导航和方差(gydF4y2Ba
提出了一个方法(gydF4y2Ba
智能轮椅与手势识别功能开发(gydF4y2Ba
另一种方法提出了在gydF4y2Ba
手识别系统提出了(gydF4y2Ba
因此,本文提出一种新颖的方法来识别动态和静态motion-related手势即使震动,基于手势为轮椅使用者与言语障碍分类模型。完整的手势模型基本导航命令定义。它可以用来导航智能轮椅通过国内环境。阐述了提取特性集为了弥补用户差异发生在手势。gydF4y2Ba
本文的目的是开发一个手势模型来帮助轮椅用户在国内环境中导航。因此,手势设计必须覆盖所有可能的导航场景。这些手势将有所不同,因为静态的,动态的,手掌和手指动作。系统应该能够识别不仅静态和动态手势,但它应该能够补偿的手,手指震颤发生在老年人。系统应该能够识别不同的姿态从一个用户到另一个。总之,以上现有系统没有专门设计的手势模型导航。几乎没有哪个做手语手势模型。然而,这些动作词汇不会为这篇文章的目的是有效的。手势识别方法和工具用于上述系统都集中在一个手势的准确性。一些系统已经考虑姿态差异由棕榈震动引起的。 However, none of them has considered finger tremors and finger bone angles as possibilities. In this article, we are not only focusing on developing a specifically designed gesture vocabulary but also considering all possible variations of the same gesture.
因此,颤抖的老人不会引起混淆的导航系统。提出了系统的整体功能是解释部分gydF4y2Ba
提出了系统的总体功能图所示gydF4y2Ba
系统概述。gydF4y2Ba
手势识别模块提取信息的框架使用一个跳跃运动传感器,并提取数据发送到手势澄清器(GC)澄清基于手势的手势为静态和动态手势特征。静态手势识别模块(SGIM)和动态手势识别模块(DGIM)理解和识别导航命令与观察到的姿态。状态识别模块(SIM)一起GC工作,SGIM DGIM和状态控制模块(SCM)为了区分手势和意想不到的手的动作。SCM理解用户要求使用一个手势识别系统通过控制最优先手势命令,如“开启”和“关闭”。gydF4y2Ba
自然的人类交流包含多个模式像语音和手势。因此,定义手势应该已经能够取代所有可能的导航命令。为了确定轮椅使用者所使用的命令在基本的导航、人类的研究。55岁至70岁之间的20轮椅使用者的参与了这项研究。参与者被要求引导他们的轮椅使用手势或声音或多通道交互。自然导航命令识别优先级。因此,不限于手势交互方法。位置改变为了覆盖所有可能的导航场景。参与者没有任何先验知识的位置或先前的研究结果。因此,保证结果的准确性,避免了重复结果。 All possible navigation commands were recorded, most frequent commands were identified, and the graphical representation of the identified command frequencies is given in Figure
导航命令的频率。gydF4y2Ba
最常见的命令识别被认为是以上提出的姿态系统。gydF4y2Ba
人类研究为了了解轮椅使用者所使用的手势特征的识别导航命令。一群随机选择20人从同一年龄组(55 - 70)参与了这项研究。参与者被要求执行基本导航命令,发现在人类研究中我只使用手势。在这项研究中收集的数据被用来建立以后的姿态系统阐述了。跳跃运动传感器是用来跟踪手势,和收集的原始数据通过处理来识别手势特征。最主要的手在执行每个命令关联特征被记录。结果如表所示gydF4y2Ba
手功能的分析频率与导航相关的命令。gydF4y2Ba
| 导航命令gydF4y2Ba | 手掌方向gydF4y2Ba | 手掌运动gydF4y2Ba | 指尖运动gydF4y2Ba | 手指骨头gydF4y2Ba | 手指gydF4y2Ba | |
|---|---|---|---|---|---|---|
| 单一的手指gydF4y2Ba | 多个手指gydF4y2Ba | |||||
| 前进gydF4y2Ba | 92%gydF4y2Ba | 32%gydF4y2Ba | 28%gydF4y2Ba | 6%gydF4y2Ba | 44%gydF4y2Ba | 56%gydF4y2Ba |
| 向左转gydF4y2Ba | 84%gydF4y2Ba | 75%gydF4y2Ba | 42%gydF4y2Ba | 18%gydF4y2Ba | 8%gydF4y2Ba | 48%gydF4y2Ba |
| 向右转gydF4y2Ba | 82%gydF4y2Ba | 75%gydF4y2Ba | 44%gydF4y2Ba | 16%gydF4y2Ba | 7%gydF4y2Ba | 52%gydF4y2Ba |
| 停止gydF4y2Ba | 96%gydF4y2Ba | 68%gydF4y2Ba | 64%gydF4y2Ba | 24%gydF4y2Ba | 18%gydF4y2Ba | 74%gydF4y2Ba |
| 转身gydF4y2Ba | 98%gydF4y2Ba | 56%gydF4y2Ba | 86%gydF4y2Ba | 77%gydF4y2Ba | 14%gydF4y2Ba | 84%gydF4y2Ba |
| 慢下来gydF4y2Ba | 98%gydF4y2Ba | 87%gydF4y2Ba | 54%gydF4y2Ba | 21%gydF4y2Ba | 19%gydF4y2Ba | 72%gydF4y2Ba |
| 略转左gydF4y2Ba | 90%gydF4y2Ba | 34%gydF4y2Ba | 97%gydF4y2Ba | 42%gydF4y2Ba | 47%gydF4y2Ba | 52%gydF4y2Ba |
| 稍微向右转gydF4y2Ba | 89%gydF4y2Ba | 35%gydF4y2Ba | 98%gydF4y2Ba | 44%gydF4y2Ba | 46%gydF4y2Ba | 53%gydF4y2Ba |
两种主要类型的手势被认为是静态手势(指针或姿势)和动态手势(手的动作)。静态手势主要用于微妙的运动命令像停下来,转身,略左/右拐。剧烈的运动命令,参与者使用手的动作。其他重要的趋势是,参与者喜欢使用静态和动态手势更均匀。这些命令也发现两种类型:指责手势和palm-opening手势。的手指在指向手势,参与者使用的不可预测,主要一个手指或两个手指。动态手势主要是用来表达动作和轮椅需要执行的方向。gydF4y2Ba
导航命令的轮椅用户应该覆盖所有可能的导航场景。如果用户声音的能力,这些命令将包括信息覆盖的指令。仅供一个智能轮椅通过手势,他们应该简单、清晰、准确。拟议的姿态系统是基于所有基本导航场景。这些手势是简单明了。手势的定义、动态手势是用来表示动作指令。定义手势图gydF4y2Ba
导航姿态:(a)前进,(b)停止,(c)向后走,(d)离开,强硬右派(e), (f)稍微离开,(g)略好,转身(h),(我)慢下来,(j)更快,(k)关闭和打开(l)。gydF4y2Ba
姿态系统建立了基于以下考虑。gydF4y2Ba
定义手势应该简单、清晰、准确gydF4y2Ba
手势应该定义在一个方式,用户可以浏览路径使用最小数量的手势gydF4y2Ba
用户应该能够记住和回忆定义的手势。为了确保用户手势的适应性系统,人类的研究。本研究的细节解释部分gydF4y2Ba
之间的显著差异应该识别手势。因此,用户不会有任何困惑用手势gydF4y2Ba
手势系统应该有静态和动态手势,以减轻不准确造成的跳跃运动传感器gydF4y2Ba
手势伴随着声音的交互往往是自愿和非自愿。这些手势等信息和运动方向。与声乐残疾轮椅用户,这些手势可以被认为是主要的形式。即使有姿态系统,如美国手语,执行这些手势的不同从一个老人。为了弥补这种变化,骨角如下解释。gydF4y2Ba
定义手势系统包括两个主要形式的手势:动态手势和静态手势。静态手势不移动的手的姿势可以通过基本的手工建模功能。动态手势建模使用动态特性,比如手指运动和手的运动。gydF4y2Ba
特征提取骨架。gydF4y2Ba
手的功能。gydF4y2Ba
人工神经网络(ann)开发识别并阐明动态和静态手势。每个静态手势识别模块(SGIM)和动态手势识别模块(DGIM)由一个安。手势澄清器(GC)的算法gydF4y2Ba
SGIM由一个安,有14个输入(B1, B2, B3, B4, B5, B6, M1, M2, M3, T1, T2, P1, P2, P3)。在安,有两个隐藏层和输出层有四个输出(N1、N2, N3,陶瓷)。SGIM代表一个静态导航命令的输出数量从1到12。DGIM由一个安,有5个输入(C1, C2, Q1、Q2, P1, P2, P3,和V1)和4输出(它们,N6、N7 N8)。DGIM代表一个动态导航命令的输出数量从1到12。SGIM和DGIM输出的二进制数字。两个人工神经网络使用s型函数作为激活函数。gydF4y2Ba
改变状态等待gydF4y2Ba
激活DGIMgydF4y2Ba
激活配置管理gydF4y2Ba
激活SGIMgydF4y2Ba
评估的有效性和准确性提出了智能姿态系统,实验从两个方面进行:(a)精度定义的记忆和回忆的手势和(b)智能手势识别系统的准确性和鲁棒性。系统在智能轮椅上实现解释(gydF4y2Ba
激活等待状态gydF4y2Ba
禁用等待状态gydF4y2Ba
在实验研究平台。gydF4y2Ba
开发了智能系统的实现需要一个高性能的智能轮椅与快速和可靠的计算能力。为了这个目的,我们使用一个轮椅机器人在我们实验室开发,基本的导航功能。在这轮椅,我们安装了一个工业品位高端计算机DDR4 SO-DIMM 32 GB内存和处理器是第六代核心i7四(3.6 GHZ)。同时,提高计算能力,SSD 1 TB的内存安装。为了弥补高性能和崎岖的操作,它可以承受温度从-20°C到60°C。这些是基本训练以来智能系统正常工作和执行需要大量的计算能力。gydF4y2Ba
导航命令的详细介绍和相关的手势是每个参与者。他们被要求记住的命令和手势15分钟。然后,每个参与者被要求召回相关的手势对于随机给定的导航命令。比例的准确性回忆每个导航的手势命令记录如Exp。1。在下一步中,每个参与者被要求召回导航命令为一个随机给定的手势。回忆的导航精度比例为每个手势命令记录经验。2。之后,参与者被要求召回所有导航命令。比例的准确性回忆导航命令记录这一步Exp。3。最后,每个参与者都有一个固定的导航路径,他们被要求引导系统中定义的手势。导航路径选择考虑所有的导航命令识别。 Percentage accuracy of remembering each gesture in a task situation was recorded as Exp. 4. Recorded data is presented in Table
我实验的结果。gydF4y2Ba
| 命令没有。gydF4y2Ba | 导航命令gydF4y2Ba | Exp。1gydF4y2Ba | 实验2。gydF4y2Ba | Exp。3gydF4y2Ba | Exp。4gydF4y2Ba |
|---|---|---|---|---|---|
| 一个gydF4y2Ba | 前进gydF4y2Ba | 98%gydF4y2Ba | 99%gydF4y2Ba | 99%gydF4y2Ba | 99%gydF4y2Ba |
| bgydF4y2Ba | 停止gydF4y2Ba | 99%gydF4y2Ba | 99%gydF4y2Ba | 98%gydF4y2Ba | 100%gydF4y2Ba |
| cgydF4y2Ba | 向后走gydF4y2Ba | 98%gydF4y2Ba | 98%gydF4y2Ba | 97%gydF4y2Ba | 98%gydF4y2Ba |
| dgydF4y2Ba | 坚定的左派gydF4y2Ba | 95%gydF4y2Ba | 97%gydF4y2Ba | 97%gydF4y2Ba | 94%gydF4y2Ba |
| egydF4y2Ba | 强硬右派gydF4y2Ba | 95%gydF4y2Ba | 97%gydF4y2Ba | 97%gydF4y2Ba | 95%gydF4y2Ba |
| fgydF4y2Ba | 稍微离开gydF4y2Ba | 94%gydF4y2Ba | 95%gydF4y2Ba | 98%gydF4y2Ba | 89%gydF4y2Ba |
| ggydF4y2Ba | 稍微向右gydF4y2Ba | 93%gydF4y2Ba | 95%gydF4y2Ba | 98%gydF4y2Ba | 91%gydF4y2Ba |
| hgydF4y2Ba | 转身gydF4y2Ba | 95%gydF4y2Ba | 95%gydF4y2Ba | 98%gydF4y2Ba | 98%gydF4y2Ba |
| 我gydF4y2Ba | 慢下来gydF4y2Ba | 96%gydF4y2Ba | 97%gydF4y2Ba | 97%gydF4y2Ba | 99%gydF4y2Ba |
| jgydF4y2Ba | 更快gydF4y2Ba | 95%gydF4y2Ba | 96%gydF4y2Ba | 98%gydF4y2Ba | 99%gydF4y2Ba |
| kgydF4y2Ba | 关掉gydF4y2Ba | 100%gydF4y2Ba | 100%gydF4y2Ba | 98%gydF4y2Ba | 100%gydF4y2Ba |
| lgydF4y2Ba | 打开gydF4y2Ba | 99%gydF4y2Ba | 100%gydF4y2Ba | 100%gydF4y2Ba | 100%gydF4y2Ba |
箱线图来表示纪念和回忆能力的动态和静态手势。gydF4y2Ba
给定一个特定的参与者使用手势导航任务完成。导航路径的任务计划,所有动作都是利用。导航任务和固定的路径图gydF4y2Ba
实验二设置。参与者被要求给手势说明路径> > C > B D > E > F > E > D > C > G。gydF4y2Ba
混淆矩阵静态手势的识别。gydF4y2Ba
| 一个gydF4y2Ba | bgydF4y2Ba | cgydF4y2Ba | dgydF4y2Ba | egydF4y2Ba | |
| 一个gydF4y2Ba | 0.99gydF4y2Ba | 0.01gydF4y2Ba | |||
| bgydF4y2Ba | 0.97gydF4y2Ba | 0.03gydF4y2Ba | |||
| cgydF4y2Ba | 0.02gydF4y2Ba | 0.98gydF4y2Ba | |||
| dgydF4y2Ba | 0.01gydF4y2Ba | 0.99gydF4y2Ba | |||
| egydF4y2Ba | 0.01gydF4y2Ba | 0.99gydF4y2Ba | |||
| 观察卡巴gydF4y2Ba | 标准错误gydF4y2Ba | .95置信区间gydF4y2Ba | |||
| 下限gydF4y2Ba | 上限gydF4y2Ba | ||||
| 0.9648gydF4y2Ba | 0.0145gydF4y2Ba | 0.9363gydF4y2Ba | 0.9933gydF4y2Ba | ||
混淆矩阵的动态手势识别。gydF4y2Ba
| fgydF4y2Ba | ggydF4y2Ba | hgydF4y2Ba | 我gydF4y2Ba | jgydF4y2Ba | kgydF4y2Ba | lgydF4y2Ba | |
| fgydF4y2Ba | 0.95gydF4y2Ba | 0.01gydF4y2Ba | 0.04gydF4y2Ba | ||||
| ggydF4y2Ba | 0.01gydF4y2Ba | 0.99gydF4y2Ba | |||||
| hgydF4y2Ba | 0.04gydF4y2Ba | 0.96gydF4y2Ba | 0.01gydF4y2Ba | ||||
| 我gydF4y2Ba | 0.03gydF4y2Ba | 0.97gydF4y2Ba | |||||
| jgydF4y2Ba | 0.03gydF4y2Ba | 0.97gydF4y2Ba | |||||
| kgydF4y2Ba | 1.00gydF4y2Ba | ||||||
| lgydF4y2Ba | 1.00gydF4y2Ba | ||||||
| 观察卡巴gydF4y2Ba | 标准错误gydF4y2Ba | .95置信区间gydF4y2Ba | |||||
| 下限gydF4y2Ba | 上限gydF4y2Ba | ||||||
| 0.9879gydF4y2Ba | 0.003gydF4y2Ba | 0.9819gydF4y2Ba | 0.9939gydF4y2Ba | ||||
混淆矩阵的动态和静态手势的识别。gydF4y2Ba
| 静态gydF4y2Ba | 动态gydF4y2Ba | ||
|---|---|---|---|
| 静态gydF4y2Ba | 24gydF4y2Ba | 1gydF4y2Ba | 25gydF4y2Ba |
| 动态gydF4y2Ba | 2gydF4y2Ba | 23gydF4y2Ba | 25gydF4y2Ba |
| 26gydF4y2Ba | 24gydF4y2Ba | ||
| 精度gydF4y2Ba | 0.94gydF4y2Ba | ||
| 误分类率gydF4y2Ba | 0.06gydF4y2Ba | ||
| 精度gydF4y2Ba | 0.95gydF4y2Ba | ||
| 科恩kappagydF4y2Ba | 0.88 (> 0.81)gydF4y2Ba | ||
在我的实验中,参与者表现出近乎完美的记忆基本导航命令,如“前进”,“停止”“走回头路”,和“开/关”命令。回忆准确的比例最导航命令是在90年代高除了“略左/右”命令。如前所述在表gydF4y2Ba
实验二,三混淆矩阵创建为了验证识别精度。两个手手势识别系统,静态和动态,为每个手势识别精度显示。gydF4y2Ba
所有静态手势,精度超过90%,表中给出的混淆矩阵所示gydF4y2Ba
提出了一种新颖的方法来识别手势导航相关的基于手势识别模型与补偿用户差异。介绍了一个智能手势识别系统为了澄清与高精度姿态。骨角度对掌骨介绍了新颖的特性,以提高识别手势的差异。系统能够消除并发症是由于用户无法执行精确的手势。一个智能澄清系统已经实现单独的静态和动态手势。实验结果证实,与言语残疾轮椅使用者能记住和回忆该手势系统。因此,拟议的手势模型可以被认为是用户友好的,并得出结论,提出智能手势识别系统可以识别用户手势精度高。gydF4y2Ba
使用的数据来支持本研究的结果包括在本文中。gydF4y2Ba
作者宣称没有利益冲突。gydF4y2Ba
这项工作是由美国国家研究委员会授予数量17 - 069和中心的先进机器人技术(汽车),Moratuwa大学。gydF4y2Ba