文摘
谷歌地球和苹果等3 d地图地图(3 d模式),用户可以查看和导航在现实世界的3 d模型,广泛使用在目前的移动和桌面环境。用户通常使用一个监控显示器和键盘/鼠标交互。头盔显示器(hmd)目前吸引工业和消费者的重视,因为他们可以提供一个身临其境的虚拟现实(VR)的经验在一个负担得起的成本。然而,传统的键盘和鼠标接口减少浸的水平,因为操作方法不像实际行动在现实中,这常常使传统接口方法不适合3 d地图的导航在虚拟环境中。从这个动机,我们身临其境的手势接口设计的3 d地图导航适合HMD-based虚拟环境。我们还描述了一个简单的算法实时捕捉和识别手势使用Kinect深度相机。我们评估的可用性提出了手势接口和比较传统的键盘和鼠标接口。用户研究的结果表明,我们的手势接口是更好的获取高水平的沉浸在HMD-based虚拟环境和有趣。
1。介绍
虚拟现实(VR)是一种技术,为用户提供的软件虚拟3 d环境,模拟实际存在的用户提供沉浸(1]。大量的研究已经完成增强虚拟现实的现实主义通过用户的实际运动比赛的实时交互和虚拟空间(2,3]。萨瑟兰,1968年发明了一种头盔显示器(HMD),和其他虚拟现实设备已经被开发来刺激用户的视觉和运动。头盔显示器,它现在是一个常用的虚拟现实设备,是一种glasses-type监视戴在头上。HMDs正在吸引大量的注意力从行业和用户,因为他们在一个负担得起的成本提供虚拟现实体验。HMDs提供一个高水平的浸没式(i)立体显示器,(ii)宽视角,(3)头定位跟踪。HMDs因为上面的优势,可以利用在各个领域如教育(4,5)、医疗(5- - - - - -7),和娱乐。
3 d地图(8)如谷歌地球(9)和苹果地图(3 d模式)允许用户查看和浏览三维模型的真实的世界地图。最近发展的自动三维重建算法应用于卫星图像和移动环境中,高品质的3 d地图的地方已成为广泛的访问和无处不在的方式,这样,任何远程用户可以探索任何地方与伟大的现实主义。然而,在大多数的情况下,3 d地图可以经历了一个二维平面屏幕上。研究虚拟地图也可以用来可视化统计关于气候变化和人口密度,或显示地形图,建筑图纸,在增强现实技术和信息。这意味着利用HMDs的方法,而不是传统的监控,3 d地图导航是有价值的。
然而,由于是有限度的真实感的头盔显示器设备,用户有必要采用一种技术来探索和感知虚拟空间就像一个真正的空间。虚拟现实程序运行在个人电脑通常使用传统的输入设备,如键盘或鼠标,但是这个缺点,它不匹配用户的行为在一个虚拟环境。因为计算速度是有限的,用户有一个时差的动作在物理空间和虚拟环境中的运动。的时差在虚拟现实环境中,用户的运动和运动在虚拟空间干扰浸泡,导致头晕(6,10,11),因此减少利息。出于这个原因,研究需要增加沉浸在虚拟现实和利益调整输入方法直接匹配的身体运动。同时,为了最大化的满足用户,一个直观的界面方法用户在虚拟空间是必需的。
因此,开发相关的设备操作界面一直积极开展以弥补造成的劣势相对无法使用传统的输入/输出设备在虚拟现实环境中。一种设备,识别用户的动作是触觉型设备12),一般拿在手里,和《阿凡达》在虚拟空间有能力指导用户所需的自然运动和及时。由于这些原因,操纵杆或任天堂Wiimote [13- - - - - -16]控制器作为控制装置取代了键盘。结果,有越来越多的情况下,设备能够识别用户的动作,提高手术的准确性在游戏或虚拟空间利用。然而,有一个限制在最大化手势识别和使用用户的整个身体浸基于触觉的位置传感器设备在虚拟空间。从这个动机,我们设计并实现了各种现实的姿态实时接口,可以识别用户的手势使用Kinect,以反映用户的运动在一个HMD-based虚拟环境。此外,我们测量的可用性提出了手势界面和传统的基于键盘和鼠标控制接口,每个接口和比较的优点和缺点通过用户研究。图1显示一个用户戴着头盔显示器使用定制的运动识别系统,而经历一个给定的虚拟环境。
在本文中,我们设计和实现身临其境的手势接口实时识别使用Kinect深度相机。每个关节的位置识别和分析允许用户在虚拟环境的姿态,以反映实际物理手势。用户满意度的程度,包括利息和易于使用的程度,检查根据操作方法。我们的论文的主要贡献如下。(我),我们设计并实现了身临其境的手势接口集成的立交桥(鸟、超人和手)和探索(缩放、旋转和翻译)导航,这是公认的实时通过Kinect摄像头HMD-based虚拟现实环境。(2)我们评估的可用性提出了手势接口和传统的键盘/鼠标接口与用户研究。各种可用性因素(如浸、准确性、舒适、乐趣,nonfatigue, nondizziness,和整体满意度)测量。(3)我们分析的优点和缺点每个接口从用户研究的结果。
用户研究的结果,它可以证明,用户喜欢的手势接口键盘和鼠标接口的沉浸和乐趣。键盘接口受到了高度评价的准确性,方便,unobtrusiveness。这些结果证实,该方法操纵虚拟环境影响可用性和满意度对虚拟环境的经验。
本文的其余部分组织如下。我们讨论有关论文部分2。的设计和方法提出了姿态描述的接口部分3和部分4,分别。部分5描述了用户研究设计和用户研究的结果。部分6讨论了我们的结论。
2。相关工作
在虚拟现实研究的一个主要目标是增加的沉浸感。HMDs大众市场越来越受欢迎,因为他们可以提供一个高水平的沉浸在一个负担得起的成本。随着需要身临其境的运动控制的出现(17),公司生产头盔显示器设备最近被引入游戏控制器与辅助功能(如眼睛接触)18]。该HMD最初发明的伊万•萨瑟兰(1968年19),但它最初难以商业化的原因很多,包括高成本、重量、安装空间限制,一个贫穷的显示。最大的问题是显示技术的限制20.]。HMDs分为两种类型,桌面和移动虚拟现实,根据图像的大小,可以处理和复杂的结构。移动虚拟现实是托管,并最终显示在手机,并没有真正的限制范围的运动,因为它是无线。
最近,IT企业发展多种产品通过研究和发展HMDs接口,提供高浸和允许光滑,无缝的用户交互。桌面虚拟现实广泛用于研究目的。作为智能手机的计算能力和显示分辨率的增加,公司开发了多样化的内容使用移动虚拟现实,而不是桌面虚拟现实平台。HMDs头盔显示器技术的进展,已经使用在各个领域如教育(5)、医疗(5- - - - - -7),和建筑。Kihara给et al。21腹腔镜手术)进行了研究和实验使用头盔显示器和验证HMDs使用在医疗领域的可行性。现在可以使用一个头盔显示器来最小化剖腹手术切口,而不是使用腹部剖腹手术或高成本的机器人手术系统,在其中一个大伤疤可能依然存在,增加感染的风险。外科医生戴着头盔显示器,系统提供了一种三维图像,深度地图,和触觉反馈与受灾地区,并执行一个安全的操作。此外,不同的研究是进行识别用户使用的面部表情HMD和虚拟环境中模拟这些表达式22]。
研究人类和计算机之间的交互就一直在认真研究了个人电脑。人机交互(HCI) (23)旨在让人们使用和人性化的方式与计算机通信。随着电脑的使用增加,人机交互是仔细考虑发展的电脑用户接口(UI) (24,25]。为此,研究了一个接口使用肢体语言而不是传统的输入设备(26]。从以前的HCI-related研究的主要区别是,我们的方法着重于提高水平的沉浸在一个虚拟环境HMD-based设计导航界面除了其他重要的可用性等因素的水平精度,有趣,和舒适。
人类有能力让使用身体和情感表达,允许有意义的行为来代替语言(24,25]。手势识别可以应用于各个领域,如手语(6,12),康复13,15,27),和虚拟现实,很容易利用计算机应用程序。使用身体特别有意义的手势是指可表现的行为相关的物理运动的手指,手,胳膊,腿,头,脸,或身体。人类的手势是交流的主要目的有意义的信息或与周围的环境进行交互。然而,由于各种操作用于此目的可能重叠或有不同的含义,有必要充分研究基于手势识别接口技术的发展。与现有的键盘和鼠标输入设备,需要搜索的部位使用传感器和识别操作后跟踪的位置(24,25,28]。
特别是,设备如操纵杆,可以用作代替键盘和鼠标,可以用来增加用户的沉浸感。自从手操纵方法的有效性已经被验证,控制器等Kinect (23,26,28,29日和跳跃运动28,30.)已被释放。作为游戏和应用程序,可以在一个已经开发的虚拟环境中,它已经被证实的行为控制虚拟空间通过身体的运动中扮演一个重要的角色在虚拟现实、沉浸感。此外,识别用户的动作研究的各种方法(31日- - - - - -33]。
如前所述,触觉型设备已经被开发出来,在用户的手,为了反映用户的手势以这样一种方式,用户可以很容易地忘记了虚拟现实和真实世界之间的区别12]。键盘,鼠标,操纵杆,类似传统的输入设备可用于在虚拟空间与一只手拿着设备或穿着。然而,这些传统的设备有局限性。触觉设备增加的概率准确识别用户的动作,但它可以限制运动的范围,一直戴着触觉装置可以麻烦12]。此外,它需要时间来学习一个正式的触觉设备操作方法(34),是不足以实现虚拟现实现实,因为它是操纵而直接牵着的手,或是穿它。
由于这些原因,在本文中,我们开发了身临其境的和直观的手势接口控制导航为HMD用户在虚拟环境中。特别是,我们部署简单算法实时识别自然手势。本文的初步结果已经出现在35,36]。立交桥的主要差异是一体的手势和探索(例如,变焦/旋转/翻译)导航和详细描述的正式用户研究结果。
3所示。身临其境的手势接口的设计
身临其境的接口需要取代传统的输入/输出设备HMD-based虚拟现实导航增加,一直积极进行相关研究。为此,微软Kinect,其中包含一个低成本的深度摄像头,可用于实时跟踪和识别用户的肢体语言和控制导航在虚拟现实环境中,而戴着头盔显示器。我们开发了一个虚拟现实软件系统,用户可以通过Unity3D体验虚拟现实引擎,支持同时使用Kinect和眼睛裂痕。我们还定义了两种类型的身临其境的手势接口,以及传统的键盘和鼠标接口。有六种类型的手势界面提出了研究的方法。拟议中的手势界面识别使用Kinect可以看到详细的数字2和3。每个关节的位置和身体骨架段连接关节使用Kinect SDK中提取,如图4。这些是用于实时识别的手势类型和强度。
大多数人使用他们的手准确地控制对象时,例如当开车或玩电脑游戏25]。我们认为是自然手势界面追踪手的位置和运动以来,键盘和鼠标也hand-based输入设备。因为右撇子的比例是高总的来说,我们定义手势接口,主要使用右手(37,38]。本文实现的导航界面定义了鸟,超人,手势为飞行模式操作(39通过跟踪用户的运动与Kinect。手势界面也支持谷歌地球提供了探索性导航特性,如缩放、旋转和翻译。
几千年来,人类有梦想能够像鸟儿一样飞翔。大黄酸开发了一个虚拟现实模拟器,调用鸟,用户可以体验飞行通过眼睛的3 d空间裂痕40]。用户可以浏览鸟模拟器使用手和手臂挥舞动作,3 d哑剧鸟翅膀的运动。然而,由于这个模拟器笨重,需要大量的生产成本,是繁重的一般用户拥有它在家里。同时,天空中飞翔像一个superman-like英雄很难实现。因此,我们实现了一个新的和superman-like运动界面实现手势接口,否则很难体验,给用户代理的满意度。
3.1。立交桥导航
我们的目标是确保我们的手势接口:(i)允许一个简单的、自然的行动的过街天桥控制类似于实际的飞行行为,(2)由一个低成本的运动传感器实时识别,如Kinect深度相机,和(3)提高浸的程度,这是独一无二的HMD-based虚拟环境。为此,我们设计了三个手势接口(即。、鸟、超人和手)立交桥导航。这三个手势接口的尺度是不同的(即。,bird > superman > hand) such that we can understand implicit relationship between usability properties and the scales. The detailed gestures for each interface are shown in Figures2和3,并且可以描述如下。
3.1.1。鸟
用户可以通过移动身体,调整方向,左,和右保持腰部的基本姿势双手打开,类似于鸟的翅膀。在基本姿势,双臂同时上下移动加速,并可以同时向前伸开双臂。
3.1.2。超人
如图2脸的两边,保持双手的肩线。把上半身的方向移动。来回移动的身体上,分别。当用户想要调整速度,用户可以通过移动加速或减速他或她的右手向上或向下,分别。
3.1.3。手
最初,右手是设置为参考点,右手放在身体的前面在一个舒适的位置,然后举行的初始参考位置2 - 3秒。用户可以操作的方向垂直或水平移动他或她的手,可以减速或加速速度向前或向后通过移动手,分别如图3。
3.2。探索性的导航
图3显示该手势界面3 d地图导航。定义的基于Kinect识别的手势接口,而不是使用一个键盘和一个鼠标。它实现了操作的左/右/上/下移动,向上/向下加速,时间性/,旋转,和翻译,谷歌地球提供的接口的典型特征。手界面可以用右手操纵垂直和水平位置参考点第一次执行时,手是来回移动调整速度。
3.2.1之上。变焦
用户可以控制的放大或以长镜头,它允许看到对象近或远。放大运动,双臂向前伸展,然后手臂向外打开。这个动作让扩大空间的感觉,同时保持对称的身体。以相反的方式,缩小动作,双臂一开始双方,并汇集了身体的前面,保持对称的双臂被收集在身体的前面。
3.2.2。旋转
用户可以在四个方向旋转屏幕。用户可以认为左手是一个截止阀和使用右手的方向旋转,同时左手握着拳头。
3.2.3。翻译
这是一个接口,允许一个迅速移动到所需的位置在当前的虚拟现实环境,用右手操作。用户必须把右手移到他或她的位置希望移动和拳头在那个位置。3 d地图放大或缩小为用户拉或推的手他或她想要的方向移动,用右手握着拳头的位置作为参考点。翻译从一个位置的相应行动结束时,右手拳头完全扩展,拳头是释放。
变焦和翻译接口相似但不同的原则和操作不同于实际的移动对象。放大是一个函数来放大或缩小当前的虚拟现实环境,和翻译界面移动地图,这样用户接近或远离地图用户的起点。
4所示。身临其境的手势接口的识别
为了准确地识别用户的有意义的行为,需要能够跟踪身体功能的位置。一般来说,存在学习方法识别脸部或手等身体部位照片,通过大数据机器学习(41]。然而,很难实时识别身体部位因为即使使用最先进的算法优化,通过机器学习的分类3 d人体器官包括一个非凡的、潜在sickness-causing延迟。Kinect是一种设备,能够跟踪人类共同使用一个深度相机。骨架点,主要是用于这个研究包括人体部分的手、手腕、手肘和肩膀。我们也用一个方法来计算中心的位置准确地跟踪状态的手掌(拳头、棕榈等)(42]。
我们利用深度地图被Kinect红外投影仪传感器和Kinect SDK模块跟踪特征点的位置和提取人体的骨架中深度图。手势识别的类型和强度在鸟,超人,和手的接口,我们定义左/右和上/下角如表所示1。
我们也使用Kinect实现功能,谷歌地球支持3 d导航地图。使用谷歌地球,一个可以进行缩放,旋转,使用鼠标和键盘接口和翻译操作导航到所需的位置在3 d模型的建筑物和地形。在构建虚拟实验环境,我们实现了导航功能,取代传统的输入设备、鼠标和键盘的功能。
|
||||||||||||||||||||||||||||||||||||||||||||
为了改变用户的左、右方向之间的角度x设在(1号线)和双手之间的直线(2行)相比,这样左右运动是可能的(3 - 4行)。上下移动,有必要计算之间的角线连接y设在和身体部分(第5行),并比较角度(第6行),这样可以上下移动线(7 - 8行)。如果结果计算得到的不同于以前测量距离当前参考点的距离大于加速度阈值(第10行),然后速度增加(第11行),否则速度降低(12行)。我们通过实验发现这是最好的选择水平和距离阈值设置为0.4 - -0.7。
算法2介绍了旋转界面,在图中定义3与样品的变焦和翻译界面。这些操作基本上只包含的值x和y减去的z值,当右手和右肩之间的差异小于一个预定义的阈值(1号线)、和z协调应该是0。当发生旋转或翻译(第3行),改变是改变的程度差异的右手,从右手的位置改变(第4行)。当移动在虚拟空间中,当前的右手的位置成为参考手的位置(第6 - 7行)。当我们旋转基于横线与竖线(第9行),水平线和垂直线的值分别添加(9 - 11行)。当前旋转位置为0(第12行);只有x价值和y值被转换在那个位置(13号线)。
|
||||||||||||||||||||||||||||||||||||||||
数据5- - - - - -7显示的细节放大、旋转和转换接口算法跟踪关节深度相机。红色圆圈代表的握成拳头的手,和绿色的圆圈代表的的手掌。灰色的圆意味着身体的一些部位可能会重叠,很难代表确切位置的值。
5。用户研究和结果
5.1。用户研究设计
评估我们的提出的接口和比较,我们开发了虚拟现实软件基于3 d地图和调查用户的反应。我们使用两个3 d数据集,一个大峡谷模型和一个法国小镇模型作为我们的测试虚拟环境(图8)。我们选择了眼睛裂谷(消费者版本1)和微软Kinect(版本2)作为测试头盔显示器装置和运动传感器,为公众相对便宜。台式电脑的虚拟现实环境测试配备英特尔i7 3.6 GHz CPU和16 GB的内存。
(一)
(b)
HMD-based VR软件系统导航与Unity3D开发43]。我们的手势识别方法是使用Kinect SDK开发工具包,分布式的眼睛和微软。作为一种经验的环境这个用户研究中,用户可以飞在测试虚拟环境像鸟类和超人,并导航使用右手。我们也做了一个场景组成的缩放,旋转,以及翻译导航测试。
受试者23 - 31岁,12个大学生(10 2男性和女性)在我们大学的计算机工程部门。为了确认清楚区别现有的接口,该接口,我们进行了一次问卷调查评估和量化每个方法的经验指数和可用性得分。HMDs实验被应用到大峡谷模型和法国小镇模型,与实验6个手势接口和基于键盘和鼠标的两个接口。为每个参与者之前从来没有戴头盔显示器或抱怨头晕,我们给休息时间的1到10分钟之间的经验根据眩晕的程度(11,44]。
本研究的目的是确定的必要性手势接口,需要替换现有的键盘操作方法,通过研究技术的发展,可以提高满意度的经历一个虚拟的空间。我们设计的用户研究分析优点和缺点提出界面相比传统接口和验证结果的重要性。
5.2。实验结果
从实验中,每个8可用性属性的两个场景的大峡谷和法国小镇模型(例如,整体满意度,准确性,易于操作,舒适,浸泡,和乐趣)量化的问卷调查结果。在图9的照片,我们可以看到用户的整体满意度的平均得分与上述8属性评估分数范围从1到5。图从中间(即开始。,score 3) because it can better show whether it belongs to good (i.e., to the right from middle) or bad (i.e., to the left from middle) scores. Overall, the degree of fun was the highest, and the scores of other properties were generally good but subjects experienced significant dizziness when using the gesture interfaces.
获得的结果从大峡谷和村里模型略有不同。鸟界面整体满意度得分高,和手界面得分相对较高的精度。键盘和鼠标是最简单的操作,可以用更少的运动重定向,从而带来更多的方便,nonfatigue, nondizziness。鸟和手接口很难操作,但有一个高分的有趣程度和浸泡。百分之五十八的学生喜欢用手势接口,用双手同时,而不是使用一只手。百分之六十七的学生回答说,这是更好地使用手势接口而不是键盘和鼠标接口。此外,92%的学生喜欢穿和经验HMD而不是监控当被问及什么样的屏幕提供了更好的现实主义。
为了验证实验的意义本文单向方差分析和矫正人员进行测试,验证图和意义9。每个接口之间的显著性水平和评估项目是小于0.05为其余7项除了满意度。在5%的显著性水平(Sig。< 0.05),零假设被拒绝,并采用备择假设。因此,它是合理的,可用性之间的差异和现有的接口是显著的。结果,有一个设备接口之间的显著差异在准确性和超人(Sig = 0.002),手势界面(Sig。= 0.006),鸟(Sig。= 0.017),差异的手(Sig。= 0.007)和设备接口(Sig = 0.000)。从容的因素,是有区别的超人接口和手(Sig。= 0.011)和设备接口(Sig = 0.000)。浸因素显示设备接口之间的显著差异和手势界面(Sig = 0.001),超人(Sig。= 0.000),鸟(Sig。= 0.000)和ZRT之间(缩放、旋转和翻译)接口和鸟接口(Sig = 0.035)。兴趣,是有区别的设备和鸟类接口(Sig = 0.006)。
我们观察到,键盘接口有一个更高的分数的准确性,舒适,和从容,而手势接口。相反,之间的成绩差距的不同姿态和键盘接口非常大的因素浸和兴趣。
在图10,我们可以看到两个虚拟地图环境,大峡谷和法国小镇,影响用户的偏好。总的来说,用户的得分为两个虚拟地图环境似乎并不重要,但手界面的整体满意度在大峡谷非常高,而超人界面的整体满意度是最低的。然而,在法国小镇,整体满意度用手使用键盘和鼠标接口和界面是最高的,剩下的整体满意度的接口是相同的。
(一)
(b)
由于样本容量(即。,12participants) is relatively small and test scenarios are rather simple, further research can be necessary to generalize and verify the usability of our method.
6。结论
这项研究的结果表明,通过肢体动作手势识别的方法可以提供一个更高层次的浸渍比传统的键盘/鼠标的方法。因为用户体验不熟悉一个接口,它是必要的学习操作方法和第一次执行前有时间适应。然而,在很短的学习期间,用户能够体验虚拟现实更有效。需要使用kinect动作接口为更高层次的沉浸和乐趣。然而,随着长时间的VR使用,用户往往会变得容易疲劳,必须进行进一步的研究来克服这个缺点。这项研究的结果表明,它是更有趣的和有趣的用户使用他或她的身体来操纵三维空间和导航3 d环境,但接口方法可以根据场景空间的类型是不同的。考虑浸的水平和兴趣,有必要研究直观的方法来执行操作,可以很容易地使未来人类/计算机虚拟现实交互更加简单和自然。手势和语音识别技术的结合可以提高控制界面的可用性。因此,我们也考虑到混合方法为未来的研究课题。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项研究受到了基础科学研究项目通过韩国国家研究基金会(NRF)由教育部(NRF - 2017 r1d1a1b03036291)。作者感谢崔Wonjae Kinect的部分实现手势识别和相关讨论。