文摘

增强现实(AR)技术提供了许多机会来提高人们的经验与数据交互。空中姿态,基于“增大化现实”技术的自然交互模式,没有任何辅助设备与虚拟交互元素。它已成为一个热点话题感兴趣的研究人员与手势识别技术的发展。从用户体验的角度来看,类型的空中姿态,手势识别技术的应用进行了探讨。的挑战空气手势交互的用户体验和技术两个方面进行了分析,和合作的姿态和低成本的用户体验的重要性在未来被强调。最后,应用前景的空气手势交互远程教育,医疗卫生、工业、办公室等进行了探讨。

1。介绍

增强现实(AR)允许用户执行任务在真实和虚拟环境通过重叠在现实世界中虚拟内容(1]。基于“增大化现实”技术的实时交互,手势,声音,身体姿势,甚至眼球运动可以交互模式。手势与广泛应用在人机交互(HCI)可以用作输入媒体对各种媒体,包括手机、电脑、电视、大屏幕显示器,等。它的交互可以直接触摸,使用物理设备(例如,钢笔、遥控器和处理)和身体姿势或它们的组合。手势不使用任何物理介质称为空中手势。相比使用处理和触摸,空中姿态实现物质接触电脑和操纵虚拟环境中的对象以更少的限制。在AR、自然空中姿态提供一个直观的交互式方法连接虚拟和真实的世界。更自然的和灵活的处理和按钮,半空中手势交互可以直观地展示信息和表达意图,从而降低用户的学习成本,大大增强了沉浸式交互(2,3]。

有各种各样的空中姿态,手势类型可能不同的应用程序环境。根据不同的时间、使用环境和功能,手势的分类方法也不同。本文将解释不同的分类从用户体验的角度。手势分类的变化也与手势识别技术的发展密切相关。手势识别是空中手势交互的关键。这是一个技术操作设备通过捕获人类的肢体动作和转换成相应的命令4]。目前,基于手势的系统如微软Kinect和跳跃运动,支持手,全身跟踪,已成为无处不在。空中姿态已经成为一个受欢迎的交互模式的出现,越来越多的系统,如微软全息透镜和魔法的飞跃5]。在空中姿态的设计,核心是提供一个舒适的用户体验。动作类型和手势识别技术是影响用户体验的重要因素,也是确定空中姿态的应用。因此,空中手势交互的基于“增大化现实”技术具有重要的研究价值。未来的用户体验设计空中姿态将受益于其当前设计的理解,应用和技术的发展。为此,空中姿态的最近发展的基于“增大化现实”技术的梳理和分析,和未来的发展趋势,讨论了空中姿态,着力做好以下几方面:(1)不同分类方法的空中姿态;(2)空中姿态的典型应用领域;(3)空中手势交互的挑战和未来的发展。

2。分类和抽取的研究空中手势

2.1。空中手势的分类

2.1.1。在人机交互分类

言语交际手势通常用于协助,研究空中姿态也源于日常人际沟通的观察。因此,空中姿态也是最早的分类基于演讲(6- - - - - -8]。基于语言环境提供了一个空中姿态手势的分类依据未来的人机交互。界面结合手势和声音是通过人际沟通探讨。研究人员也做了很多工作简单的空中姿态控制的接口。它在HCI一直是一个热点问题。卡拉姆反对和Schraefel创建了一个广泛的分类和提出了一个模型指示,示意图,操纵,信号,手语手势。在这个模型中,手势也相当于象征性或描述性的手势,这是用来描述体型和演讲的形式表示9];Aigner等人扩展他们的模型,发现指出,哑剧,直接操作,信号动作,和图标的姿态是最受欢迎的手势通过分析5500手势10]。此外,手势是进一步分为静态手势和动态手势根据他们的时间状态,和信号进一步分为短篇小说家静态手势,短篇小说家动态、中风和短篇小说家。标志性图标标志性手势分为静态和动态的。手势是用来表示对象和方向。Semaphoric-Static和Semaphoric-Dynamic与我们熟悉的社会文化有关。例如,在日常生活中,我们伸出大拇指说“OK”。不像Semaphoric-Static和Semaphoric-Dynamic, Semaphoric-Stroke有特别的意义在某些情况下,特别是在控制多媒体,比如手掌挥手切换到下一个页面。Pantomic姿态是一种更生动的动作或连续的动作性能。Icon-Static和Icon-Dynamic相关图片和图标,执行特定任务的形状(圆、三角形等)由手。操作手势也是一个抽象的姿态用于操纵对象,如放大和缩小。

2.1.2。基于时间的分类

根据时间的维度,空中姿态可以分为静态手势和动态手势。静态手势的特定状态的手包括姿态、位置和方向的手。动态手势是一个时间序列的状态,这意味着姿势,位置,方向的动态手势会随着时间改变。因为动态手势有更高的自由度和更多的可操作的行动,更难以识别手势识别。然而,动态手势可以更容易识别的手势识别技术的成熟度。

2.1.3。基于定义的分类模式

空中手势分为预定义和用户定义的手势,从技术的角度和经验。预定义的手势意味着系统工程师设计了手势的使用习惯使用系统或应用程序之前,我们使用一些系统设备,和用户必须学会使用这些手势。用户定义的手势通常手势类型定义的用户根据自己的喜好,这需要更复杂的手势识别技术。例如,王等人创造了一个手势AR创作系统,用户在其中完成徒手手势交互使用可视化编程接口匹配与基于“增大化现实”技术的虚拟内容的反应。它提高了灵活性和独立性的徒手互动(11]。然而,越来越多的研究者倾向于研究用户定义的手势,手势识别技术的不断发展和成熟。这种方法有许多优点。用户不需要学习在使用系统之前,和交互更自然。此外,它也符合人机交互的以用户为中心的设计原则。

2.1.4。基于任务类型的分类

手势的分类密切相关,他们的用途和使用环境。交际手势往往适合执行某些“抽象”的任务,例如控制菜单,打开/关闭设备,媒体控制任务,尤其是手势信号。根据Groenewald et al .,空中姿态主要用于选择、导航和操作任务。操作手势也适合基于交互的“物理”操作任务除了导航任务。它可以解释为操作虚拟物体真实对象,提供用户一个身临其境的体验,他们直接操作的东西,喜欢玩和开发一个虚拟篮球手势,扔纸飞机,揉捏动作,等。一般来说,可以创建一个更身临其境的用户体验与“基于物理互动”的组合和视觉和听觉等感官效果的基于“增大化现实”技术的环境虚拟与现实的结合。因此,空中姿态可以分为抽象姿态和手势基于物理操作根据当前应用程序的基于“增大化现实”技术。抽象的手势是用来执行操作,如菜单选择模式切换,切换和对象调整。这样的手势也相关的文化和习惯。当然,他们也表达一些特殊的语义。例如,摆动手掌表示鱼游泳的状态。基于物理的手势操作与日常生活密切相关,包括抓、捏、攻丝等。

目前,手势应用的探索也在不断创新各种手势识别技术的基础上,从休闲AR应用转向更深层次的领域。抽象的手势往往是模糊的,它是一个挑战为用户学习具体行动。为此,一些研究集中在如何使用简单的手势操作各种任务,从而减少用户的学习负担,提高用户体验。设计者从跳跃运动正在探索一个适合单手操作方案,基于“增大化现实”技术,使用简单的揉捏的手势执行各种快速命令。此外,他们设计了三种动作模式,即把模式、弹弓模式,时间模式测试揉捏动作方案。他们希望创造更多的单手控制模式,使每只手结合或双手手势执行各种各样的任务。

2.2。引出研究

手势识别技术已成为成熟与多样化的应用程序,也在大量相关的手势。因此,后来的研究也更侧重于评估不同的空中姿态知道具体操作任务的有效的手势。

研究人员为用户需要评估最舒适的姿态,以探索基于“增大化现实”技术的手势与用户偏好。最常见的方法是姿态引出研究。手势启发式技术广泛用于识别self-discoverable姿态单词在人机交互12]。通常,显示了参与者的引用(效果),然后他们被要求提出一个更匹配(简单和直观的)姿态。研究人员将大量的数据在收集大量的手势,以获取手势与用户偏好。然而,这样的研究是有限的手和手指的动作使用特定技术(例如,公共场所,电视,基于“增大化现实”技术,和VR) (12),如使用空中手势来控制电视媒体。图1显示的空中姿态由Samimi等人通过引出研究电视主持人。手势集包括五个手势从两个相机镜头(远射和近景)。评估研究的结果表明,推导的手势不会消耗太多的体力和主人的注意。启用主机使用这些手势控制电视的基于“增大化现实”技术的内容和现代的方式讲故事更多的表达能力。图2显示了使用场景(13]。

Wobbrock等人开发了一组用户定义的手势根据参与者的共识程度,词汇和分类诱导姿态。这种分类方法旨在扩大手势设计空间的桌面环境(14]。李进行了绿野仙踪研究基于“增大化现实”技术的多通道界面,旨在探索类型的手势的人想要使用虚拟对象的任务操作。实验结果显示,最受欢迎的手势类型指出,翻译,和旋转的手势15]。Piumsomboon等人通过实验探索自然手势基于“增大化现实”技术的类型和确定手势集对应于选择所有的四个基本任务,打开,关闭,并选择水平菜单。他们在40任务,有800用户定义的手势,终于44用户定义的手势“共识”,为设计师提供了一个重要的参考的用户体验。这个手势代表的姿态偏好用户在基于“增大化现实”技术的任务16]。Moran-Ledesma等人利用启发式研究方法来确定手势集物理道具是用来控制虚拟现实和执行必要的施工以前的工作的基础上,以包括手势和物理对象的选择一起使用(12]。

3所示。交互式应用程序的基于“增大化现实”技术的空中姿态

3.1。空中姿态在多媒体

许多研究关注各类媒体的姿态控制,如视频、虚拟内容回放,等等。与用户交互的应用程序并不局限于移动电子设备。基于“增大化现实”技术的车辆交互系统,可以通过空中手势切换显示内容。户外AR广告触发虚拟内容的回放的挥舞,手势。Rovelo Ruiz et al。17]介绍了一套手势控制全景视频。此外,Siddhpuria et al。18]探索使用离散的微手势控制远程媒体智能手表。和一些研究使用空中手势交互智能电视的改善用户体验,尤其是多模技术和交互19,20.]。拉多式et al。21)提出了用户定义的手势来定义通用环境中虚拟互动空间。

3.2。体现了基于“增大化现实”技术的介绍

空中手势交互显示许多优势在实验动态模拟、三维对象显示和其他方面。大多数系统预定义的虚拟内容由每个gesture-create映射关系。此外,用户需要提前学习这些手势,和执行预定义的手势会触发预定义操作。例如,Chalktalk VR / AR是一个仿真工具来创建图纸在面对面的头脑风暴。用户可以调用通过空中画生动和智能虚拟元素来解释科学知识网络。所有触发需要预编的(22]。Post-Post-it系统,研究者们设计了一系列自然和near-realistic空中手势移动,复制,删除,和虚拟柱,用于头脑风暴在在线课程23]。王等人创造了GesturAR Hololens2 Unity3D使用。用户可以完成徒手手势交互利用可视化编程接口匹配基于“增大化现实”技术的虚拟内容的响应(11]。与其他作品不同,用户与虚拟设计手势交互元素在GesturAR完全靠自己,提高灵活性和独立性的徒手画的交互(图3)。

3.3。空中姿态在教学演示

空中手势交互的基于“增大化现实”技术示范可以直观地显示信息,所以它有巨大的潜力在性能,演讲,和教学。基于视觉的实时手势识别学习成本低的优势,无触点控制,更丰富,更自然的交互行为。因此,手势经常更换键盘和鼠标来完成基本的教学场景中的虚拟交互功能(2]。例如,预定义的手势映射到虚拟交互命令,和多媒体平台操作与空中手势如确认、返回、选择、获取和发布。用户不需要其他辅助工具结合示范,娱乐,和教学与手势识别技术,多媒体技术和自然直接和人性化的人机交互体验实现使用手势。

Saquib等人提出了一个动态的演示工具,直接操作虚拟接口使用跳跃运动。用户可以调用虚拟实时图形元素通过身体语言,以便使用日常行为来增强与观众沟通的能力(24)(图4)。

目前,许多使用hmd和全息投影来创建基于“增大化现实”技术的教育教学环境,但锣等人创造了座全像仪基于伪全息位置。他们设计并实现了一组丰富的小说交互技术,包括身体语言交流,手势交互和处理,和触觉反馈,以便老师和用户可以达到肉眼扩增实境教学经验通过身临其境的示范、角色扮演,在幕后讲座(25]。

另一个典型的应用程序是空中手势操作基于“增大化现实”技术的实验。借助多媒体、仿真、基于“增大化现实”技术和其他技术,相关的软件和硬件操作环境,可以帮助传统实验的操作链接是在电脑上创建的,实验者可以完成各种实验在现实环境。一个例子是身临其境的化学实验系统头盔显示器和跳跃运动在手势输入设备。学习者可以自由获取、拖放实验仪器根据实际的操作模式来完成实验操作。此外,《全球经济展望》等人讨论了基于手势交互技术的实验对学习者的影响的经验,发现基于手势交互的虚拟实验技术可以有效地提高学习者的身临其境的体验,从而提高他们的学习动机26]。

空中姿态的应用不仅限于虚拟教学实验,但也可以实现六自由度跟踪效果具有良好的稳定性和高精度的帮助下基于“增大化现实”技术的眼镜和单眼和摄像机。它可以完成两个手的操作链接,半空中触发,拖,和移动,实现自然和灵活的空中姿态的互动体验。

在教育领域,空中手势交互已经改变了传统的教学方法,使教学内容更精彩的方式表达,和增强教学过程的交互性和娱乐。不同于其他领域的应用,教学示范不仅是个人经验也表达和沟通。因此,当使用头部显示器,个人经验效果好,但传播效果可能会差。所以从技术上讲,使用跳跃运动和Kinect跟踪和识别将更适合使用在教学情况下,因为它可以帮助教师避免额外的身体负担,不会限制通信。空中姿态的应用领域的教育和教学是很有价值的。原因是基于“增大化现实”技术的教学环境本身有几个特性:(1)环境多样性。在线和离线的环境配置类是不同的。在线下课程,教师在讲台附近移动的,但是因为他们的身体姿势经常面对黑板,面对学生之间的变化,和径向旋转是全方位的。在这个过程中,很容易导致错误识别由于阻塞。需要考虑如何利用手势识别的设备准确地跟踪空中手势。远程课程的互动范围是有限的,也是需要考虑手势识别的方法和如何配置摄像头这样的手势可以显示一个全方位的展示内容在一个有限的范围内。此外,教师和学生之间的交互的在线课程也变得困难,也会影响用户的互动体验(2)多重性的互动内容。板书和演讲中含有丰富的上下文信息。不同于单个用户交互,老师经常与学生通过互动教学内容而与基于“增大化现实”技术的互动空间。同样有必要考虑个人用户体验和展示和传授知识给别人。这使得手势交互的任务更加复杂。如何提高用户体验和教学效率将空中姿态的关键研究内容应用程序的交互教学演示吗(3)高频使用手势和大量的无意义的行为。大多数教师积累了相当数量的无意识的手势在他们长期的教学工作。这些手势因人而异,常常只是表达感情的老师当表达知识,知识本身几乎没有相关性。这些手势很可能被系统与原语激活交互任务的能力。像老师这样的功能的用户交互设计征收更高的要求。因为空中姿态属于用户界面,总是在“开”状态,系统需要区分用户操作驱动交互的任务和那些只是无意识的操作。需要避免的情况下,用户可以做什么设备的充分利用教学情境信息的状态

半空中的手势交互教学前景广阔。特别是因为疫情防控成为规范化,更多的学生不得不采取在线课程。与传统的无聊视频在线课程相比,基于“增大化现实”技术可以让老师与学生互动,展示通过空中手势。此外,它还实现了手术过程的演示通过多人远程外科手术培训教学合作。在一些技能培训,工程师还可以通过空中姿态展示机械装配。通过远程辅助功能,学习者获得远程虚拟指导。

4所示。半空中的手势交互的挑战

4.1。手势识别

半空中的手势交互依赖于手势识别。半空中的手势,主流的识别方法是基于计算机视觉的手势识别。手势识别是一个感知计算的用户界面,使计算机捕捉和解释手势和执行命令根据手势的理解(27]。手势识别通常包括以下步骤:首先,获取手势帧,然后,跟踪姿态,提取特征(手指,拇指,肤色、对齐、手指和手掌的位置)(27),最后,分类输出的姿态。如图5。

姿态收购是人类姿态捕获图像由计算机(28),可以实现基于视觉的识别。可以使用网络摄像头或深度照相机没有需要特殊设备。此外,还可以使用特殊的工具,如运动传感和输入设备,捕捉手势和动作(微软Kinect,跳跃运动等)(29日]。研究人员使用一个便携设备,跳跃运动来实现一个完整的骨架和精度较高的执行对象的操作(30.]。手势交互作用的研究中,研究人员探索各种方法进行最好的手势识别特定的手势。李等人。31日)设计与导电布手套的指尖和手掌的手势识别,使用振动马达触觉反馈和跟踪标志着手腕周围手套,还设计了一些手势选择,抓住,切割,和复制。李和叫喊HandyAR创建,系统启用徒手与标准的网络摄像头。打开/关闭的手势支持是有限的对象选择和手旋转对象检查(32]。他们后续的工作允许使用标记跟踪对象的转移(33]。费尔南德斯和费尔南德斯使用手训练图像统计模型允许徒手检测(34]。和FingARtips35)启用用户揉和移动虚拟内容通过检测基准的指尖。手工检索的3 d几何碰撞检测的虚拟对象的发展RGB-D和立体相机(36,37]。虽然空气基于计算机视觉的手势交互,不需要额外的设备,更自然,识别的准确性仍受到许多因素,所以大多数以前的工作指定的手势映射到有限的操作,即选择、翻译,或旋转,而不考虑他们的简单和自然。换句话说,手势检测只是用作替代鼠标操作3 d内容的函数,和手的灵活性并没有充分发挥。因此,在执行手势交互时,我们需要考虑特定的交互场景和任务的需要,以改善用户交互体验。

手势识别仍在发展中。当然,有困难和挑战,仍需更多的实验探索和测试。例如:(1)准确的动态手势识别。手势和动作采集技术仍然是一个重要的技术限制自由的姿态交互。尤其是动态手势的识别和获取,交互手势动作捕捉和识别的准确性应该改进(2)手势检测在不同的光线,颜色和其他复杂的背景。手势背景大多数现有的手势检测过程简单,但实际背景的实际应用比较复杂。我们可以在任何复杂的工作环境,如教师的教学场景。因此,这将是未来的一个重要课题来研究如何提高在复杂背景下进行手势识别的准确性(3)延迟手势识别。因为手势识别需要一个复杂的过程,在不同的阶段需要不同的技术来完成它,在任何步骤和问题会影响整个手势识别过程。因此,一个完美的手势识别建筑尤为重要

4.2。用户体验

研究人员一直在努力改善用户体验,进行技术创新。然而,仍然有问题需要改进和解决。(1)姿态学习。不同的手势在不同的任务场景中应该取得了良好的效果。有些手势需要用户的额外的学习和记忆。过多或过复杂的手势会增加用户的记忆负担(2)从传统的交互形式转换到半空中的手势交互。这是一个循序渐进的过程从传统的鼠标和键盘过渡到半空中的姿态。虽然用户往往是难以摆脱以前的使用习惯,半空中手势交互不完全脱离原始形式的互动。设计师需要找到两者之间的平衡来提高用户的满意度(3)空中姿态和多通道交互。在多通道交互场景中,每个交互模式都有自己的独特作用。没有协议的哪一部分接口函数更适合手势操作或手势和语音的结合,这是特别重要的改善用户体验(4)感知互动信息。基于“增大化现实”技术的相互作用的研究侧重于用户如何与虚拟物体进行交互。因此,手势界面设计要解决的问题是用户如何看待这样的互动,信息可以或不能与之交互,信息需求的手势交互,以及如何给用户正确的判断(5)免费的空中姿态的定义。研究用户体验的追求一个共同的目标:实现免费空中手势交互。然而,达成的共识是什么样的姿态可以被称为自由的姿态交互

5。未来的空中手势交互

5.1。半空中的姿态在教育、医疗、工业、和其他专业领域

半空中的手势交互的应用领域扩大。根据连续突破,基于“增大化现实”技术的交互技术将产生更多的实践价值关于其应用在教育、医疗、工业、办公室,其他场景。例如,在医疗、外科医生使用使手势在镜头面前使用计算机视觉技术实现操作,如缩放,旋转,图像剪切,幻灯片切换,避免重复消毒当医生使用其他设备。此外,应用程序还包括外科手术训练、心理治疗等医学教育的改革将会出现在身临其境的学习工具构建医学生和护理专业人士。各种2 d和3 d数据(如x射线、超声波和人力结构)显示在基于“增大化现实”技术来帮助外科医生实践手术过程。手势识别也可以为一些残疾患者创造更好的生活。一些研究人员也在探索如何将聋人手语的路由到书面语言手势识别,与他人交流的环境中结合虚拟世界和现实。

此外,教育的方式也经历了巨大的变化的影响下规范化COVID-19控制和预防。和距离对教师教学也是一个巨大的挑战。除了基于“增大化现实”技术的实验,探索未来的方向画示威,示威干教育,教学和游戏化课程内容的演讲。目前,空中姿态的探索教育仍处于发展阶段。也有许多互动体验的痛点:糟糕的用户体验和情感交互技术和缺乏真正的反馈,从而导致不满意的教育结果。因此,实现自然手势交互的一个重要方面将会设计一个更自然的手势交互方式,所以无聊和渊博的知识可以传达给学生以更生动的形式而不影响老师的经验或导致疲劳。如图6。

5.2。合作的姿态来提高工作效率

在许多工作,人与人之间的沟通、合作,共享是至关重要的。更身临其境的互动体验将通过手势和多个用户操作虚拟内容合作共享虚拟空间。大多数当前的应用研究空中姿态只跟踪一个框架,支持单个用户的经验。合作的互动效果演示可以丰富的合并多个用户。例如,Saquib et al。24)认为的经验和利益可以增强与观众的互动,可以创建和更加多样化的合作行动,如果他们可以跟踪多个骨架,实现多人合作的性能。

远程协作和远程通信是未来的方法来提高工作效率;无论在学习、办公室或工业生产。尤其是在面对规范化COVID-19控制和预防,基于“增大化现实”技术使得远程工作更加高效和方便。在工作区中远程协作,协作交互已经成为一个重要组成部分。同时,合作的姿态将发挥更大的作用,帮助提高工作效率。基于“增大化现实”技术转向社会模式,和协作的手势在未来也值得探索。

metaverse也将成为世界的互操作性和社会融合。未来metaverse空间将涵盖各种各样的设备,和手势交互将改善的一个重要组成部分在这样的虚拟体验互动体验层基于物理空间。目前,言语交际在metaverse空间仍然占主导地位,,很难实现仿真的感官和身体语言。除此之外,它没有意义的社会空间和不能提供一个完全身临其境的体验。但是,这一切都将是未来努力的方向。Metaverse空间是自然和身临其境的基于“增大化现实”技术的交互体验现实随着技术的不断创新。

5.3。低门槛、低成本的用户体验

增强现实的经验现在仍然取决于成本较高的硬件设备,如基于“增大化现实”技术的眼镜,它常常阻碍了很多用户,也限制了多元发展的手势交互。因此,更多的低门槛,低成本的入口(如智能手机)应该向世界开放集成虚拟世界和现实。根据第三的长期调查报告《基于“增大化现实”技术的使用和消费者态度的报告炮兵》2020年,预计移动基于“增大化现实”技术的普及率用户几乎可以配合到2023年的互联网用户,这意味着所有互联网用户可能移动基于“增大化现实”技术的用户。以智能手机为入口,手势交互的无疑是最快的方式。手机用户可以通过绘画和实现非常有趣的结果将随时随地移动基于“增大化现实”技术的对象与空中姿态。尤其是在教学领域,以前移动基于“增大化现实”技术的增强视觉效果,和2 d平面的变换效果为3 d立体视觉(38)(图7)。如果一个人也可以与半空中的手势,将产生更多的身临其境的体验,节省时间和成本的优点。图8显示了设计和实现的基于“增大化现实”技术的空中手势交互艺术展览的艺术品翁et al。39]。

目前,移动AR正面临许多问题。在移动基于“增大化现实”技术,用户必须提高他们的手臂很长一段时间,用一只手的姿态交互。结果,不准确的基于“增大化现实”技术的定位和手势识别将发生,导致可怜的基于“增大化现实”技术的经验和时间缩短了用户体验。因此,有必要考虑提高用户利用率提高用户体验和提高技术。相信精确的空中姿态与虚拟对象可以实现手机技术的发展。

6。总结和讨论

专注空中手势交互的基于“增大化现实”技术,文学和主要结果在半空中的手势交互系统研究的文献研究方法。从用户体验的角度来看,手势类型在半空中手势交互和空中姿态的典型应用在基于“增大化现实”技术的挑战和未来的空中姿态互动进行了分析。其目的是提供参考和互动体验设计建议设计师在手势交互的研究。

空中手势交互更自然和灵活的交互方法,并将基于“增大化现实”技术的重要交互方法。在半空中手势的应用方面,进行了详细的分析在半空中手势的应用和潜在的研究价值领域的教育。在教育领域,空中手势交互教学具有重要的研究价值,因为经验环境的特殊性,用户类型和交互的目的。用户体验的手势交互需要考虑教育属性,功能属性,和互动属性。此外,手势和multisense和多通道也可以满足用户需求,身临其境的体验。

仍有挑战,手势识别技术和用户体验。最早的手势分类来自沟通,在半空中手势的分类基于“增大化现实”技术将详细的特定任务类型,更注重用户体验。在大多数现有的研究成果,评价手势是在实验室环境下实现的。因为手势的多样性和普遍性的任务类型,很难形成一个通用的手势,这需要研究人员为不同的任务需求,设计相应的手势类型执行多个实验在现实场景中,而不仅仅是实验室研究。广泛应用,更多的实地评估需要了解什么任务的手势是有效的,以提供更好的用户体验。空中手势交互是一个免费的输入法,但对于用户体验,不仅需要考虑的自由,但也要考虑整体舒适从人体工程学的角度。目前,多数基于“增大化现实”技术的姿态输出设备仍头安装显示屏,不适合长期穿。因此,硬件设计也需要充分评估。此外,从半空中手势的应用案例,我们可以看到,使用类型的手势并不复杂,如旋转、翻译、和转换,这两个因素相关;一个是有限的手势识别技术。 Gesture recognition is a complex process. To achieve accurate gesture recognition, a perfect technical framework is required. Therefore, midair gestures are not suitable for overly accurate interactive tasks; on the other hand, simple gestures can reduce the burden of users’ learning and memory, which is more suitable for user experience. It can be said that it is a trend of interaction that simple gestures control diverse content.

总之,设计师需要考虑的所有方面的技术,经验,和创新的应用程序来增强用户粘性和个性化的体验。人工智能的不断发展,混合现实和手势识别技术,半空中手势交互更自然和舒适,和它的应用领域将更加广泛。

数据可用性

和/或使用的数据集分析在当前研究可从相应的作者以合理的要求。

的利益冲突

作者声明没有潜在的利益冲突的研究,本文的作者,和/或出版。