文摘
随着信息技术的不断发展和数字医学、计算机辅助虚拟医学已成为新一代的临床手术的发展趋势,旨在提高手术的准确性,降低手术的风险,实现准确、微创治疗。计算机辅助虚拟医疗系统的界面设计是一个人类与机器之间传递和交换信息的媒介。本文使用虚拟现实技术和增强现实技术开发虚拟医疗系统接口,旨在解决用户和虚拟医疗系统之间的交互问题,满足用户。multidemand心理学是一种有效的互动方式。它为用户提供一个多通道和全面的沟通方法,真正满足设计目标,满足用户的心理需求。它还扩展应用虚拟现实技术和增强现实技术。
1。介绍
随着中国医疗水平的增加和移动互联网的快速发展,增强现实技术的交互显示方法已经被越来越多的人青睐。国内外许多学者进行了相关的探索和应用研究增强现实技术。增强现实技术可以使用虚拟的额外信息来增强用户的真实世界的观察,以充分激发游客的热情从游客的角度。然而,在实际实践中,一些问题已经暴露出来。例如,浸不强。用户希望他们将有密切接触的模型场景。一个增强现实技术削弱了用户的观察和感知。为了克服这些问题,本文将虚拟现实技术的基础上,增强现实技术,结合了两个。提出了一种虚拟医疗系统接口设计和开发基于AR-VR混合动力技术。
虚拟医疗系统的界面设计是一个人类与机器之间传递和交换信息的媒介,指的是总体设计软件的人机交互、操作过程,和漂亮的界面1]。友好的界面设计不仅为用户提供一种个性和品味,还能让用户的操作过程简单,更舒适,和自由,充分体现软件的特性和功能。在虚拟医疗系统,用户需要实现各种操作通过其接口,因此,界面设计在虚拟医疗设计尤为重要(2]。目前,中国的医疗保健系统是虚拟的接口缺乏人类系统交互,和用户的多个需求不能满足。虚拟医疗系统的界面设计相对单一,这是方便用户,增加用户的操作负担(3]。针对上述问题,在2005年,先锋推出了一个3 d的用户界面技术,允许用户绘制文本和图片在电脑不使用键盘,鼠标或触屏。该系统实现一个全新的感觉大气环境,这是非常不同于过去传统的接口(4]。Enea中国服务和研发中心已经启动了一个三维的立体操作接口,可用于智能移动设备方便用户更快地完成多个应用程序。机构接口引入的燃料后处理计划主要包括主界面,界面工具,电影显示界面,视频和音频接口。接口是一个五级贷款接口。这个功能接口的不同需求可以节省用户的时间使用应用程序和添加更多的娱乐5]。
本文提出了将虚拟现实技术和增强现实技术应用到虚拟医疗系统的界面设计,呈现给用户一个三维的效果,在享受不同的服务方法。接口的讨论虚拟医疗系统是一个人机交互的方法。一个新的尝试和创新具有理论和实践意义实现一个友好的人机界面。与此同时,它也为虚拟现实扩展更广泛的发展空间。
2。虚拟现实技术和增强现实技术
2.1。虚拟现实技术
虚拟现实(VR)被Jaron Lanier正式提出,美国VPL公司的创始人,在1980年代早期。一批高技术、虚拟现实技术集成了许多关键技术,如多媒体、计算机图形学、传感器技术、人工智能和仿真技术实现三维空间表达式和一个自然的人机交互操作环境,从根本上改变了现状的乏味的人类和计算机之间的相互作用(6]。虚拟现实技术利用计算机生成一个模拟环境等多种感知视觉,听觉,和触觉(如飞机驾驶舱和操作网站),允许用户投资在仿真环境中通过多种传感设备,从而产生身体直接感受和经历(7]。
在虚拟现实技术的研究与开发,大部分地区正在进行研究。虚拟现实技术具有低成本和强烈的替换,所以它有广阔的发展空间。使用眼镜连接到智能设备可以支持虚拟现实的操作体验大厅。在虚拟现实技术的研究,如果它被应用到更复杂的环境中,它会影响到准确的图像显示的虚拟现实技术。因此,虚拟现实技术需要进一步研究。
虚拟现实技术下,眼镜设备必须执行集中,判断,和其他操作和操作用户的头。声音的方向不能有效地应用于虚拟现实技术的歧视。虚拟现实眼镜不能为用户提供触觉。尽管他们已经经历了视觉,实际上他们不能触摸对象,所以他们缺乏触觉体验。信息不能及时输入的虚拟现实技术。普通的信息输入方法与虚拟现实技术不匹配。在这种情况下,虚拟现实眼镜的研究扩展到服装和数据手套。目前,虚拟现实技术的应用范围很广,这对航空提供了很多帮助,医学研究和工业研究。
2.2。增强现实
增强现实(AR)是一种新技术开发虚拟现实技术的基础上,准确地添加计算机生成的虚拟物体或其他辅助信息的真实场景,从而扩展了人类的感官体验。真正的环境的视觉感知增强用户体验的现实主义与现实相结合的效果和现实8]。
行业第一个联系的增强现实技术录像设备,这有助于录像设备收集真实的数据,然后使用虚拟场景通过电脑合成技术合成和处理它们。增强现实技术的应用是不同的从虚拟现实技术和应用更方便。您可以通过下载相关软件操作软件的增强现实技术。当然,这个操作经验是不理想。增强现实技术是不断创新,结合光学原理的角度,将现实世界与虚拟信息,增强现实显示的内容。这种技术的应用需要高投资成本的研究,和技术要求非常严格。
近年来,尖端技术,增强现实技术已广泛应用于机械制造、虚拟装配、电脑游戏、多媒体设计、模拟训练等领域(9]。增强现实技术的持续创新,结合光学原理的角度来看,现实世界和虚拟信息的融合显示,和增强现实的显示内容;这种技术的应用需要更高的成本投资研究;和技术要求非常严格。在现实中,增强现实技术主要包括谷歌眼镜。当然,由于增强现实技术的发展和研究阶段,在许多方面需要进一步升级。增强现实技术是涉及军事、医疗和工业领域。增强现实技术为用户提供准确的信息和定位,帮助用户实现研究和操作的目的。同时,它已被逐步应用于临床医学领域,在这个领域已经成为一个研究热点10]。
2.3。虚拟现实技术和增强现实技术之间的差别
虚拟现实技术的可视化表示方法就是阻止人类的眼睛与现实世界之间的联系,呈现一个全新的世界在实时设备和虚拟现实技术呈现所有假的和虚构的。增强现实技术的可视化表示方法是将全息图像,加强可视化表示方法时,人类的眼睛是与现实世界联系在一起。这是一个物理和虚拟的组合。
2.4。虚拟现实和增强现实技术能做什么呢
因为虚拟现实和增强现实技术可以建立一个虚拟世界和现实世界之间的联系,形成一种新的人机交互方式,从而大大增强了人类的感官体验和认识世界,与虚拟现实/ AR技术的逐步成熟,某些应用程序已经意识到,有一种趋势,进一步形成了产业。根据虚拟现实高盛(Goldman Sachs)公布的报告,虚拟现实和基于“增大化现实”技术不仅有可能创造新的市场,但也会破坏一些当前的市场。这项技术可以应用于9主要领域:电子游戏、生活事件、视频娱乐、医疗、房地产、零售、教育、工程、和军事。
2.5。虚拟现实和增强现实的机遇和挑战
在不久的将来,虚拟现实技术将会有更大的应用程序和在医疗领域的突破。具体地说,虚拟现实技术可以用于生成视觉图像来检查病人的具体情况,比如使用CAT扫描或超声诊断图像生成病人解剖结构的三维模型。此外,虚拟现实技术也可以用来恢复的病人。在欧洲,身临其境的虚拟显示治疗中风和脑损伤患者中使用在许多地方恢复它们的运动和认知能力。因为虚拟现实技术的相关设备,它仍有不便等问题和糟糕的结果,和其硬件的处理速度还远远没有满足需要处理大量数据的实时虚拟世界。此外,一些设备的价格是非常昂贵,很难使设备普遍存在的。由于硬件技术的局限性,开发虚拟现实软件需要巨大的费用,但不能实现预期的应用效果。同时,仍有许多问题,虚拟现实技术的应用在高速图形和图像处理、人工智能等领域,迫切需要解决。
目前,基于“增大化现实”技术的技术发展迅速,在许多领域有很多发展的空间。AR技术有三个主要特征:将现实世界和虚拟环境信息,实时互动,增加定位虚拟对象在三位数规模空间。然而,由于外部环境的多样性和复杂性,基于“增大化现实”技术的设备通常是受外部干扰,还有很大的缺陷的应用程序。因此,有必要提高合成触觉输入技术的用户在现实环境。
3所示。交互界面设计的特点,分析虚拟医疗系统
3.1。交互界面的概念
(11]。交互界面是指人和机器之间的通信媒介,媒介用户和计算机之间的交换和传输信息,并综合操作环境为用户进行计算机操作(通过这一媒介即信息交换和通信)[11]。在交互界面的设计,特别强调用户为中心,所以它也被称为用户界面(UI)或人机界面。
为个人、认知的真实世界实际上是一个电子信号传输从感官到大脑,和增强的感知可以扩大我们的认知世界。正如你可以看到更远的望远镜和微小生物显微镜,VR / AR技术可以将事情之前我们无法感知,模拟我们无法听到的声音,让事情清楚明确。它可以创建一个增强版的现实世界。从这个角度看,虚拟现实/ AR技术帮助我们更清楚地看到世界,更彻底,更丰富的提高我们的感知。
发明的目的是在现有技术的问题不是有效的,可以通过人机交互,这样患者才能真正理解原因,病理,计划,程序的手术,手术后注意事项,等,并提供了一个虚拟的以现实为基础的互动的医疗系统。
3.2。交互界面的基本元素
交互界面设计的基本元素是分成几个部分,包括文本、颜色、图形和声音(12]。这些基本元素负责为用户提供足够的视觉和听觉的感受,而这些感官刺激相关用户。信息也被用作一个的信息来源和辅助工具为用户在操作期间。如果没有这些基本元素,用户将无法理解所传达的意义和信息机器或接口本身。中央处理单元包括一个消息接收和发送模块和虚拟现实的视频存储模块用于各种医疗流程和知识和患者信息识别模块;虚拟现实眼镜和医生的终端还设置信息接收和发送模块实现与中央处理器,医生的终端,和中央处理单元的虚拟现实设备连接的信息接收和发送模块;和医生的终端为病人选择合适的虚拟现实视频根据病人的情况,并将其发送到虚拟现实设备通过信息接收和发送模块。中央处理器的虚拟现实设备从虚拟现实中检索对应的虚拟现实视频视频存储模块根据信息发送到虚拟现实眼镜,辅助筛查的患者从人机交互学习。
3.3。特性分析基于“增大化现实”技术的医疗系统的交互界面
传统的二维交互界面的基本特征是鼠标和桌面之间的交互系统和基于Windows操作系统的设计元素。当设计一个二维交互界面在桌面时代,你只需要考虑窗口系统和二维视觉设计元素在桌面环境。然而,当设计一个AR-based交互接口,因为它的操作环境是现实和现实的结合,这也决定了它的交互界面设计的复杂性。因此,在具体的应用中,要注意如何有效地让用户与AR-based交互接口在复杂环境的关系。考虑到上述因素,在设计一个AR-based交互式界面,它应该注意三个设计特点:叠加虚拟现实、三维表现方式,和实时交互。
3.3.1。虚拟和真实的叠加
相比基于增强现实交互界面和基于虚拟现实交互接口,后者是完全虚拟的互动环境。在前,用户面对的信息环境中,虚拟和真实环境叠加。另一方面,与后者的交互界面相比,前者的用户体验将更真实,身临其境。其中,虚拟信息可以显示二维信息,如文本和图像,也可以三维信息,如音频、视频、动画、和气味。AR-based交互式界面,真正的物理环境由虚拟信息叠加和增强。与一个完全的虚拟交互接口或一个完全真实的交互界面,基于“增大化现实”技术的交互式界面有更多的房间在互动体验。性爱使人机交互体验更为极端。
3.3.2。横生,
三维特征主要反映在横生的互动模式和互动环境。AR-based交互式界面,虚拟世界和真实的物理世界的两个必需元素确定真正的基于“增大化现实”技术的交互式的三维属性界面。用户感觉是一个三维世界,虚拟世界和真实的物理世界是叠加的。这种身临其境的三维环境使得用户获得一个全新的用户体验。同时,用户和计算机之间的交互也有三维属性。例如,交互技术,如手势控制将形成三维交互系统的一个至关重要的元素。
3.3.3。实时交互
在基于“增大化现实”技术的交互式界面,用户不仅暴露和经验丰富的交互式界面混合虚拟信息和实际环境中,还体验交互式操作的实时特性。类似于计算机操作,操作的基于“增大化现实”技术的交互式界面,用户获取和交换信息与计算机硬件通过交互式界面,但不同的是,交互的增强现实交互的虚拟和真实的环境信息。为了给用户一个现实的用户体验,当用户执行交互式操作时,它应该与增强现实系统实时交互。简单来说,当用户发出指令时,系统必须实现和及时反馈。响应时间在此期间应当尽快处理。因此,在基于“增大化现实”技术的交互式界面,它的实时交互反映在人机交互和虚拟现实交互的两个方面。实际环境中被用户通过设备必须立即和实时叠加在虚拟信息相匹配的用户的需求。
3.4。交互式虚拟现实医疗系统的界面特性的分析
虚拟现实技术是一种人机界面技术,高度逼真地模拟人类行为,如视觉,听觉,和触摸的自然环境。美国科学家Burdy提出了“虚拟现实技术三角”理论。三个突出特征是浸、交互性和想象力。
虚拟现实技术是虚拟现实技术,目前应用于人机交互技术。如何有效地将技术应用到医疗系统,解决现有技术的技术问题,以实现医疗系统的指导通过虚拟现实技术的各种手续;解释病因、病理、治疗计划,操作过程,术后预防措施,等;现有技术迫切需要解决,比如减少病人对疾病的恐惧,在医院操作和陌生的环境,制定行动计划,进行手术预演,外科教学、手术技能培训,指导操作在操作和术后康复。
3.4.1。浸
。理想的虚拟环境应该是让用户的视觉,听觉,触觉,嗅觉,和味道非常现实的,也就是说,允许用户沉浸在一个虚拟环境的一部分,所以,用户完全放置在虚拟环境中。虚拟现实系统的性能标准是浸的水平。的好与坏的关键虚拟环境设置是否让用户感觉很强的浸。
虚拟现实技术可以转化为现实世界的一个虚拟的世界,和AR技术使虚拟世界叠加在现实世界中,让虚拟世界和现实世界进行交互。这两个世界之间是一个收敛的趋势。在未来,你也许不能告诉哪一部分是虚拟的,哪一部分是真实的。整个世界变成了一个虚拟世界和真实世界的混合物。
3.4.2。交互性
交互性是指用户可以操作的对象和情感反馈经验的程度。这种交互模式使用特殊的输入和输出设备(如数据手套、数据服和头盔显示器)使用自己的身体语言自然与虚拟环境中的对象进行交互,和计算机可以使用用户的手,眼睛,头,语言和肢体动作来调整虚拟映像和不断更新虚拟环境显示给用户。例如,用户可以用手直接抓住对象在一个虚拟环境,能感觉到重量,同时用双手可以移动。因此,现有技术需要一个系统,可以实现人机交互,使患者体验到真正的经验来完成上述任务,为了节省医疗资源,最大程度,减少医患矛盾。
VR / AR技术可以重建物理特性的物理世界的信息,建立一个虚拟世界真实的世界一样真实。正如电话可以将声波转换成电信号,并将其转换成声音,视频电话可以从声音和图像重建信息,而“真正的”虚拟世界重建对象的多维特征信息。如果我们重建所有物理世界的信息转换成一个虚拟的空间,然后你的手机可以使用物联网技术来适应整个世界,容易把它放在你的口袋里,看到没有离开家的世界。
3.4.3。概念上的
想象力,也称为创造力,指的是事实,虚拟现实技术有一个非常广阔的想象空间。它不仅提供了设计师的创意构思和设计虚拟环境,而且也帮助人类获得更多信息和知识通过自己的思考。简而言之,这三个特点,身临其境,互动,和富有想象力的虚拟现实系统的特性,视觉上呈现自然交互的虚拟空间。这三个特色虚拟环境允许人们不仅感到身体的沉浸,也是精神上的满足。
建立多维的记忆和多维思考,结合人工智能和互联网的帮助,可能会引发一场革命在人类学习和突破生理极限的人类大脑。从口碑文本记录音频和视频,每个媒体推广带来了人类文明的跳跃发展,以及三维交互式虚拟现实产生的学习方法/ AR技术也将促进人类文明的进步。虚拟现实远不是“生动”和“生动”在教学领域,及其意义更深远的药。例如,投射在屏幕上跳动的心脏,和操作员可以随时观察每个部分和分裂。这样不仅可以节省成本的生物实验教学也提高了学生的操作的准确性和理解。
4所示。设计和开发的虚拟医疗系统的交互界面
4.1。虚拟医疗系统开发平台
这个系统使用统一2018.2.16为基础平台,结合Vuforia实现虚拟医疗系统功能开发。Vuforia是行业领先的和最广泛使用的增强现实平台。它很容易和快速创建虚拟世界与现实世界之间的相互作用。它使用计算机视觉技术来识别和跟踪平面图像和简单的实时3 d对象。开发人员可以弥补现实世界和数字体验。
4.2。虚拟医疗系统界面设计
虚拟医疗系统的接口是设计两个部分。一个使用Vuforia SDK来实现增强现实的功能模块的虚拟医疗系统和扫描跟踪的前景。当图片扫描相机,一些3 d对象出现以上画面。另一部分使用Unity3D平台构建虚拟场景来实现三维交互式虚拟漫游的效果。
4.3。虚拟医疗系统接口开发
4.3.1。增强现实模块开发
有两个阶段来处理目标图片增强现实的发展虚拟医疗系统的模块。首先,需要设计目标图像,然后上传到Vuforia目标平台处理和评估。在识别过程中,Vuforia比较的自然特征点输入图像的数据库来确定特征点识别过程。在Valoria图像识别工作流,您需要使用Vuforia目标管理器生成一个特性识别地图的数据库。
4.3.2。虚拟现实模块开发
虚拟现实模块在虚拟医疗系统是基于Unity3D开发平台。首先,需要构建一个虚拟医学模型。这个虚拟的生产医疗模式可以用3 d Max软件和模型的纹理可以用Photoshop设计。这是一个非常沉重的工作量。需要很长时间的模型。使用3 d Max软件虚拟医疗场景,然后将完成的模型转换为Unity3D合成根据实际的比例。然后,根据预先设计的功能,相应的代码添加到实现虚拟医疗场景的漫游模块功能。
4.4。虚拟医疗系统接口测试
系统编译环境是Visual Studio 2017。用c#编写的代码和基于Unity3D平台结合Vuforia SDK。启动系统后,进入系统登录界面,点击查看系统使用方法的说明,并输入帐号和密码登录到系统,如图1。进入系统后,进入场景选择模式。有两个镜头可供选择,如图2- - - - - -4。进入现场后,您可以控制场景中的第三人称位置运动和变化的角度漫游用手指触摸,从而实现个性化的自主学习医学知识。
4.5。虚拟现实和AR技术利用在医疗行业
目前,基于“增大化现实”技术和虚拟现实技术是新兴的技术,其应用在医学领域还在实验阶段。然而,一旦应用这些技术,他们得到了极大的认可来自医学界和医疗的发展提供了巨大的动力。从图可以看出5虚拟现实的利用率和AR技术在医疗行业也在增加。虚拟现实技术已从2016年的0.05%增至2018年的0.11,增加了一倍多;AR技术已经从2016年的0.04%增加到2018年的0.1%,翻了一倍多。
4.6。赞美的VR和AR技术
由于中国的迅速发展的技术在过去的两年里,基于“增大化现实”技术和虚拟现实的技术水平也大大提高,人们承认这两种技术逐渐增加。从图可以看出6基于“增大化现实”技术的技术已从2015年的55%增至2018年的79%;因为AR技术将受到环境因素的影响,赞美的速度变得缓慢,从2016年的50%到2018年的65%。
5。结论和展望
在本文中,通过研究现有的设计理论,结合相关技术实现增强现实技术和虚拟现实技术的背景,探讨和总结了交互界面设计的理论和设计方案的增强和虚拟现实虚拟医疗系统。技术和增强现实技术应用于家庭媒体产品,和用户的沉浸感和经验是改善通过构造虚拟场景,最后虚拟医疗系统交互界面开发。
目前,基于“增大化现实”技术/虚拟现实行业仍处于起步阶段,还有不足等问题的应用,技术储备不足,数据库建设不足。例如,AR /虚拟现实产品仍有问题的便利和应用普及,和开发人员需要努力找到和技术相结合的应用。AR / VR技术,普通用户所期望的并不是一个很酷的技术经验,但一个真正的改善和提高生活质量和学习水平。当前的增强现实技术仍处于发展阶段,我们没有办法完全依靠增强现实应用程序和设备在我们的生活中。例如,虚拟现实设备容易眩晕。更糟的是,可靠的研究已经证实,虚拟现实设备引起的头晕你停止使用后可能仍然存在设备8个小时。直到现在,除了视觉和听觉,虚拟现实技术未能模拟其他三个感官(嗅觉、触觉和味觉)。与硬件市场认为,软件和内容是基于“增大化现实”技术的缺点/虚拟现实。VR / AR能真正进入消费者和实用阶段。GPU的性能需要大大提高以满足用户的需要。 For AR/VR technology to be well applied, it is necessary to build a huge virtual reality database and development tools. This is beyond the capabilities of a single enterprise. It requires the state to provide certain funding and policy support to promote the development of technology and the cultivation of the industry.
在未来,增强现实技术的发展和普及相应的显示设备,其显示方法和效果肯定会比现在有很大的进步和发展,设计和生产的影响会更真实,更符合用户的习惯,所以,人们可以得到更多的多样化和丰富的信息。
数据可用性
没有数据被用来支持本研究。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作是由辽宁省教育部科学研究资助项目(没有。JZR2019005),大连科技创新基金项目(2019号j13sn112),和指导计划,辽宁省自然科学基金(编号2019 - zd - 0352)。