文摘
Biosignal接口提供重要数据,揭示用户的身体状况,他们在医疗领域用于病人健康状况监测、医疗自动化或康复服务。生物可用于开发新内容,结合虚拟现实,中提取用户情感或测量用户体验的重要因素。biological-signal-based界面传感器设备组成的系统,一个用户界面系统,一个应用程序,该应用程序可以提取生理信号数据从多个生理信号设备和使用内容开发人员设计。网络协议是用于无约束的使用设备,这样可以自由接收生物信号通过USB,蓝牙,无线网络,一个内部系统模块。一个系统,可以同时从多个生理信号数据和提取生理信号数据提取和分析数据从virtual-reality-specific眼球追踪设备开发,开发基于虚拟现实技术的医疗内容的用户可以轻松地使用生物信号。
1。介绍
最近,虚拟现实技术已经有效地用于教育、医学、虚拟实验,和游戏相关的硬件和软件技术的发展,虚拟现实技术(1,2]。实时模拟的发展使得虚拟现实的看法类似于现实世界中,他们利用在各种研究结合用户动作(3]。此外,游戏的理论已成功地应用于各种游戏以外的其他领域,因为它允许用户通过增加他们的积极参与的动机。运动可以增加浓度和持久性允许沉浸在健身锻炼的内容通过调整难度根据人的能力4]。游戏应用于健康和健身的理论被发现在现实生活中影响用户行为的变化(5]。由于老年人口的增加和医疗费用,兴趣监测健康在日常生活和运动的一部分日常生活已经增加(6]。它成为一个令人兴奋的领域作为一个社会的健康和元素的乐趣和沉浸在虚拟的结合,增强现实技术(7]。最近,各种医疗保健内容测量用户的运动和锻炼方法已经开发出来,因为信息可以获得用户的动作游戏控制器的发展。任天堂Wii Fit发起了一项游戏,使用身体平衡使用一种特殊的控制器,并使用这种技术等领域的平衡感,锻炼,改正和康复的老年人(8,9]。微软的Kinect可以安装在用户的外部环境,和用于医疗监控10晚上因为它可以接收数据使用深度传感器和提取用户骨骼数据。因为智能手机的移动环境下总是进行开发,各种可穿戴设备也被搬上了舞台。用户自然会导致健康的生活通过直接获取用户的物理信息的可穿戴设备,更新健康信息智能手机,和测量的运动。最近,与用户交互可以通过五种感官使用虚拟现实技术,和快速仿真的虚拟信息已成为可能,同步用户动作。因为应用虚拟现实技术的内容是加强与社会和物理交互元素,他们被认为是一个新的内容区域,并提供无限发展的可能性。
Biosignal接口提供重要数据,显示用户的身体状况,他们不仅在医学领域也使用不同的其他领域。在医学领域,它们用于早期发现危险情况和疾病监测系统通过监测病人的健康状况和医疗自动化系统提供持续治疗或康复服务。方法使用生物信号进行自动测量的压力和客观数据收集取得实际成果(11,12]。生物信号接口用于传统医学系统现在可供公众后可穿戴式生理信号设备的发展。生物信号接口是用于康复、健身和运动训练等实践的方法控制呼吸或训练身体平衡(13,14]。生物信号的应用系统已超出医疗服务等其他领域教育、信息安全、人机交互(HCI)随着互联网和移动设备已成为无处不在。在人机交互领域,研究用户已经成为重要的经验。HCI专家正在调查用户内容的经验,和工业测量用户体验,解释的研究方法收集到的数据,评估内容的设计方法(15,16]。测量的生理或物理性能数据不仅可以提高我们对身体健康的理解,也有助于我们更好地理解用户的经验补充其他方法的结果。
技术,使生物信号的测量是一个基本的方法来创建医疗这方面内容的生物信号用户一样重要。生物信号作为重要的数据,可以测量的反应用户使用内容。本研究设计了一种生理信号接口系统,可用于各种应用程序使用生物信号。特别是,考虑有特殊情况使用在医疗保健内容虚拟现实头盔显示器(HMD)等设备,近年来已显著提高,使用。其余的报告是有组织的如下。节2相关研究,利用生物信号进行了讨论。节3用户界面系统的体系结构和组件解释道。节4,生物信号接口中使用的传感器和数据系统解释道。节5,结论是该系统,新的研究课题和方向进行了讨论。
2。相关的工作
生物反馈通常可以分为直接和间接两类。直接生物反馈是如身体或眼球运动的身体反应,可以根据个人意愿控制。间接生物反馈是一个身体反应,如心率(HR)或皮肤电反应(GSR)无法改变的人工干预。人类行为分析技术被广泛用于人机交互、安全监测、体育工程、智能帮助老人。确定的运动方式是什么人是一个基本的和必要的技术来监测他们的健康。侵入性传感器,测量人体运动,也使用人类活动领域的认可,和两种测量方法,包括vision-sensor-based方法和使用方法,使用可穿戴设备。尽管应用技术反映了用户的精确运动,它受到空间限制在外部摄像头必须安装。用户动作可以测量因为惯性传感器可以很容易地集成到可穿戴设备(如智能手机后,微机电系统技术的最新发展。虽然运动可以测量精度和位置取决于传感器的数量和位置,最近开发的技术水平,用户动作可以捕获17]。研究手和上肢或康复的目的进行了步态分析18,19]。研究交互式接口使用手势残疾人也被执行。眼动跟踪可以有利于身体残疾人们使用技术控制轮椅、远程监控、遥控操作。它已经被用于医学和心理学研究作为一种工具来记录和研究视觉行为(20.]。眼动跟踪是指跟踪用户的眼球运动或凝视。眼动跟踪收集重要的物理信息,允许识别用户的意图和用于广泛的心理学研究等领域,医学诊断和用户和interactive-gaze-control应用程序(21]。最近跟踪装置是基于图像和非侵入性和执行跟踪角膜反射的光线。除了视线方向和眼动模式,瞳孔大小和微眼跳的测量数据可能有助于解释用户的情感和认知状态。与视觉和运动变化的数据根据个人意愿,生物信号信息,比如用户的体温和人力资源不仅可以提供用户健康信息但还身体反应,改变根据环境变化(22]。因为无创检测,收集和处理各种类型的身体有关数据,如电,热,和身体最近产生的光信号成为可能,可以大大降低医疗费用,使可能的健康问题的预防和远程检测23]。无创生物信号的提取与微型传感器技术相互关联,导致可穿戴设备的发展。综合人工智能技术。健康监护器领域显著发展。在过去,病人生理信号监测和分析使用设备安装在医院。许多系统可以持续监测健康开发以下各种类型的可穿戴传感器技术的发展。因为测量脑电波的方法通过接触头已经足够发达方便地收集用户的脑电波信息通过无线脑电图耳机,一个用户界面的应用不仅一直在扩大医学领域也不同的其他领域,包括娱乐和虚拟现实24]。通过使用生物信号作为一个用户界面,研究控制电脑光标通过测量肌电图(EMG)与心电图(ECG)数据的病人进行25]。此外,自主神经系统的交感神经增加人力资源以应对突然和剧烈运动或恐惧和愤怒在紧急情况下,而副交感神经降低人力资源在静止状态。自主神经系统密切相关的生物信号心跳,血压,呼吸、情感、和体温。
虚拟现实技术是导致建立一个新的医疗环境和医疗技术通过使用接口;这是因为虚拟现实技术可用于可视化三维(3 d)数据和以各种方式实现与用户交互通过结合听觉,触觉,和触觉技术。医疗数据,如计算机断层扫描(CT)图像,磁共振成像(MRI), cryosection图片,3 d图像和共焦显微镜图像;因此,这些可以通过可视化分析他们监控(26]。此外,3 d数据很容易传播到一个虚拟现实系统,可以使用3 d显示可视化和分析设备,比如头盔显示器(HMD)。这些3 d数据也使用在医学教育领域的手术、牙科、和护理,等等,它们是用来设计交互式环境中使用各种设备(27]。虚拟现实技术也提供了一个新的方向在生物力学和康复,交付实际的感官体验和场景重建使用virtual-reality-based分析方法与现有的硬件措施用户的运动(28];特别是,这些技术集成和可穿戴设备、物联网技术、人工智能、云服务开发智能医疗保健服务,可以自动监测用户的健康空间使用的用户如家庭和周围的环境。
3所示。生物用户界面系统设计
在这里,我们解释生物信号系统的体系结构和层的作用和局限性。图1显示传感器的架构有三个重要的层,系统和应用程序。每一层提供了各种服务使用系统根据应用程序和要求。
第一层是由各种类型的传感器设备的电、热、化学和其他信号能被探测到的从用户的身体。大多数的传感器,例如,心电图和肌电图传感器,可以直接收集生物信号。此外,加速度计等传感器收集原始数据,可用于提取与健康相关的信息,并通过结合数据与用户的研究目的或其他生物信号,生物信号的意图可以更准确地预测。表1列出了传感器的数据,并提供了一个简短的解释提出了支持的系统。大多数传感器设备配有微处理器和函数将原始生理信号数据。设备如眼球追踪设备处理数据时连接到一台电脑。传感器设备层传输数据的生物信号处理系统是有线或无线连接。第二层是一个生物信号系统。适应的研究环境中,相当数量的不同虚拟现实可穿戴设备释放,系统被设计用来添加或删除设备用于测量不同的生命体征取决于应用程序的目的。此外,保持独立的传感器设备层,该系统包括一个接口模块之间的双向数据传输网络和控制这些设备发生,从而缩小传感器层生物信号系统。
这些系统可以在不同的构造形式,如智能手机和电脑设备,支持网络连接,如细胞,IEEE 802.11无线协议和蓝牙接口(29日]。虚拟现实的医疗保健应用程序必须支持无线通信,因为它应该能够衡量一个主题是至关重要的信号,即使自由移动。生物信号系统生物信号传输到应用程序层,但它也可以处理现有信息和传输处理过的数据。例如,即使眼球追踪模块传送相机图像数据,系统提供加工数据由跟踪或测量瞳孔大小的图像数据。应用程序层可以分为实时方法和一个长期的数据存储和分析方法根据使用生物信号的方法。实时方法时使用用户的健康状况测量和分析从UI / UX的角度,或在适当的交互应该再生实时虚拟现实的应用程序中基于用户的健康状况。长期的数据分析方法允许创建各种biological-signal-based应用程序与应用程序开发人员主要通过互联网收集信息传输到云服务器的形式或者支持网络。
4所示。生物系统
在过去,生理信号监测基本只有重要的情况下,重症监护病人的生存和恢复是必要的。然而,随着传感器技术的发展,现在利用在其他领域如心理学、运动学和现代生理学。本研究解释了生物信号获取和分析技术,可用于健康管理、康复和训练内容,结合虚拟现实技术。生理信号数据支持的提议系统表中列出1,可以获得额外的生物信号与系统网络协议的条款下。这里的医疗用支持的方法通过生物信号的测量系统和方法使用内容与虚拟现实技术的解释道。
4.1。生物数据
数据的收集和利用生物信号。生物信号测量,使用“MySignal硬件开发平台”。图2显示11生物信号传感器可以用来和救援信号可以接收来自用户的操作。每个传感器连接使用Arduino UNO和MySignals盾牌,并收集相应的数据。从每个传感器收集到的数据传输到PC的客户所要求的传感器数据通过客户端模块通过串行通信使用蓝牙低能量模块,如图3。传感器数据的结构定义不同的特点的生物传感器。客户端模块设计和实现基于网络计划和生物的特定接口硬件,如图1。然而,客户端模块提供了一个基于网络套接字接口,这样可以使用相同的接口在同一个系统内部或远程系统连接到网络上。
传播无限数量的传感器实时数据是不可能由于硬件限制Arduino UNO和MySignals盾牌。只有被请求的数据传输通过使生理信号数据激活传感器所需的客户端,如图4。因此,确保传输的基本数据和没有打断了不必要的数据传输,在计算资源,避免浪费不必要的计算。此外,传感器数据的传输的字节数是最小化。例如,在GSR传感器的情况下,实数数据得到使用电导值。如果数据传输时,至少必须传播四个字节。然而,当数据被转换为整数值使用转换公式,只需要两个字节传输。因此,传输效率是通过减少传输的数据量增加了实数数据转换成整数使用转换规则。
的体位数据使分析特定的睡眠呼吸暂停等疾病引起的运动和不宁腿综合症,他们帮助确定睡眠模式通过分析在睡眠期间的运动。体位传感器可以帮助检测老年人和体弱者秋天的晕厥或残疾人30.]。传感器可以测量的数据输入六个状态((1)仰卧位,(2),(3),(4),(5)站着还是坐着,和(6)定义),并通过收购加速度数据从一个内置三轴加速度计,可以进行额外的研究,如图5。
监测皮肤和体温是医学上非常重要,因为很多疾病伴随体温的变化特征。体温测量是一个重要的因素等领域研究心脏手术和睡眠和昼夜节律和用于监控病人状态和预测风险(31日,32]。如图6使用各种传感器,可以测量体温,如红外(IR)传感器、热敏电阻、热电偶,它可以监控没有不便给用户生活当使用可穿戴设备(33]。
肌电图诊断技术,测量和记录电活动产生的骨骼肌。EMG产生肌动电流图通过检测肌肉细胞时产生的电势电或神经激活使用肌电描记器如图7。通过分析肌动电流图,生物动力学的医疗异常或运动进行分析。肌电图是用于各种临床和生物医学测试,如诊断神经肌肉疾病或作为运动科学的研究工具。因为肌电图检测技术的发展,舒适的数据收集没有附加电极,例如,Myo产品,身体成为可能。作为一种非接触式接口,无数的技术的应用程序被期望(34,35]。
心电图是现代医学的医学测试最常用的。因为人力资源的计量单位比使用心电图和心脏活动的确切表示波形如图8人力资源、准确监测变化是可能的(36,37]。心电图中起着非常重要的作用在心脏疾病的诊断心肌缺血和梗塞晕厥、心悸。异常呼吸和呼吸速率的变化是一个广泛的主要生理指标不稳定,如图9。低氧血症和呼吸暂停症状可以通过监测诊断病人使用呼吸频率条件。
GSR的方法测量皮肤的导电性,结果取决于不同的水分,如图10。因为汗腺是由交感神经系统控制和强烈的情绪的时刻变化的电阻皮肤,皮肤电导率作为心理或生理唤起的一项指标。
血压是血液在动脉的压力时,血液在体内循环由于心跳。两个数字的记录血压收缩压和人力资源。因为高血压可以导致严重的问题,如心脏骤停,脑卒中,或肾脏疾病,它是一个重要的物理指标,必须定期检查(38]。脉搏血氧测量是一种非侵入式测量方法,显示了血红蛋白的动脉氧饱和度,如图11。它测量血液中的氧气溶解量使用两波的吸收系数,即660海里(红色光谱)和940海里(红外光谱)、基于血红蛋白和脱氧血红蛋白的检测。脉搏血氧计传感器需要分析处理、危重病人手术,恢复和评估的氧气吸收和补充氧气对急诊病人的影响。它比心电图不准确而有效的长期监测和广泛应用,因为它可以用于智能手表和腕带(39]。
Glucometer传感器可以帮助控制血糖的糖尿病患者通过测量血糖水平。糖尿病患者应该管理他们通过定期测量血糖。肺量测定法是最常见的肺功能测试肺功能检查和措施和措施的数量和速度空气可吸入和呼出。措施的呼吸能力,这是有用的评估条件如哮喘、纤维化肺,囊性纤维化和慢性阻塞性肺病。打鼾是一个主要的阻塞性睡眠呼吸暂停的症状。分析打鼾,收集的数据必须在高采样率,和大量的数据处理在大多数研究因为打鼾是分析使用的声学特征声音通过麦克风收集。系统设计在当下研究采用基于一个隐马尔可夫模型(HMM)的分析方法,提取打鼾使用压电传感器连接到脖子,如图12。短时傅里叶变换和短期能量计算和输入嗯,结果可以分为打鼾、噪音,沉默。虽然不是一个生物信号测量,准备和支持可以保证紧急病人戴一个警报,紧急按钮作为吊坠或自己的手腕。
4.2。眼球追踪数据
评估人类利益和解释眼部运动作为输入模式已经被提议作为先进的人类和计算机之间的相互作用的方法。先前的案例研究在网络可用性、市场营销、医学、电子游戏,心理学和神经学建议可以使用一个眼动跟踪。在虚拟现实内容的情况下,眼球追踪模块安装在头盔显示器,如图13,因为他们使用相同的头盔显示器的显示设备。进一步,因为戴眼球追踪设备提供更高的精度测量眼固定,对准目标,和瞳孔的扩张,它们广泛应用于心理学和认知科学研究(40]。
图14显示用户的学生从相机从红外图像传播中提取。学生提取算法的第一步发现黑暗地区红外使用二值化图像。黑暗的地区出现在好几个地方根据获得的图像在头盔显示器的状态。下一步是提取候选区域的轮廓。因为提取的轮廓不显示一个完美的学生由于形状畸变等图像噪声,进行椭圆拟合使用的初步信息,学生类似椭圆的形状。小椭圆是消除异常值删除。启发式算法应用于确定学生不能位于图像的边缘,瞳孔的大小很大和瞳孔位于中心的形象。学生数据预计使用相机的焦距和提取椭圆,和3 d矢量方向是通过投影计算的过程。可以测量用户的目光的方向使用3 d学生数据和监控瞳孔大小使用实时3 d省略号的学生。
图15显示了应用程序用于开发用户的系统,追踪眼球运动和监视photoplethysmogram (PPG)信息。一个绿点代表用户的眼球追踪头盔显示器上显示的图像。同时,PPG信号的监测。图16显示了从用户应用程序,分析了生物信号。最上面部分显示眼球位置的变化从用户传播,和圆的大小代表了瞳孔的大小的变化。底部显示了用户分的变化。用户可以同时分析许多生物信号中提取一个特定的条件下通过时间轴功能。
5。结论
Biological-signal-based系统广泛分布,分布的可穿戴设备,和他们的应用程序的范围也广。最近生理信号模块只支持可穿戴设备由每家公司提供,这一趋势并不是为研究人员提供实时生理信号数据,可以确保和保护数据。调查人员使用生理信号数据进行研究可以控制生物信号硬件本身,但控制生物信号的硬件创造内容的人是不容易的。biological-signal-based用户界面框架设计、开发和测试,对于那些想要使用生物信号创建内容。这个系统支持的研究人员调查了许多生物信号使用各种传感器设备之间的关系相辅相成,需要分析的生物信号,因为它被设计为支持许多生物硬件设备使用一个基于网络的内部接口。特别是,这个系统可以扩展到包括创建虚拟现实影响医学领域的内容,各种形式的娱乐和教育领域。
沉浸式虚拟现实内容最大化用户参与和用户可以参与移动时,和新形式的内容可以使用biological-signal-based开发用户界面系统。生理信号实时反馈可以从用户获得在用户参与内容,和用户的学习效果可以通过改变内容增加在分析元素的内容和评估生物信号。这项研究提供了一个新的机会理解人类和计算机之间的交互设计提供生物信号的系统,并尝试应用用户体验通过分析用户的生物信号和情绪之间的关系在未来的研究。用户评价的传统方法进行了利用面谈或问卷。从虚拟现实的内容在用户进行移动HMD穿,视觉的感觉和行为浸增加和大量的浓度和体力消耗。因为有巨大的心理和生理差异之前和之后进行虚拟现实的内容,它可以影响到评估过程。分析用户评估使用的生物信号,用户可以同时执行的内容正在进行。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项研究是由文化部,体育、旅游(MCST)和韩国创意内容文化机构(谈及软)技术(CT) 2017 (R2017050041_00000001)研究和发展项目。