文摘
演讲的人、听到或精神障碍需要特殊沟通协助,特别是用于医疗目的。自动语音识别和语音合成解决方案从文本贫穷适合通信在医学领域,因为他们依赖于容易出错的统计模型。系统依赖于人工文本输入是不充分的。最近推出了系统自动手语识别依赖于统计模型以及图像和动作质量。这样的系统仍在早期发展和主要基于最小手势不适用于医疗目的。此外,解决方案,依靠互联网灾后不能使用,需要人道主义援助。我们提出了一个高速,直观、免费互联网voice-free和text-free工具适合紧急医疗通信。我们的解决方案是一个pictogram-based应用程序,为个人提供了简单的沟通演讲或听力障碍或心理健康问题影响沟通,以及外国人不会说当地的语言。它提供了支持和澄清沟通通过直观的图标和互动符号,很容易在一个移动设备上使用。这样的pictogram-based沟通可以相当有效,最终让人们的生活更快乐,更容易,更安全。
1。介绍
一些作者已经确定了潜在的移动设备应用医疗需求和卫生领域。Wac [1)文献调查各种smartphone-related技术广泛使用个性化的健康信息和服务。她认为智能手机是一个关键,紧急的趋势。然而,她表示,重大进展需要智能手机应用到临床医疗实践。此外,有听力障碍的人的需要,特别是被认为是另一个领域的研究是必要的(2]。
移动设备能够很容易地和可用的今天。Susick [3)文献回顾了智能手机的潜力来改善精神卫生保健。大多数研究参与者可以使用智能手机,和参与保健提供者能够收集数据需要通过电话提供医疗服务。这个调查表明潜在的移动设备来降低壁垒,提高精神卫生保健的交付。
Luxton et al。4还观察到移动设备的广泛可用性。特别是,他们指出,双向沟通通过智能手机拥有丰富的医学应用潜力,特别是对于telemental卫生保健。除了可访问性,这可以提高医疗保健的质量和结果。然而,他们指出,很少有应用移动技术应用于这样的关心。
卡兹丁和玩厌了的5)指出,智能手机将扩大精神卫生保健超越传统心理治疗以前被忽视的群体。有巨大的潜力为移动通信设备使用短信和视觉图像来提高护理。作者指出,当前的应用程序是不成熟的。智能手机处理能力的增加将大大增强他们的潜力在未来。同样,洛夫et al。6)认为智能手机是一个具有挑战性的创新精神卫生保健交付。不幸的是,这些研究人员受限于网络可访问性和口语。即使是生活在一个“地球村”,语言鸿沟仍然是一个尚未解决的问题。全球大约有74亿公民(7)拥有68亿手机8]。此外,二十亿9这些手机是智能的设备(不包括平板电脑和智能手表)。智能手机的数量预计将上升到四十亿年的2018 (10]。到2020年,几乎每一个注册的手机将是一个聪明的设备(10]。相比之下,全世界只有十亿个人电脑(pc)。尽管大量的技术访问和技能,许多被排除在全球交流因为语言鸿沟。据安德森et al。11),超过6000种语言12)在全球范围内使用,没有统一的语言进行交流。英语仅仅是第三大最受欢迎,全球只有5.52%的人口使用的;西班牙(5.85%)和普通话(14.1%)更常见(13]。此外,只有不到40%的欧盟的公民(不包括发展中国家或东欧国家)懂英语,这使得沟通一个问题即使在欧盟(14)(见图1)。
虽然技术进步指数、自动翻译服务仍然依赖于网络。他们需要巨大的计算能力,他们的统计基础不能防止错误。在医疗援助,错误是不能接受的。需要许多研究在语音识别、机器翻译、或语音(TTS)系统是足够用于医疗目的的帮助没有人类的主持人。
作为替代,我们建议象形图的通用语言。显然,它不会完全取代正常的口语交流。然而,我们相信,象形图可能是唯一的方法快速、有效的病人和医生之间的通信在某些情况下。此外,象形图已经证明有效的沟通有认知障碍的人。本研究提出了一种原型沟通援助。
2。审查目前的技术
需要沟通有听觉障碍的人艾滋病或听力障碍。澳大利亚政府报告(15)标识三个类别的现有技术援助这些人通过电话或互联网:监听设备,基于文本的技术,基于网络的视频会议技术。基于语音的艾滋病,如监听设备,仅限于语音放大和澄清,减少潜在用户受益于他们的数量。Noblin et al。16)确定老年人不愿使用远程精神病治疗服务由于其听力障碍。
基于文本的技术包括TTS语音识别,和电话打字机(TTY)设备。所需的特殊设备老遥控技术。TTS和语音识别技术改善了在过去的几十年里,和一些沟通艾滋病基于这些技术目前可用。例如,虚拟语音应用Android智能手机(17)使用TTS和语音识别来帮助有听力障碍的用户通过电话与别人交流不需要手语和唇读。有听力障碍的用户输入文本他们希望沟通,和应用程序使用智能手机的TTS能力说话。在另一个方向,这个应用程序使用手机的语音识别功能,以一个来电者的声音转化为文本提供给用户。应用提供了大的,可读的文本,支持智能手机配置的任何语言。此外,一些公司还提供了一个人类语音的翻译服务。汉密尔顿CapTel智能手机应用程序(继电器)使用人力中介在呼叫中心语音来电的话翻译成文本字幕有听力障碍的用户。标题显示在用户的电话。这些文本通信艾滋病取决于用户有足够的认知能力和人类的中介。
所使用的基于网络的视频会议有时有听觉障碍的人,特别是那些使用手语(15]。视频中继服务(工具)与听力障碍使得用户使用美国手语(ASL)与人类通信助理(CA)通过视频(委员会)。CA继电器有听力障碍的用户之间的信息和一个声音电话用户。在Skype Auslan服务提供了一个人类的工具。紫色的通信提供了P3手机应用程序和PC软件,支持工具为iphone和Android智能手机(委员会)。索伦森通信提供了一个类似的应用程序和服务叫做ntouch(通信)。还有其他的由其他供应商提供这样的服务。一些国家的政府也提供类似的服务,如国家继电器服务(NRS)在澳大利亚(服务)。然而,关系,主要是通过TTY设备可用。
相当多的研究一直在进行手势识别和翻译(例如,美国手语的手势)。然而,手势识别需要特殊设备(例如,摄像机或手套戴的手势用户),只支持单向通信,依赖于容易出错的统计模型。Foong et al。17)开发了一个原型”的标志声音”系统,自动识别通用手势使用神经网络和符号转换为声音输出。Vutinuntakasame et al。18)提出了一个系统,识别手势并将其转换为声音。然而,验证系统功能很有限。最近,在匈牙利计算机和自动化研究所开发了InterpreterGlove [19,20.),将手语手势转换为声音。InterpreterGlove助攻手语使用者在与他人交流21]。学生在印度开发数字手套能让声音障碍患者口服与人沟通通过手势翻译成语音和文本(22]。Bhat et al。23)开发出一种技术将不同的手势,包括印度的符号语言,文本和语音使用flex传感器放在手手套结合蓝牙无线网络和手机。这一技术旨在帮助患者演讲或听力障碍或瘫痪。
一些研究人员已经认识到潜在的使用象形图分享服务为医疗应用和弱势群体用户通信。例如,说话了!应用程序(24)支持使用Android平板电脑和智能手机上象形图进行交流沟通。这是专为儿童语言交流的困难(例如,自闭症儿童)。软件附带了一组基本的主题分组象形图,用户可以添加。用户可以组装一系列象形图。听起来与象形图(例如,字)可以由软件(25]。
这是一个商业有声音障碍的移动应用程序,允许用户与他人沟通使用象形图(26]。它运行在苹果看,iPhone和iPad。该应用目前只能用英语。用户可以创建一系列象形图和生产相关的单词或词组的声音使用TTS象形图。
iPicto应用(27在iPhone和iPad上运行),允许用户使用象形图与认知障碍与别人沟通。文本单词可以混合象形图和通过电子邮件发送。
使用这些方法有些问题紧急医疗交流的人听到,演讲,或认知障碍。听力设备语音增强依靠某种程度的听力能力。传统TTY需要用户有特殊设备可用。其他基于文本的沟通方法要求较高的认知能力。各种基于网络的视频会议系统依靠听觉,演讲,或知识的手语。工具和一些文本通信服务需要一个人类的中介。此外,基于文本的沟通可以是缓慢的。这些缺点使这些方法不适合医疗领域。
语音识别、语音合成和手势识别依赖于容易出错的统计模型,不适合紧急医疗通信。手势识别也依赖质量和姿态,在视频中识别,图像质量。Glove-based手势识别需要使用一个特殊的设备。有些方法需要用户知道手语。
相比之下,pictogram-based通信系统已经成功应用于其他领域,供孩子使用。这些系统已被证明是更准确的在某些情况下跨语言和跨文化的沟通方式。研究人员在28日本550年)发展出了一套象形图对外国学生和跨语言交际使用他们的系统上进行了成功的试验。意思是由83%的人完全理解聊天只使用象形图。同一研究小组还进行了研究跨语言差异pictogram-based聊天系统(29日]。他们仔细检查了象形图的分类和选择。实验进行了九次国际会议在美国,越南,和葡萄牙人之间不共享相同的语言,母语,或文化。结果表明,理解的程度是91.1%。象形图足以让沟通交流上的重大进步。
的作者(30.]关注pictogram-based即时通讯服务,来弥合社会和数字认知障碍的患者之间的差距。通过使用象形图作为沟通语言和定制接口适合pictogram-based通信需求,服务允许用户在互联网上实时消息交换沟通与他们的朋友和亲戚来参加婚礼。初步研究和一群11用户提供不同类型和程度的认知障碍表明pictogram-based即时通讯服务具有巨大的潜力来改善沟通,使个人和社会发展。然而,他们的系统是有限的认知障碍,评估小组是非常小的。
PictNet是一个在线象形图通信系统为来自不同国家的儿童设计与多语言支持,反映出每个用户的文化背景。网络象形图的调查和实验象形图创建活动的孩子显示,用户可以搜索象形图更容易的象形图存储库有一个语义框架不仅PictNet概念之间的关系,但也象形图的视觉属性和文化之间的关系和情感的象形图(31日]。
总之,几pictogram-based系统已经开发出来。然而,当前系统往往是复杂的(通过努力成为一个普遍的沟通方式),结合文本单词和符号或一组复杂的符号,从而使智障人或感知越来越慢的人眼睛的问题。其他象形图方法符号转换成输出文本或声音。这延迟通信(清晰、直观的图片处理由人类更快),可能需要一个或两个用户拥有正常听力的能力。此外,我们没有发现pictogram-based通信系统专门为医疗应用程序。Pictogram-based沟通似乎有前途的供个人使用的演讲,听力,或认知障碍。视觉符号可以直观的沟通方式,是独立于用户的语言,原产国,人与他们交流。象形图不需要专门的语言知识(如美国手语),专用设备(例如,TTY设备或数字手套),或翻译的水平(例如,如工具)。如果设计是简单的,只有使用符号,这样pictogram-based通信可以提供很多好处。在这个研究中,我们提出一个pictogram-based传播者为但不限于一个smartwatch而设计的。 Using a smartwatch is faster and more convenient than using a tablet or phone. In addition, the device is fastened to person’s hand and allows medical personnel to quickly collect information in an emergency situation even if the patient is unconscious. Our prototype is limited to the first aid domain and makes a small number of pictograms faster to process by humans, especially disabled people. The prototype also makes human-device interaction as intuitive as possible.
3所示。医患沟通的原型
探索pictogram-based病人和医生之间的交流,我们开发了一个概念性的原型并进行了可用性和可访问性测试来完善其设计(32]。我们的原型是一个智能表应用程序(也可用与智能手机和平板电脑)艾滋病外来语言或演讲的人,听力,或认知障碍相关医疗信息的医生交流。它提供了简单、清晰的沟通通过直观的图标和互动的象征。他们很容易找到智能手表,易于访问和难于错位。
这样的应用程序将为许多用户具有明显的益处。例如,一个人有认知障碍或障碍可以快速且轻松地使用简单的图标来传达基本信息伤害,情感,疼痛级别,或医务人员的基本需要。同样,医务人员可以使用此应用程序来帮助那些受伤或瘫痪。快速,简单,简单,直观的沟通是必要的,尤其是在紧急医疗情况。
迭代的纸上原型开发和评估按照阿尔伯特和Tullis[描述的过程33设计应用程序。这个方法创建屏幕混合粗糙或手草图所评价的用户。这些早期的可用性和可访问性测试帮助建立了一个设计医患沟通对我们的原型(34]。应用程序有四个基本部分,如图2,沟通需要医疗援助(创可贴)、情绪或情感(笑脸),饮食和过敏性问题(苹果),和一个聊天功能(上门服务气球)。这些象形图提供了一个非常简单的、易于使用的接口。每个应用程序功能的图形表示为各种功能使用图像作为直观的符号。应用程序也使用一个非常简单的,有吸引力的布局以冷静的配色方案(避免眼睛疲劳)和高度可有视觉问题的人。
简单的应用程序导航符号,如箭,让用户轻松跨越应用程序来找到他们的目标内容。导航和附加功能如图3。其他符号,这个数字表明,用户需要洗澡(淋浴),其他(床),或运动(人走)。
图4屏幕显示了一个例子,当用户选择饮食功能。这个符号表示用户饿了,需要吃。其他符号可以用来表明过敏或其他与饮食相关的问题。
图5显示了一个屏幕,使一个人显示细节的痛苦经历。用户可以选择他们身体的一部分经历疼痛。他们也可以选择痛苦的水平。这是常见的方法医务人员目前使用引起疼痛来自病人的信息。
屏幕显示的情绪或情感图所示6。用户可以选择一个表情符号(在当今世界现今普遍的)交流这些信息来医务人员。
4所示。结果
医患沟通的初步可用性评价原型进行在线和50个随机不同年龄和性别的人。找到参与者,我们使用Ankieka的服务。pl门户。我们没有使用验收或排除标准,所以每个人或他们的照顾者可以参加实验。然而,它是必要的,以提供关于残疾的一般信息。视觉模拟(35)和富士通的颜色选择器(36]工具确保了应用程序设计将可以访问几乎所有人。参与者的问卷,我们要求性别,国籍,年龄,残疾。我们要求被试完成三个任务。在任务1中,参与者必须使用我们的原型,以表明他们需要休息。在任务2中,他们必须显示介质的左腿疼痛。最后,在任务3中,他们必须表明他们饿了。每个任务后,原型决定是否成功完成任务,每个任务所需的时间,并要求参与者的主观感受的难度和直觉的任务。应用程序运行良好。下面我们总结反馈。
50的参与者中,有56%是男性。所有年龄组的比例最低的是< 16岁的范畴。最普遍的年龄类别是17-25岁组,如图7。
在最普遍的年龄段,有79%是男性。最高的女性表示在> 65岁类别,86%是女性(图8)。
最大的国籍代表波兰,所有用户的40%。与此一致的是,波兰领导绝大多数比例在每个年龄类别。百分之六十的用户宣布残疾;57%的男性和64%的女性表示,他们有一个残疾(图9)。
残疾的比例最高声明< 16岁类别,75%;这是> 65类别以71%紧随其后。最健康的年龄组26-40年,58%表示没有残疾。在波兰40%的用户中,50%表示,他们没有残疾。波兰的用户,20%的人宣称他们没有残疾。残疾的最高百分比的困难“心理健康”和“盲/半盲”类别,各为33%。参与者有心理健康障碍、自闭症和双相情感障碍是最普遍,各为34%。在视觉障碍患者中,40%有远视,30%有黄斑变性和20%有色觉缺陷,其中红色盲和绿色盲(50%的数字10,11,12)。
所有的用户中,96%能够成功完成三个任务;92%毫不费力地完成了任务。(100%)失败的任务都是由用户有学习障碍。三个任务,比例最高的时间完成31-60秒(表1,2,3)。
等级1 - 5,5代表非常简单,每个任务的最高百分比被评为4或5,重要的利润。四个额外的语句向用户提供类似的尺度上哪一个表示强烈反对和五个代表强烈同意。当被问及如果用户立即理解每个按钮的功能,50%额定这方面4,42%额定5。第二个语句是“按钮被组织良好,容易找到。“评级4和图5分别获得48%。第三个声明是“应用程序很容易导航。“5的评级是最常见(66%),而28%的参与者选择了一个评级为4。最后声明“我的应用程序的总体印象是正面的。“再一次,66%的用户强烈同意;32%额定在4。
四个额外的问题被要求的用户。这些都是在1 - 5,其中1表示“强烈反对”,5表示“强烈同意”(表4和5)。(我)声明,我立刻明白了每个按钮的功能。(2)声明2按钮被组织良好,容易找到。(3)声明第三应用程序很容易导航。(iv)我声明应用程序的总体印象是正面的。
5。讨论和结论
使人们交流有语言困难或障碍的医疗信息的医生和其他医务人员是一个相当大的挑战。沟通必须快速、准确、简单,直观。艾滋病的医学沟通缺乏。现有的通用解决方案有一些缺点。他们经常需要一些听力或高认知能力。一些需要特殊设备或人类的中介机构。许多人缓慢的通讯手段。一些方法依赖于不完美的容易出错的统计模型。当前pictogram-based方法是复杂的,有许多相同的缺点;最重要的是,他们不是用于医疗目的。
我们建议的方法利用视觉传达的力量。这是快速、简单、直观和专门为紧急医疗应用程序。没有知识或技能的手语或手势是必要的,也不讲话,听力,或高认知能力。可用性的初步审查我们的原型已经证明了这种方法的潜力。
在结论中,应用程序运行良好,不管年龄,性别,国籍,或残疾。没有相关的担忧或校正。整体的所有用户的反馈是非常积极的。应用程序可用性在智能手表增加了可访问性。用户随时方便地访问它;因为智能表附加到人的手腕,更难失去和更少的麻烦比智能手机访问。这样的应用程序也可以包含医学医师相关信息可读的文本。如果智能手表有适当的传感器,自动通信可能如果病人已经崩溃。使用象形图的视觉传达技术似乎是一个很好的,很简单,直接和直观的为用户提供语音,听力,或认知障碍。人们可以很快理解良好的视觉沟通。 “A picture is worth a thousand words” is an established maxim in human experience that has been validated by research. Visual images are processed 60,000 times faster than text [37]。图形也迅速地影响我们的情绪,情绪极大地影响我们的决策38]。
我们研究的未来方向是应用程序的功能的扩展与医务人员合作。此外,我们设想进行可用性测试与医务人员和患者的演讲,听力,和认知障碍的评估和改进设计。最后,象形图分析是必要的,以确保他们同样很容易理解和解释在不同的文化。
的利益冲突
作者宣称没有利益冲突有关的出版。