文摘
心理护理已成为重要的经济和技术的快速发展。然而,最近的动作,如绿色技术,更加重视环境问题比心理护理。因此,本研究提出了一种新兴技术称为橙色计算精神护理应用。橙色的计算是指健康、幸福和physiopsychological保健计算,其重点是设计算法和系统增强身心平衡。橙色的代表颜色计算源于和谐融合的激情,爱,幸福,温暖。一个案例研究在人机互动和情感关怀是在本研究进行的辅助系统演示橙色计算的概念。该系统可以检测用户的情绪状态通过分析他们的面部表情,情绪化的言论,笑声在无处不在的环境。此外,该系统可以为用户提供相应的反馈结果。实验结果表明,该系统可以实现准确的视听平均识别率为81.8%,从而证明了系统的可行性。与传统的摄取方法相比,该系统可以更有效地提供实时分析的情感状态。
1。介绍
在过去的200年,工业革命对人类的生活方式引起了相当大的影响(1,2]。发生一系列的变化(3)快速增长的经济和技术,包括信息革命(3),第二次工业革命(4),和生物技术的发展。虽然这种进化是大大有利于人类,它造成了许多问题,如资本主义,功利主义,贫困差距,全球变暖,人口老龄化1,2]。因为最近的变化,许多人认识到这些危机,呼吁有效的解决方案5),例如,绿色运动(6),成功地创造了环境保护的意识,导致发展的绿色技术和绿色计算。然而,绿色运动并不专注于身体和精神的平衡。因此,解决方案是可行的,缩短技术和人类之间的差异是最大的问题。
1972年,不丹国王提出一个新概念,国民幸福总值(国民幸福总值)[7)来描述一个国家的生活水平,而不是使用国内生产总值(GDP)。国民幸福总值已经引起了相当大的关注,因为它测量人们的心理健康。类似的想法也提出了其他作品。例如,安德鲁·奥斯瓦德提倡幸福经济学(8通过结合经济学与其他研究领域,比如心理学和社会学。此外,一本名为“幸福”9),它是由丹尼尔·卡尼曼(2002年诺贝尔经济奖获得者科学)幸福心理学的基本原理来解释。这些理论的共同目标是提高人类的生活质量,给我们的日常生活带来更多的幸福。最近,IEEE发起了人道主义技术挑战(HTC)项目(http://www.ieeehtc.org/)[10)通过赞助资源受限的地区建立可靠的电力和医疗设施。这样的一个动作也突出了人文关怀的重要性。类似于HTC项目,英特尔支持老年服务中心技术(CAST) (http://www.agingtech.org/),它的目标是加快发展创新的医疗技术。一些学术机构应对这一趋势,随后启动医疗研究,如哈佛大学“CodeBlue”项目(11)和“计算机人机交互循环”(孩子)卡内基梅隆大学12]。灵感来自那些相关的概念(1,2,6,8- - - - - -12),本研究设计了一个研究项目来进行新的跨学科研究“橙色技术”,促进健康、幸福和人文关怀。
而不是强调环境和人类之间的关系,提出了绿色技术,橙色计算项目的目的是为了带来更多的保健和人类幸福和促进精神健康社会的福祉。
橙色的计算是一个跨学科的领域,包括计算机科学、电子工程、生物医学工程、心理学、生理学、认知科学和社会科学。橙色的研究范围计算包含以下。(1)健康和安全照顾老人、儿童和婴儿。(2)保健和灾区救灾的人。(3)照顾低收入家庭。(4)身心照顾患者生理和心理问题。(5)增强幸福指标测量和幸福。
演示橙色计算的概念,一个案例研究在人机互动和情感护理辅助系统是本研究调查。该系统能够识别人类情感通过分析面部表情和演讲。发现情绪状态超过阈值时,警报将被发送给医生或护士进行进一步的诊断和治疗。
本文的其余部分组织如下:部分2介绍了橙色的计算模型;部分3礼物的讨论一个案例研究在情感识别系统保健服务;部分4总结了该方法的性能和分析结果;最后,部分5提供的结论。
2。相关工作和橙色计算的概念
橙色计算源于卫生信息学,它包含两个研究课题:一是生理护理和心理护理。两个主题集中在提高人类的身心健康,丰富积极的情绪,最终带来更多的快乐给别人(13,14]。橙色的生理和心理护理模型计算类似于健康模型在医学专家系统(15,16),已开发和常用卫生信息学在几十年。
在医学专家系统中,当用户输入一个查询界面,系统可以自动搜索预定义知识数据库和咨询相关专家或医生。查询数据库或合并的专家意见后,系统随后回复用户提供一个适当的反应。在传统的医学专家系统、数据库查询和反馈通常涉及语义理解技术和精致的界面设计17- - - - - -19),这样用户的过程中不会感到不方便。然而,在一些telemedical保健系统,如[20.),知识数据库和反馈机制取代照顾更好的交互性。最近,专家系统已经逐渐与普适计算综合知识为基础的信息管理系统(21]。虽然这样的系统原型和模型在几项研究[22,23),他们没有被部署。然而,上述想法刺激了橙色计算的发展。
幸福的信息,或者幸福模型,是橙色的关键特征计算。类似于健康模型,模型还需要用户输入的快乐,一个预定义的数据库。输入通常是测量从生物或用户的行为,例如,面部表情,情感语音,笑声,身体姿势、步态、血压、心跳率,测量(脑电图)、心电图(ecg)和肌电图(emg) (24,25]。使用这些信息,幸福模型可以帮助用户评估他们的情绪状态在不同的应用程序。不过,很具有挑战性的,以确定的方式将这些数据和确定的情感状态(26- - - - - -28]。
3所示。案例研究
本节演示了一个技术申请日常家庭环境中的人文关怀。系统使用非接触式多通道识别技术来测量用户积极情绪的程度。识别结果可以登录到数据库并送往分析师进行进一步处理。如图1提出系统的、环境设备包括多个视听传感器,服务机器人和智能电视。机器人是一种自行式机和四个轮子作为用户和服务器之间远程代理。与用户进行交互,它配备了视听传感器、扬声器和一个触摸屏。类似于机器人,电视也可以用于与用户进行交互。
从用户环境传感器接收信号后,随后发送到数据处理服务器通过云网络。数据处理的工作流过程包括三个阶段,如下:第一和第二阶段的视听识别,最后阶段是反馈阶段。每个阶段的细节描述如下。
3.1。视觉识别
在图像处理阶段,如图2视频流被相机捕获后,Haar-like特性(29日)提取并送到演算法分类器(29日)来检测用户的面孔。随后,系统采用主动形状模型,提出了傻瓜et al。30.),模型的面部区域。因此,面部区域可以表示为一组点使用点分布模型。
小说称为“面向梯度多层直方图”的特性(MLHOGs)提出了研究生成可靠的估计面部表情特征。面向MLHOGs来自直方图的梯度(猪)31日)和面向金字塔直方图的梯度(PHOGs) [32]。让代表的像素坐标和,表示渐变指一个坐标的重量边缘的方向。面向的直方图的梯度可以表示如下: 梯度计算后,随后创建的边缘方向直方图来收集的像素数量属于一个方向。
不像金字塔的梯度直方图,集中于固定的矩形形状在一个图像,提出MLHOGs由基于对象建模感兴趣的区域(roi),如眼睛,嘴,鼻子,roi的组合。此外,每个objected-based ROI都有一个专门的分类器识别相同类型的ROI。面向多层直方图的概念例子的梯度和多层当地定向模式如图3。
类似于MLHOGs提出,我们的研究也发展一个新的纹理描述符叫做“多层本地定向模式”,提高识别率。这种多层定向模式是根据像素的边缘响应计算,基于相同的概念Jabid的特性,“当地定向模式(自民党)”(33]。不同之处在于,该方法着重于投资回报各级模式。计算多层当地定向模式列出如下: 在哪里是输入图像,意味着eight-directional Kirsch边缘面具像索贝尔算子,代表的边缘响应,代表八个方向,是边缘响应的数量在一个指定的方向。之前系统积累的边缘响应使用(3自民党),一个二元运算(33)是对生成一个不变的代码。采用one-by-eight直方图收集8个方向的边缘响应。在当地定向模式提出了多层,只有边缘反应对象感兴趣的收集,以便roi的直方图与roi。
除了直立和正面全裸的脸,这项工作也支持滚动/偏航角估计和修正。主动形状模型可以标签面部区域。相对位置、比例的面部区域和方向nonfrontal的面孔可以测量正确使用空间几何。确定方向后,对应的变换矩阵应用于nonfrontal脸姿势校正。
在图像处理的最后阶段,使用多个支持向量机(svm)分类的面部表情。每个支持向量机训练来识别一个特定的面部区域。生成的分类结果是多数投票。
3.2。音频识别
音频信号和视觉数据解密人类情感有相当大的影响。因此,检测情感语音和音频处理阶段侧重于笑声从声信号中提取情感线索。这个阶段的工作流程见图4。
首先,沉默段音频流中被使用语音活动检测(VAD)算法。随后,一个名为“平均幅度差函数”的自相关方法(AMDF) [34)是用于提取音素从声学数据信息。的AMDF可以有效地估计周期信号,演讲的主要特征,笑声和其他vowel-based nonspeech声音。的AMDF推导如下: 在哪里代表一段的声波信号,的长度是,表示时间的指数是改变长度。AMDF后()达到最小,一个音素可以通过提取指标来。
算法1表达了音节的过程确定提取音素的一个信号。
|
||||||||||||||||
在下一步中,信号划分成各自的类别,能量和频率变化作为第一标准独立演讲从vowel-based nonspeech因为光谱差异的言论在大多数情况下是相对较小的。
相对于其他vowel-based nonspeech,笑的时间模式通常展品重复。检测这样的模式,本研究使用级联滤波器,它由一个动态时间规整(DTW)过滤器(35)和一个音节判别过滤器,来计算相似性的输入数据。使用Mel-frequency cepstral系数(MFCCs),动态时间扭曲过滤器可以找到所需的信号通过匹配数据库中的样本。信号,成功地通过第一个过滤器随后输入第二个过滤器。音节判别过滤器比较每个输入序列与预定义的模式利用内积操作。当输入的分数高于阈值,输入是贴上笑声。
对情感语音识别,本研究遵循以前的作品(36- - - - - -38),从语音识别提取韵律和音色特征的情感信息的声音。表1和2显示这个系统中使用的声学特性。
除了声学特性,本研究还使用关键字定位技术来检测预定义关键字在演讲因为文本数据提供更多的情感线索比声学数据。在话语检测预定义关键字后,系统迭代计算发现关键字之间的关联程度,每个情感类别。
让表示情感类别的索引;表示句子语料库中检测到关键字的索引;指发现关键字;代表的发生在类别;表示句子包含的数量。
可以被定义为协会学位 其中的第一部分方程是权重分数,第二部分是信心的(见[39]的详细信息)。随后的文本特征向量结合声学特征向量和发送到一个标识符(演)训练和识别。
3.3。反馈机制
视听识别阶段完成后,系统会生成三个结果及其分类的分数。三个结果之一是检测到面部表情,另一个是检测到声音情感类型,另一个是笑声。分数是线性分类识别率结合相应的分类器,最后输出给用户。此外,识别结果是一天24小时登录数据库。一个用户可以浏览情感变化的曲线通过查看显示。系统还配备了telehealthcare模块。个人情感状态可以发送到家庭精神护理心理学家或精神病学家。服务机器人可以作为云系统和用户之间的一个代理,提供远程交互式接口。
4所示。实验结果
本研究做了一个实验来测试视听情感识别评估我们的系统的性能。只有积极的情绪,包括笑脸、欢笑和快乐的声音,在实验中进行测试。
500年在面部表情的评估阶段,面部图像包含微笑和nonsmiles从MPLab手动选择都数据库(http://mplab.ucsd.edu/)。SVM的核函数是径向基函数和惩罚常数经验设置为1。此外,50%的数据集是用于培训,50%是用于测试。在笑的评价识别、数据库组成的84是由声音剪辑,录音6人的话语。18这些样本84片段被人笑的声音。从所有的片段删除沉默部分后,整个数据集随后发送到系统识别。对于情感语音识别,本研究使用相同的数据库,在我们以前的工作(39]。包含快乐和nonjoyful情绪的言论是手动选择和解析获得他们的文字信息和声学特性。最后,这些特性被输入到一个演算法分类器进行训练和测试。
图5显示了我们的系统的实验结果的总结,纵轴表示准确率,横轴代表识别模块。如图,微笑检测的准确率可以达到82.5%。笑声识别的性能也可以实现一个准确率高达88.2%。与微笑和笑声识别相比,虽然情感语音识别的结果达到了74.6%,这样的表现是与这些相关的情感语音识别系统。当结合情感语音识别的测试结果,整体平均准确率能达到81.8%。
以下实验测试该系统是否能帮助:(提醒和评估他们的情绪健康照顾者地位。在实验期间,总有十个人被选定的疗养院和医院为一个星期测试系统。参与者的年龄范围从40到70岁。视听传感器安装在他们的生存空间,这样的情感可以实时获取和分析数据。隐私,传感器捕获的行为只在十点至16:00。为了避免产生偏见的数据,每个应考人并不清楚的位置传感器和测试实验的细节。此外,系统分析了数据后,医生和护士帮助课题组完成调查问卷。问卷包含十个问题,9与实验无关。剩下的问题是重要的标准,使得被试给出一个分数(一个(不高兴)列入(快乐))日常情绪。
随后调查问卷分数比估计的情感状态的系统。获得估计情感得分,该方法首先计算期间的笑脸表情,快乐的演讲,被试者的笑声。接下来,可以计算比率转换时间为一到五评定量表的基础上,测试周期。
相关测试图6显示性能提出的问卷调查方法和系统。纵轴代表了问卷调查的结果,而提出的分数系统在水平轴上市。所有受试者的样本收集。scatterness仔细检查这个数字显示,皮尔森的相关系数高达0.27。这意味着我们的方法是类似的,摄取的方法。此外,两组分数的线性回归分析反映线性率为0.33。以上研究结果表明,该方法可以允许计算机监控用户的情绪健康,随后协助护理人员提醒用户的心理状态和节省更多的人力资源。
5。结论
提出一个新的概念叫做橙色计算对健康、幸福和人文关怀。证明这个概念,一个案例研究在视听保健服务也进行情感识别系统。系统采用多通道识别技术,包括面部表情,笑声,和情感语音识别捕捉人类行为。
在面部表情识别阶段,多层的梯度直方图和多层当地定向模式提出了模型的面部特征。检测模式笑的声音,两个级联滤波器组成的动态时间扭曲过滤器和一个音节判别过滤器用于声学处理阶段。此外,当分类情感语音,系统结合了文本,音色,韵律特征来计算关联程度预定义的情感类。
三个分析进行评估提出的设计方法的识别性能。实验结果表明,我们的系统可以达到平均81.8%的准确率。关于反馈机制,真实的数据测试表明,我们的方法与摄取相关的方法。此外,两种方法之间的关联度是高达0.27。上述结果表明,该系统能够识别用户的情绪健康,从而为他们提供一个及时的提醒。
总之,橙色计算希望唤起意识到心理健康的重要性(健康、快乐和变暖所关心的),随后领导更多的人加入到运动,与他人分享快乐,最后提高社会的福利。
确认
这项工作是支持部分由国家科学委员会批准号下的中华民国100 - 2218 - e - 006 - 017。作者要感谢Yan-You陈,陈yi cheng, Wei-Kang粉丝,Chih-Hung李,大禹节水关颖珊造成实验数据和支持本研究。