文摘
在无人驾驶车辆所有人愿意接收每个服务。,该系统必须知道人的情绪或压力的状态,和了解人的状态,通过分析人的生物信息。在本文中,我们提出一个系统使用脑电图推断情感,脉搏、血压(收缩压和舒张压)的用户,和推荐的颜色和音乐的情绪状态对无人驾驶车辆的用户为用户服务。提出系统设计四个情感信息分类(稳定、放松、紧张和兴奋)通过使用脑电图数据来推断和分类根据用户的情绪状态的压力。支持向量机算法用于分类生物信息根据压力指数使用脑波数据的模糊控制系统,脉搏和血压数据。当80%的数据得知根据训练数据的比例使用SVM算法分类EEG,血压和脉搏率数据库在生物的情感信息,86.1%的最高性能。压力指数的生物信息分类系统的基础上提出了将有助于研究人类和计算机之间的交互(HCI)的第四次工业革命感情色彩和情感分类声音根据用户的情感预期。
1。介绍
近年来,一个叫做情感的新未来科技出现了人工智能(AI)由于第四次工业革命时代的进步。尤其是基于ai的情感计算技术,它可以解释和分析人类情感,迅速推进由于融合的信息和通信技术(ICT)和认知科学领域(1,2]。因此,人机界面(HCI)技术变得越来越重要,而随着人机交互的研究进展,研究正越来越多地在计算机上进行反应基于情感推理或用户的意图,而不是电脑反应引起的直接输入用户(3]。尤其是脑机接口(BCI)技术分析、命令、或控制脑电图(EEG)信号在频域,以人类的头皮。各种研究提供人类和计算机之间的交互进行了融合用户的情感信息和环境信息基于BCI技术(4,5]。情感是人类的认知能力和外部感官刺激的反应。人类的情感反应根据各种社会和文化因素相应的各种情绪和感觉。情感识别技术是智能决策的一种方法,可以使适当的行为通过提取信息,比如面部表情或肢体语言基于情感的用户数据6]。因此,它是非常重要的对计算机情感识别能力来处理人类情感通过学习和适应,以更有效地处理人类和计算机之间的相互作用。在现代社会中,精神压力等各种工作压力、人际关系的冲突,和金融问题已经成为社会问题,被积极努力提高身体和心理的生活质量(7]。因此,它是重要的测量情绪压力水平的用户通过使用脑电图和生物客观数值的心理状态,和努力来缓解这种压力,认识到随后的生理变化是必要的。颜色和音乐是在短时间内形成的,在内存中持续很长时间,他们可以在理解和分析人类情感中起到至关重要的作用。因此,本研究旨在设计一个系统,推断用户的情感通过使用生物识别技术,如脑电图、脉搏、和血压(收缩压和舒张压),建议颜色和音乐基于用户的情绪状态,即。,压力指数。系统提出了由学习和模式识别用户的情感反应出现根据用户的情绪状态和分类根据压力指数的生物的情感信息。模糊系统设计通过使用脑电图数据分类生物识别技术为生物情感信息根据压力指数。此外,它被设计用来产生脉搏和血压(收缩压和舒张压)数据分别在单包,发送到数据库。因此,收购后的生物识别技术,生物识别情感信息分类根据压力指数通过支持向量机(SVM)算法。一般来说,各种学习算法应用于决策支持系统。然而,这项研究中使用的生物特征数据包括脑电图,脉冲重复频率,和血压(收缩压和舒张压)数据,具有非线性数据结构,支持向量机算法用于解决非线性歧视问题在一个多层感知器结构。 Depending on the classified stress emotion, the data corresponding to the color and music values are classified. This paper is organized as follows. Section2讨论了相关研究,以及部分3描述了系统配置和设计。随后,部分4介绍了绩效评估和实验结果。最后,部分5论述了研究的结论和未来的研究方向。
2。相关研究
2.1。认知科学
认知科学研究人类和动物的认知过程,如知觉、语言、学习、和情绪。在这个领域,技术研究了应用这些认知过程的发展机器人,电子产品,建筑等等8,9]。最近,随着认知科学已经开始吸引关注,研究正在进行检测,各种类型的信号的处理和分析所产生的身体活动。特别是,大脑的结构和功能的研究正在积极开展。这些研究利用各种生物识别技术不仅医疗诊断,而且考试人的认知和情绪状态通过分析通过一定的算法。
2.2。情感上的工程
情绪是高层次的心理体验发生在人们通过感官和认知来响应外部物理刺激。这些都是发生在often-changing心理影响人们由于复杂的感情,如舒适、快乐,不安和不适。这些情绪和情感连接到表达行为在情感反应和生理变化。此外,他们是一个动态方面的思想。情绪和情感工程领域,研究在实践中处理它们。这结合了人类心理反应及其相关领域的应用,如人类工程学、认知科学、行为科学、务实的美学和环境心理学(10]。人们心理状态的变化表达外部形式的情感或情绪。在过去,人们的心理状态和情绪主要是分析和使用作为医学诊断和治疗的临床资料。然而,他们目前使用在各种各样的领域,如建筑合并心理治疗艺术反映情感和自动照明,汽车,防止瞌睡,机器人理解和应对人类的感情。研究人员正在研究情感智能计算机技术,能理解心理状态,情感,和情绪。情感智能计算允许计算机识别人们的感觉和情绪和适合的情况下执行操作。这需要自治系统能够根据以往的知识或执行适当操作当前的心理状态。最近,当可穿戴计算技术的发展,它能够测量生物如脑电图(EEG)、电描记术(EMG)、心电图(ECG),和皮肤电反应(GSR)更准确地说,和生产改进识别结果对受试者的精神状态、情绪和生理状态(11]。
2.3。Biobased情感认知技术的趋势
一般来说,觉得可以区分人的情感中枢神经系统和自主神经系统的反应,即。信息,如心电图、脑电图、皮肤温度(sk电讯)和GSR。biosignal情感识别技术,研究了到目前为止,可分为研究使用统计方法和那些使用机器学习的方法。研究基于规则的技术分析,许多生物和提取情感表达情感的功能。阈值,对应于每个情感规则集,根据这些阈值和情绪进行分类。情感识别使用机器学习的方法都是基于技术如神经网络(NN),支持向量机(SVM),再(资讯),多层感知器(MLP),高斯混合模型(GMM),决策树(DT)和Baysian网络(BN) [12- - - - - -14]。biosignal学习,需要收集大量的特征数据和执行情感识别所需的培训。因此,收集特性的数据量和可靠性有重大影响后续识别系统的性能。然而,大多数情感识别系统,研究了目前使用的数据和夸张的情绪。因为它很容易人为获取学习资料,包括情感,这是一个主要因素,降低情感识别系统在实际情况下的性能。因此,可靠的生物特征数据的收集biosignal-based情感识别被认为是必要的。然而,在biosignal收集,用户的情绪状态可以很容易地根据环境条件变化或用户的心理状态,很难完全意识到用户的基于单个biosignal情绪。因此,而不是使用只有一个biosignal情感识别,研究人员正在调查方法,结合使用几种生物或使用额外的情感测量指标,如声音和面部表情。使用脑波情感识别技术是生物技术中最活跃的研究领域之一。与其他生物不同,脑波显示中枢神经系统的状态。 The alpha and beta waves that occur according to the state of brain activity are known to be related to emotion. Alpha waves generally indicate a stable or relaxed state, and these increase during positive emotions. On the other hand, beta waves increase during negative emotional states [14]。除了脑电波、自主神经系统反应发生在命令来自大脑,这些表明身体变化当一个人感到惊讶或遇到危险。这些反应包括心脏快速跳动,面部肌肉僵硬,手掌和脖子后面的出汗,体温的变化或在身体的某些部位的温度。这些身体的变化是由自主神经系统控制,因此可以推断从生物情绪状态检测自主神经系统反应。生物,可以测量自主神经系统的反应包括心电图后,肌电图,GSR, sk电讯。研究使用心率变异性(HRV)和心率(HR)认识到情绪。低心率显示一个放松的状态,和高心率可以显示压力、挫折和不满。因此,心率通常用于数据分析。情感可分为通过计算HRV的心跳和提取功能。然而,很难准确识别情绪从心跳独自15]。情感识别通过肌电图主要由研究情绪的识别面部肌肉的运动。面部肌肉的运动可以测量通过肌电图的脸,这可以用来测量高压紧张等等,和认识情感。紧张/唤醒状态,肌电图增加,而以一种轻松的状态下降。然而,肌肉紧张的绝对水平是不同的根据测量的部分肌肉。因此,这个信号需要精确测量。GSR本质上指的是皮肤的导电性,从而增加当汗水在皮肤上。这可以作为一个指示器的刺激或压力。GSR振幅增加在兴奋或负面情绪。反应速度(延迟)期间快速敏感的刺激。 The reaction sensitivity (slope) is large during sudden or sensitive stimulation. Therefore, GSR can be used as a good indicator for measuring negative emotions. SKT is different from body temperature, in that it is a temperature index for certain body parts. This is not a normal core biosignal indicator, but it can be used as a slow indicator of changes in emotional states. It is significantly affected by external environmental factors. In general, when the amplitude of the SKT signal is large, this indicates relaxed and pleasant positive emotions. When it is small, this indicates tense or uncomfortable negative emotions. Recently, there has been a sudden interest in many different fields in attempts to monitor image, voice, biometric, brainwave, and body data and extract emotions to provide emotional application services. Emotional application service technology is evolving, and exhibits significant potential for use in a variety of fields, such as entertainment, healthcare, market analysis, online education, automobiles, customer marketing, and general home use.
2.4。压力和生物信息
先前的研究已经使用生物识别方法的应力状态。等他。16),希利和皮卡德(17],荣格和尹18)收集生物从工人、司机和老年人,分别评估压力水平。Setz et al。19),所以et al。20.],Kurniawan et al。21)进行测试,要求学习能力创造实验环境,然后确定应力状态。然而,这些先前的研究是有限的,因为他们认为后验状态的识别,和没有考虑组合的特性适合使用情绪缓解压力。在这一章,先前的研究使用生物应力状态的识别上列出他们的目的,他们使用的生物,他们的分析技术,如表所示1。先前的研究已经确定了应力状态的组合使用各种生物如人力资源、GSR,心电图,肌电图,脑波。其中,心跳数据通常用于识别压力。然而,由于心跳变化可能发生在各种情况下除了压力,这是与其他数据结合使用22]。太阳et al。23)使用心跳GSR和加速度计数据确定应力在体育活动。然而,由于GSR比其他生物更敏感的运动,很难获得准确的数据的情况下的运动。Kurniawan等人使用语音数据进行实验分析,说的话主题和识别压力(21]。Setz等人的研究,所以et al .,受试者被要求在测试所需的学习功能创建实验环境。通过这种方式,先前的研究已经充分面对困难压力测量和分析用户不使用各种各样的生物识别技术。此外,强调使用生物识别技术研究的目标只集中在测量和分析。因此,缺乏研究通过生物识别技术测量压力和情绪。本研究认为以前的工作的局限性,采用用户生物识别技术,如脑电波、脉搏、和血压(收缩压和舒张压)。此外,它提出了一个系统,使用生物识别用户的应力状态和推断情绪,建议颜色和声音根据用户的情绪状态,即。,他们的压力指数。
3所示。系统配置和设计
来推断和分类用户的情绪状态根据用户的压力,本研究设计了一个模糊系统通过使用脑电图数据获取后脑电图,脉冲重复频率,从传感器和血压,脉搏和血压(收缩压和舒张压)数据是分开生产的单包和发送到数据库。支持向量机算法用于生物识别情感信息分类根据压力指数通过脑电图,脉搏和血压数据的模糊控制系统。生物情感信息分为颜色值对应于基于20颜色的情绪情感模型选择通过惠普的颜色的含义,“至于音乐,音乐作品所提供的“三星”音乐疗法是收集、分类和使用(27]。图1显示系统的配置图提出了本文进行情感分类和推荐基于生物识别技术和压力指数。
本研究设计了一个模糊系统分类生物情感信息根据用户的压力指数通过脑电图数据。压力所表达的情感信息模糊控制系统可以分为四种类型:稳定、放松,紧张,兴奋。BIOPAC议员150是用于测量用户的脑电图和测量是根据10 - 20进行国际体系电极放置的28,29日]。进行测量时,取样是在256 Hz的脑电图数据,经过60 Hz的陷波滤波器的硬件。抽样数据过滤在频带0.5 -50 Hz。分析EEG数据,数据60年代,这被认为是稳态分析脑电图的分析部分,使用不含每个30年代开始和结束的一部分。首先,EEG数据,数据在时域,被转换成频域通过使用快速傅里叶变换,如方程所示(1),以便对它们进行分析。
每个频率提取的绝对规模,数据转换成频域通过傅里叶变换的过程。此外,功率谱分析方法是用于比较和分析30.]。功率谱分析方法是一种广泛使用的分析方法在许多领域包括生物。根据表达方法,它分为单面和双面。单面显示0和积极的频域,双面显示频域的{负0积极}。本研究获得的绝对值带频率的功率谱 , , ,和通过使用单面功率谱分析方法。傅里叶逆变换是情商所示。2)
在获得双方的绝对值方程(2),如果它们的平方,添加,然后方程(3)是诱导。在这里,它可以证实的平方的总和信号受到的傅里叶变换是一样的原始信号的平方的总和。在这里,傅里叶变换的总和或原始信号的平方的总和称为总功率值。换句话说,它表明,总功率值是相同的频率空间和时间空间。这叫做帕定理(31日]。
单面频谱分析方法满足帕定理所示
本研究中提取的绝对的功率谱值θ(4 - 8 Hz),α(8 - 14 Hz),β(14-30 Hz),通过单面和γ(30 - 50 Hz)域功率谱分析,并使用它作为一个模糊控制系统的输入值对情感进行分类。
分类用户的情绪,应该由量化模糊模型的物理信息,可以识别用户的情感从脑电图数据。为此,相关的 , , ,和值,即。,the absolute power values acquired from the user with the user emotion, was investigated to define the rules. Then, the fuzzy model was implemented as shown in Figure2。换句话说,生物识别情感分类(稳定、放松、紧张和兴奋)是由应用四个使用绝对权力价值观模糊规则 , , ,和从脑电图数据获得用户的输入值。模糊控制规则表示为语言控制规则“如果Ai Bi”格式。创建一组控制规则,多个规则是收集并通过一个基于规则的推理,一个输出值。表2显示了模糊条件表达输出值根据输入变量通过脑电图数据。
去模糊化指的是一个模糊量转换结果的过程,也就是从模糊推理获得,代表值。在这项研究中,重心法用于模糊推理(32,33]。方程(5)显示了四个模糊规则推理条件的输出函数。
测量脉搏和血压数据的用户,本研究利用ZigBee无线传感器网络。无线个域网内部IEEE 802.15.4指的是一个提供服务的短距离无线通信技术,侧重于应用程序需要低功耗、低速度、低成本(34]。传感器模块整合的脉搏和血压传感器被用来获取数据。此外,测量的数据使用一个终极平台系列作为过程,MSP430单片机和CC256XQFNEM。如果脉搏和血压数据分别在单包生产和使用,基于额外能量消耗流量和数据传输。因此,他们被捆绑在一个包,然后发送到数据库。图3显示了感觉到生物的结构数据。味精显示生物信息的类型,使孤立脉冲重复频率的类型,即。,收缩压或舒张压。GroupID显示了传感器信息和每个传感器都有一个GroupID。时间戳是传感器测量数据的时候。阅读表达了实际测量数据值在十六进制2字节。
各种学习算法用于匹配根据压力指数的生物的情感信息。然而,本研究使用支持向量机算法,可以解决多层感知器结构的非线性歧视问题因为脑电图,脉搏和血压数据用于这项研究由非线性数据结构。支持向量机算法的目标是找到一个分类边界通过最大化最接近观测值之间的差额(支持向量)两类。此外,即使线性分离困难,使用非线性超平面分类是通过通过核函数,因此,用于不同的领域,如生物、图像和文字识别。为了优化学习数据的性能水平,大多数传统的模式识别方法是基于风险最小化的方法。的支持向量机算法,它是基于结构风险最小化方法的错误分类的概率数据有固定但未知的概率分布(35]。当数据不能线性分离像本研究的数据,即。,when they have a pattern that cannot be completely separated because they are overlapped with each other at the linear separation boundary, a slack variable考虑使用不正确的分类,如方程式所示。(6)和(7)
然而,C是一种交换参数和拉格朗日函数表达的吗
上面的方程(8)可以转化为方程式。(9)和(10)通过应用拉格朗日优化方法。
如果上面的方程,一个决策函数,如情商所示。(11
二进制分类的支持向量机算法开发了许多困难当解决问题在实际环境中,许多类one-against-all和one-against-one方法。其中,由one-against-one方法当数量的支持向量机算法k类是输入。此外,各自学习数据,由数据显示两组他们属于,随着学习数据很小数量的执行学习时,学习速度快(35,36]。因此,本研究的实验使用one-against-one方法改善学习性能和由SVM算法如表所示3。
为各种各样的情绪可以表达根据外部环境,是有效使用预定义情感色彩和音乐。因此,情感分类的颜色,本研究选择20颜色情感模型作为代表元素从惠普的“颜色的意义。“通过惠普的颜色表和情感词汇匹配结果调查在这项研究中,基于普通的情感词汇进行分类,如表所示4。
本研究分类相对应的颜色和音乐生物情感信息根据压力指数通过使用波长,这是一个情感信息的共同特征,颜色和声音。波长和频率成反比关系在物理和数学,它们可以互相转换的数学。基于C(音阶),与波长的关系比D和E是1:4/5:2/3。这个比例是一致的三原色各自的波长的比值,即:、红、绿、蓝色:650 nm、520 nm和433 nm。因此,C, D, E是类似于三个主要的颜色,可用于创建无数颜色通过适当的混合。因此,如果波长比dodecatonic规模基于平均律顺序对应颜色的频率,可以创建组合的三个主要的颜色,颜色和声音可以链接(37]。
通过分析颜色测量值和音乐的音阶,最佳的颜色和音乐列表对应于生物识别情绪信息是根据压力指数决定的。音乐,这是一个重要的情感信息理解与分析情绪,可以治愈用户的情绪,缓解压力。因此,推荐音乐基于生物识别情绪状态根据压力指数,这项研究由音乐列表根据收集到的数据从“三星”音乐疗法。表5将生物情感信息根据压力指数和显示相应的颜色和音乐的分类。
4所示。绩效评估和实验结果
在这项研究中,实验通过脑电图、脉搏和血压作为输入数据分类根据压力指数的生物的情感信息。表6分类四个州(稳定、放松,紧张和兴奋)基于生物识别情感信息的分类标准根据压力指数(38,39]。
本研究采用SVM算法设计和评估的分类各自的情绪。支持向量机算法是一个分类算法决定了歧视边界为了最大的歧视边界和每个类之间的距离。内核的支持向量机算法用于研究径向基函数内核;内核的半径设置为1,SVM算法的边缘设置为1 (40,41]。图4显示分类的精度结果根据四种生物通过SVM算法的情感信息。当80%的数据了解到学习的比率数据显示,86.1%的最高性能。此外,表7显示误差矩阵时80%的数据。分类结果稳定,90.4% 83.4%放松,紧张的为84.5%,85.7%,兴奋。
此外,评估该系统的跟踪性能,建议根据生物识别颜色和音乐情感信息和压力指数,10倍交叉验证,从而减少训练数据,确保可靠性的影响。10倍交叉验证整个数据分为十个相等的部分,并使用九部分训练数据和其余部分测试数据。10倍交叉验证重复培训和测试10次总评估整体性能,每一次,一个平等的一部分用于测试数据发生了变化。图5显示了一个示例的10倍交叉验证。
本研究实验数据分为评价数据和验证数据使用比7:3。此外,该系统使用的分析方法进行优化。表8显示了86.4%的平均精度验证数据通过绩效评估的结果。因此,推荐系统的性能高。
图6显示了实现应用程序的结果提出系统,建议根据生物的颜色和音乐情感信息和压力指数。音乐的情感色彩和情感分为相应的项目根据生物情绪信息和压力指数。
5。结论
本研究旨在进行分类并推荐相对应的情感色彩和情感的音乐情感的用户通过测量生物识别信息。因此,测量后脑电图,脉搏和血压数据(即。,the biometric information), the emotion colors and emotion music are classified according to the current biometric emotion information and stress index of the user through real-time emotion analysis. To classify the EEG data into four types of biometric emotion information (stability, relaxation, tension, and excitement), a fuzzy control system was designed and the pulse rate and blood pressure data were composed in single packets separately and sent to the database. When 80% of data were learned according to the ratio of the training data by using the SVM algorithm to classify the EEG, blood pressure, and pulse rate data based on the biometric emotion information, the highest performance of 86.1% was shown. Moreover, the error matrix classification results obtained were 90.4% for stable, 83.4% for relaxed, 84.5% for tensed, and 85.7% for excited, confirming that the efficiency was high. Furthermore, when the 10-fold cross validation was performed to evaluate the tracking performance of the system that recommends the emotion colors and emotion music according to the biometric emotion information and stress index, an average accuracy of 86.4% was demonstrated, confirming that the performance of the recommendation system was high. This study proposed a biometric emotion information classification system using the stress index to classify the emotion colors and emotion music intelligently based on the emotion of the user. Therefore, it is expected to contribute to studies on HCI in the fourth industrial revolution era. In a future study, the emotions will be classified based on the situational and environmental factors as well as the biometric information of the user. Furthermore, the accuracy and efficiency of the proposed system will be enhanced by using various types of biometric information in addition to the EEG, pulse rate, and blood pressure used in this study, as measures for determining biometric emotions.
数据可用性
BIOPAC议员150脑电图数据用于支持这项研究的结果已经被大脑存入BrainAmp产品,德国慕尼黑。
的利益冲突
作者宣称他们没有利益冲突有关的出版。
确认
这项研究受到了韩国国家研究基金会(NRF)授予由韩国政府资助(MSIT)(2019号r1f1a1041186)。这项研究受到了朝鲜MSIT(科技部和ICT),根据国家计划在SW(2017-0-00137)追求卓越,监督由IITP(信息与通信技术研究所规划和评价)。