文摘

如今,有一个需要提供新的应用程序,允许安全环境的定义和实现,在用户需求和增加他们的幸福感。在这个意义上,本文介绍了情感的EJaCalIVE框架,该框架允许创建虚拟环境,结合代理、电子健康相关设备,人类演员,和情感投射他们几乎和管理所有元素之间的交互。通过这种方式,该框架允许智能虚拟环境的设计和编程,以及人类情感的模拟和检测可用于决策过程的改进发达的实体。本文还展示了一个案例研究,在公共环境中执行这个框架的需要像养老院或辅助生活设施。具体地说,案例研究提出了老年人住宅的模拟。主要目标是有一个基于感性仿真训练一个援助机器人避免复杂性参与处理真正的长老。拟议的框架的主要优势是提供一个安全的环境,也就是说,一个用户可以交互的环境安全与系统。

1。介绍

目前有很多努力工作领域的无处不在的计算,社会机器人和可穿戴的移动设备。进步在wi - fi和蓝牙等新硬件设备提供了实现嵌入式系统在普通家庭的手段。此外,随着物联网的兴起(物联网)每个设备可以连接到互联网和传输数据(1]。与这些设备的数组(在核心位置传感器或执行器)的能力,创建一个传感器平台,可以获取一些信息来自用户的增加。根据这些信息,环境可以参加喜欢的操纵系统,例如,改变温度和照明。此外,可以通过参加提高能源消耗因素的人(这些平台上的用户)不积极考虑(如先发制人百叶窗关闭窗口)。

这些特性是通过机器学习算法的使用。算法给家庭用户的喜欢学习的能力和偏好。通常在这些系统中关于用户的信息介绍,通过捕捉用户的交互的传感器系统更改这些值对应于个人喜好(2]。用户的信息是由对传感器数据进行计算操作。这些操作可以是简单web服务调用或复杂的数学函数运行感知数据。这种方法有一个问题,那就是,这些系统的转换成活性,无法正确地预见用户真正喜欢。最系统的作品几乎随机,如果用户没有关系是快乐或悲伤;它是情感的反应都一样,虽然他们与不同的需求。

人类情感的检测优势给这些平台的能力发展在时间和模糊逻辑状态(3]。检测和仿真的情绪可以被认为是一种新型的交互,让系统知道用户的情绪状态和/或模拟和表达一种情感。这种类型的相互作用的结果是积极响应环境的情绪状态。

的主要目标是提供工具允许安全环境的定义和实现,在用户需求和增加他们的幸福4]。研究表明,情绪对身心健康有直接影响(5,6]。环境的变化会给一种超脱的感觉,其用户的决策是不赞成。这个问题主要是由不同的语义解释消息的含义之间发送和接收设备和/或人类用户。为了解决这个问题,我们提出了就业的社会机器人在这些环境中。社交机器人是一种自治或半自治机器人与人类互动和沟通按照所期望的行为规范人与机器人的目的是进行交互(7]。

沟通和互动与人类在这个定义一个临界点。社会机器人增加人机交互的水平和社交能力展开对话和控制我们的家庭(我社会家庭机器人)(https://www.nxrobo.com/),或者学习用户的个性(Jibo) (https://www.jibo.com/)或用户的健康状况和目前的治疗(Catalia健康)(http://www.cataliahealth.com/)。这些机器人的目的是提供一个类人的感觉与用户的交互。他们应该能够妥善应对人类情感和社会暗示为了有效地进行双向沟通(8]。

有相关的社交机器人领域的发展,但仍未解决的技术问题等的集中操作(9]。机器人无法正确地感知环境由于缺少传感器和处理能力。因此,他们通常只作为一个通往其他平台。此外,系统扩展通常一个问题。这是因为这些系统被设计在一个家里,只有一个机器人引入另一个机器人并不是考虑,因此,可能的相互作用的结果是未知的。

解决这些问题是至关重要的;因此,有必要在一个分布式的方式管理信息的工具。我们的解决方案提出了使用智能实体(代理)自治和分散。这样,家庭或办公室可以被视为自治实体一起工作来为居民提供舒适和安全。系统必须能够应对动态引入新的实体。

拟议的工具,称为EJaCalIVE,基于多重代理系统范式,它给用户设计和模拟情感智能虚拟环境的能力(EIVE)。此外,它包含元素的感知和行动(机器学习算法,人工视觉、语音识别和沟通与社会机器人和可穿戴设备),允许EIVE的设计和施工能力与人类在自然的方式进行交互。获得的主要优势是基于感性模拟尝试不同的配置(如培训协助机器人)避免复杂性参与与真实的人。

为实现这一目标,设计工具有两个层次:一个用户级别和开发人员的水平。开发人员水平给设计和模拟EIVE津贴,而用户级给零用钱使用我由开发人员并与之交互。

剩下的论文结构如下:部分2分析以前的作品;部分3显示提出EJaCalIVE框架部分4描述了一个案例研究基于这个框架;最后,部分5解释了一些结论和未来的工作。

无处不在的计算和环境智能(AmI) (10,11)改变了智能家居的概念关注用户的生活质量。从这些范式平台目前的设备和软件,学习和适应居民的味道出现。已经有一些发展,解决最常见的问题,大多数智能住宅用户存在,例如,能源消耗跟踪(12为老年[]和更安全的环境13,14]。解决这些问题可以使用AmI和物联网解决方案。

AmI和物联网项目建立用户周围环境中不同类型的技术元素15),帮助他们在他们的日常任务,对他们(透明16]。最近的区域出现在AmI和物联网环境辅助生活(AAL),被它的目标为老年人和残疾人提供辅助环境。由于老年人和残疾人的医疗条件下,一个普通的家庭环境是非常具有挑战性的。他们需要特殊的援助和设备和服务,帮助他们进行日常生活活动(ADL)。

相关项目,也有最近进展AAL区域以及智能虚拟环境。从我们的观察,目前常见的问题,他们缺乏互操作性的特性和监督管理情绪。提到的下一些相关的项目区域。

NACODEAL项目(17)的目标是提供一个增强现实设备显示的信息活动,他们应该执行或执行。这个工具是非常有用的认知问题,或者需要帮助的人在执行一个复杂任务,设备显示对这些任务分步指导。提出了一个实现(18),一个系统,使用便宜的设备(投影仪、摄像头和喇叭)指导用户通过一个家庭环境,展示物理方向和警告周围的环境。在内部,系统度假村虚拟环境来预测用户行为的可能的结果。这个项目的变化智能家居的范式,通过融合传感器的设备用户使用,因此拥有一个移动传感器系统和要求更少的家庭设备。虽然这个项目提供了一个复杂而有趣的传感器系统和一个创新的视觉界面,它缺乏的能力检测情绪和真正理解用户的意图。此外,用户不能输入他们的偏好或在预先确定的交互行为。

PersonAAL项目(19旨在为老年人提供一个工具,可以减少对护理服务的依赖。实现的工具将每个用户的房子不断监视他们和他们的活动。的主要思想是使用智能手机和墙显示提供一个虚拟环境,有用的信息活动执行,调整视觉接口每个用户根据他们的口味和医疗条件。这个工具的问题是信息的局限性和它们所提供的功能(只有信息没有任何代理通过致动器或机器人助手)。

Active@Work项目(20.)工作场所的地址一个经常被遗忘的领域。的主要目标是帮助老年工人在工作场所使用虚拟助理。这个助理生物传感器的接收信息并识别可能的风险的情况下通过传感器值比较正常。此外,该项目旨在开发一个可视化界面,合理沟通可能出现的问题的用户和护理人员,拥有一个协作过程的虚拟环境中,负载平衡工作和一些老年人的任务发送给年轻员工。这个项目展示了使用传感器系统检测和解决健康问题,以及情感和压力水平。问题是,它提出了有限的行动当达到临界水平;因此它不工作在监控人民的最佳利益。

最后,胡椒机器人(21)旨在识别用户的情绪,并选择最好的行为适当的情况下,有一个人形方面。这个机器人考虑了声音,面部表情,身体动作,和口头表达、解释的情感并提供适当的内容。机器人能够识别的快乐、悲伤、愤怒、或惊讶和响应的那一刻的心情,表达自己通过他的眼睛的颜色,他的平板电脑,或者他的语调。此外,它采用游戏化程序与用户和保持他们的兴趣和遵循用户与他们交互。通过其武器它能够握手和表达身体的情绪。这个机器人的一个问题在于,其核心是一个同伴(如会话)机器人,无法进行或协助任何任务,尽管它是连接到互联网,能够显示信息的数量(视觉和听觉)降低声音指令的简单回应。也无法预料到的行为或动作;因此它并不准备防止临界情况,只能直接应对眼前的情绪显示的用户。

EJaCalIVE旨在解决这些项目忽略的问题,提供一个平台和机器人,能够处理用户问题和需求。

3所示。EJaCalIVE (Jason Cartago情感实现智能虚拟环境)

本节的重点是演示的EJaCalIVE框架。这个框架允许智能虚拟环境的设计和编程,以及模拟和检测创造的人类情感物联网和加州大学应用程序。

EJaCalIVE是一种工具,允许这些新人类主体社会的设计和编程,将检测和模拟的情感。EJaCalIVE分为两个部分。第一个关注的设计和编程智能虚拟环境(IVE)和第二个检测和模拟的情绪状态。的设计艾夫斯,EJaCalIVE使用MAM5(22元模型基于代理和工件(授权)(23,24]。的授权元模型确定,在一个环境中,有两种类型的实体,聪明的(代理)和对象(构件)。基于这个想法,MAM5元模型更进一步设计学院,在区分实体(代理和工件)的物理表示的虚拟环境的没有。EJaCalIVE介绍不同的代理和工件的专门化,这给设计师一个广泛的实体实现他们的设计。图1显示了可以在不同的实体EJaCalIVE。


图1
实体用于EJaCalIVE。

详细一点EJaCalIVEMAM5模型的结构、继承,它把我分成了两个工作空间,工作空间实体,没有和一个虚拟表示形式存在IVE_Workspace居住着实体与虚拟表示形式。反过来,在每一个工作区,分为两个主要的实体类,对应于代理和工件。通过这种方式,在第一种工作区,那些没有虚拟表示形式(没有3 d表示),有代理和工件授权元模型中定义的一样。另一方面,在IVE_Workspace有那些虚拟表示形式,居民代理和IVE_Artifacts。此外,这最后一种工作区允许更具体的子类:智能设备构件(SDA) [25),Human-Immersed代理。SDA是专业IVE_Artifacts,允许开发人员与真实的世界。这个连接给代理和居民代理与现实世界中获取信息的能力通过传感器或代理在现实世界中使用致动器。的Human-Immersed代理是一个居民代理能让一个人沉浸在这个系统,所以对系统的其余部分是一个居民代理,但它也是一种沟通虚拟世界与现实世界之间的桥梁。

然而,情绪到我设计的引入,作为一种新形式的实体之间的沟通和互动,连同上面的评论不仅访问虚拟环境的可能性也现实世界(一种增强现实的应用程序中)创建新的物联网打开门,加州大学,和复杂的模拟。这个新的情感组件给出了不同实体的能力来模拟和/或检测人类情感。为此,有必要引入不同的情感模型,常用的心理学和广泛应用于计算机科学。在这些模型中,我们可以找到大五模型(海洋)这是一个人格模式,情感模型垫(26],和Circumplex模型[27]。EJaCalIVE使用不同的沟通渠道(通过摄像头,图像处理文本、声音、肢体语言,或生物)检测的情绪。这个输入数据处理机器学习算法如支持向量机和神经网络的检测和分类的情绪。

图2显示的主要结构EJaCalIVE框架以及它是基于不同的模块。可以观察到在这样的图,EJaCalIVE支持四个引擎:认知、工件、身体、和情感。这些引擎允许开发人员设计和程序情感智能虚拟环境(EIVE)。的认知引擎支持由杰森谁是代理平台。杰森允许调度的每个行为的代理。的工件引擎支持CArtAgo它允许您创建内部的各种对象EIVE。EJaCalIVE有一个物理引擎,这是由Jbullet支持。Jbullet允许引入物理限制(重力,IVE-Artifact位置、速度和加速度等)将由我的工作区。的情感引擎负责模拟和人类情感分类的计算以及社会情感和人类主体的情感动态社会。


图2
主要的结构EJaCalIVE框架。

引擎定义的每一个开发人员通过一个XML文件,它将随后被EJaCalIVE为代理商创造不同的模板、工件和空间数据。

下面的小节描述了情感引擎包含在EJaCalIVE(其他引擎更详细地描述28,29日])。

3.1。EJaCalIVE情感引擎

的情感引擎框架内发挥着重要的作用,它负责将不同的人类情感。这个引擎可以使用所有的代理,来检测,过程,模拟的情绪。这台发动机还允许开发人员使用模拟或检测到所有的情感计算的社会情感。

检测和模拟情感的过程如下所述。 情感检测:EJaCalIVE情感引擎检测使用的构件设计的情感来执行这个任务。然而,EJaCalIVE允许开发人员连接任何其他硬件等能够进行检测。默认情况下EJaCalIVE包含两种方式执行检测,第一种是通过图像处理和第二个是使用一个情感的腕带。情绪的检测通过图像处理,系统使用面对里程碑式的算法,从图像中提取脸部特征点(30.]。图像检测的例子可以发现在31日]。描述人脸图像,存储创建一个向量的特征不仅特征点,而且这些点之间的欧氏距离。这个向量的特征作为神经网络的输入,输出相应的情感表达了这样的脸。这个网络训练之前有类似向量计算从数据库的脸图片代表不同的情感。虽然EJaCalIVE使用神经网络进行分类,它允许开发人员使用他们自己的分类脚本。这是通过一个专门的工件为这个任务(可以在Python脚本或node . js)。通过执行检测的情绪情感的腕带,我们使用一个设计更详细地描述(32]。这个乐队是人类使用的;一个代理是嵌入乐队感知皮肤电阻的变化。这些变化是预处理以提取特征向量,用神经网络分类的情感以类似的方式(如情感检测通过图像处理)。 情感模拟:如果我们想模拟人类的情感,我们需要获得以前涉及人类的人格价值。这些值是通过使这些人类执行五大性格测试(https://personality-testing.info/printable/big-five-personality-test.pdf)。这个测试模型的人格个体通过五因素:因素 (开放新的经历)因素 (责任心或责任)的因素 (外向性或外向),因素 (宜人性或仁慈)和因素 (神经质或情绪不稳定)。如果代理模拟,我们需要确定它的个性。为此有必要改变海洋在每个组件的值如表所示1(33]。

表1
形容词描述个性。

然而,可以使用这些个性值来计算情感,我们的代理会启动仿真的时候。我们使用以下方程(34),允许我们确定第一情感方面垫。

一旦这些第一的价值观垫已经计算出,在仿真过程中情绪可以有所不同。这种变化是通过代理的感知和取决于场景模拟(例如,使用音乐来修改情绪的人在酒吧,代理感知音乐,根据他们目前的情绪和自己的情绪发展和他们喜欢的类型的音乐31日])。

正如上面说的,情感引擎允许开发人员使用所有模拟或发现情绪为了计算一个社会情感。社会情绪的概念的使用允许开发人员知道群体的情绪状态,由人类和代理。这种社会情绪表示为三重态组成的:中央的情感(平均组中的每个人的情绪),中央之间的最大距离情感和个人的情绪和情感的分散中央情感(更多细节29日])。

与社会情感允许比较两组个体和比较他们的社会情绪,事实上,这样的社会情感之间的距离,所以,知道他们是有多近或远从情感的角度来看,甚至比较一组的社会情感与情感目标。

可以修改每个人的个人情感,导致社会的情感变化,从而使社会情感之间的距离增加或减少。然而,情感是动态的,以及代理和人类之间的相互作用。此外,情绪可以模拟人之间的传播。为了让这种情绪感染发生,有必要考虑不仅性格上面的移情说,而且个体之间的亲和力。从这个意义上说,建议EJaCalIVE包含一个动态模型,允许设计师模型个体之间的情绪感染。

4所示。案例研究

在本节中,我们现在要使用的案例研究EJaCalIVE模拟的老年人的住宅。由于所涉及的复杂性与这些人合作,提出了一个基于感性模拟训练一个援助的机器人。机器人将与代理交互检测他们的情感和沟通与照顾者如果有任何变化。这种情感变化允许照顾者来决定是否需要改变人们的情绪活动修改。

在这一节中给出的模拟被划分在一个虚拟组件和一个真正的组件。虚拟组件负责模拟老年人;为此,我们使用三个情感代理。这些药物有不同的性格和特征,使其不同的列表(特性,比如亲和力、移情和活动的味道)。这些不同的特征使每个代理的情感以不同的方式影响环境的刺激。真正的组件与机器人执行;这个机器人可以检测出不同情绪状态和改变其行为的情感。通过这种方式,这不仅模拟列车机器人检测所使用的机制(和行动尝试修改)人类的情感,也是一个环境中,机器人可以与我的元素。出于这个原因,其他元素被考虑如家具(椅子,沙发,桌子,和地板)作为IVE_Artifacts模拟。这些元素位于虚拟障碍物要避免的机器人(现实世界中的)。 We have integrated a human in our simulation. This human is modeled as anEmotional_Human_Inmersed_Agent。这个代理是一个照顾者和允许我们测试的虚拟表示形式情感机制检测使用相机,通过不同的交互操作。图3显示在左上角的元模型设计案例研究系统,由4 IVE_Artifacts(造型桌子、椅子、沙发和电视),4情感居民代理(造型助理机器人和第三老人居住的人),和一个情感Human-Immersed代理(造型照顾者)。EJaCalIVE允许自动编译这个元模型和构建骨骼文件等代理、工件和IVE_Workspace(即在图的右上角3)。此图显示了视图的最后部分的模拟完成。


图3
可视化设计环境。
4.1。机器人描述

机器人负责与老年人交流;这种交互是通过情感探测和执行活动的建议。随着机器人在现实世界中,重要的是要为其提供一系列的帮助导航传感器,感知人类情感,与人进行交互。出于这个原因,机器人已经被分为两个层次。

第一级为机器人提供了控制汽车的能力,让访问不同的传感器来感知环境。我们采用的传感器如超声波、磁力计和陀螺仪。这种控制已经使用一个Arduino开发大型(https://www.arduino.cc/en/Main/arduinoBoardMega)。这些传感器获得的数据和由Arduino处理发送到代理。这些信息是环境的知识(角度倾斜,长途障碍检测)。然而,这种低级控制被动行为,允许反应外部事件没有理性的代理人(见图4)。


图4
助理机器人的开发原型的形象。

的认知水平发展树莓π3 (https://www.raspberrypi.org/)。这一层负责识别人脸和检测的情感通过使用相机图像处理。与此同时,这一层负责控制机器人的运动。机器人包括液晶触摸屏,用户可以互动,以及扬声器和麦克风。所有的描述过程有很高的消费资源。这是机器人的主要原因有三个覆盆子π作为集群连接(见图5)。


图5
集群代理分布。

集群配置允许分发的信息和不同的过程。在机器人中,每个节点代理与一个特定的任务和不同的资源需求:(我)“node_1”控制液晶触摸屏。它执行识别和情感分类的人的行为。与此同时,这个节点负责相应的表情符号可视化根据检测到的情绪。(2)“node_2”包含了机器人的行为负责获取温度、有限公司2水平,相对湿度传感器。这些信息使用机器人来确定人们所在环境条件充足,也就是说,如果温度是足够的,或湿度水平是正确的,如果有限公司2水平是合适的。这些值是使用一顶帽子传感器获得的覆盆子π。同时,该代理负责进行语音识别,将文本转换为语音。(3)最后,“node_3”包含了与底层控制的行为负责。例如,发送不同的价值观,让我们的环境中的机器人移动和接收发送的信息传感器位于底层控制,也就是说,速度值,角旋转,超声波距离,电动机的位置,等等。

所有的代理通过铲彼此相互联系的平台(http://spade.gti-ia.dsic.upv.es)。每个代理位于每个节点使用开关通过消息进行通信,分发它们之间的信息。

机器人的人格是使用海洋值,定义中定义的表1,考虑到由于机器人必须在服务人类,海洋值很高,有一个机器人具有以下特点:(我)随和,富有同情心和合作对他人的倾向(2)责任心,倾向于在一个有组织的或深思熟虑的方式行动(3)外向性,倾向于寻求刺激的人(iv)神经质,情绪敏感个体的环境(v)开放,倾向于开放体验各种各样的活动。

由于机器人是真实和模拟老年人通过代理,在这个模拟中,我们定义了两个限制。第一个是代理交流他们的情感状态通过消息由于没有使用屏幕通过情感呈现。第二个是,机器人知道所有人的情绪。这使我们能够计算社会情感和确定的情感动力集团。使用的情感动力,机器人可以确定哪些人更多地影响他人。这样机器人可以确定哪些人是导致情绪的下降。这些信息被照顾者,为了设计行动集中在人的情感。

5。结论和未来的工作

本文介绍了EJaCalIVE框架,它是一个智能虚拟环境,实现情感和还允许一个积分的概念与人类的互动。这个项目的主要目标是构建一个健壮的虚拟环境,能够捕捉和再现原子情绪代理和文物。

这个项目的社会方面是一位上了年纪的社区提供援助通过阅读每个人的情感状态和相互作用通过环境变化。机器人发展(尽管它仍然是一个初始构建)用作人形来缓解环境与人的交互。此外,其流动性帮助屏幕和传感器的位移,也就是说而不需要几个传感器系统和用户必须取代自己的位置,有交互接口我们能够把它给他们。我们相信,这将有一个较小的视觉冲击和干扰不到机器人。先前的研究表明,机器人也被老年人所接受。

机器人和代理之间的组合预测老年人的社区提供了有趣的初步结果。不幸的是,由于老年人的脆弱性和alpha版本的机器人,在实际环境中测试和真实的人是不可能的。但这限制了方法的增强EJaCalIVE [25),通过引入扩展情感表现,工件(及其增强智能设备等),和社会情感表示。事实上,这些发展是现在核心生态系统的一部分操作;即使用EJaCalIVE即使真正的用户和机器人相互作用。未来的工作,我们的目标是建立一个user-safe版本的机器人并将其部署在一个环境真实用户和捕获交互,这可能会导致一个验证的场景。此外,我们的目标是开发健壮的质量信息的方法,能够维护一个量化的场景与缺乏信息,记者与大多数在现实生活中发生的事件。

最后,训练有素的机器人将被测试的老年日托中心在葡萄牙北部地区,社会Irmandade Centro de s . Torcato。测试后,将执行验证通过一份调查问卷,将护理人员(注册护士和医务人员),试图识别结果和发现问题。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持的部分MINECO /菲德尔tin2015 - 65515 - c4 - 1 - r和FPI格兰特ap2013 - 01276授予Jaime-Andres林康。这项工作也由竞争:poci - 01 - 0145 -菲德尔- 007043和Fundacao对位Ciencia e Tecnologia (FCT)在项目UID / CEC / 00319/2013和博士后奖学金SFRH /桶/ 102696/2014 (a·科斯塔)。