基于摄像头实时移动情感内容播放器使用智能手机分测量

文摘

实时移动内容播放器开发,可以识别并使用智能手机实时反映情绪。确定有效的意识,photoplethysmogram (PPG),这是一种生理信号,测量来识别情感变化用户提供内容旨在引起情感反应。为了避免需要一个单独的传感器来测量分,PPG信号提取的红色(R)值的图像获得的后置摄像头的智能手机。反映了一种情感,饱和度(年代)和亮度(V)的水平,与环境有关的内容,更改以反映用户在内容本身的情感变化。兴奋,relaxation-inducing场景进行验证有效性。样例t以及结果表明,平均峰间隔(PPI),这是PPG信号的峰值之间的时间间隔,明显低当浏览arousal-inducing场景下的内容相比看常规内容,并确定用户的情绪导致了一种兴奋的状态。十个大学生(5个男人和五个女人)参加了实验。用户没有心脏病,被要求实验之前不要喝酒或抽烟。平均PPI明显高于当内容被relaxation-inducing场景相比常规内容,并确定用户的情感诱导一种放松的状态。设计情感内容的球员被证实是一个互动的系统,在视频内容和用户同时通过系统互相影响。

1。介绍

由于信息技术的进步,智能手机已经成为各领域流行的设备来访问服务。特别是,使用多媒体内容的需求服务越来越多,和研究工作表明,这样的多媒体内容引发用户的情绪反应。例如,一项研究报道,忍受与内容引发恐惧的情绪反应,兴奋,和不满,relaxation-related内容产生放松的情绪反应1- - - - - -9]。然而,目前用户想要使用多媒体内容提供根据他们的环境或情绪状态而不是统一的内容,不考虑他们的情感反应10,11]。换句话说,最近的研究关注的方法来诱导用户的情感反应和反映这些响应的内容,就像用户的内容能引起情感反应。情感内容被定义为内容,不仅会影响用户的情感也改变图像的视听元素,比如语气,亮度,对比度,和声音的力量和速度,在内容根据用户的情感12,13]。在这方面,最近的研究最近进行的情感内容,可以与用户认识到自己的情绪状态,并相应地改变元素的内容。

相反,在传统的研究中,用户的情绪状态被认为通过生物信号分析。这样研究的限制,附件类型传感器测量所需的生物信号有效的意识。此外,提供的内容通常是通过改变颜色元素来反映一种情感;然而,用户可能偏向某种颜色的元素。因此,基于相关的内涵与特定的颜色,还存在一种风险,即某一特定内容的原始目的意义可以大大改变。此外,没有研究改变饱和度(年代)和亮度(V在智能手机实时)的内容。因此,需要有一个系统可以识别和实时反映用户的情绪在智能手机上没有的特殊传感器,不需要。因此,一个实时移动情感内容的球员是在这项研究中开发的。用户的情绪可以被测量和分析photoplethysmogram (PPG)信号通过一个相机在智能手机配置。分是一个光获得生理信号,可用于检测血容量变化(14]。PPG信号也可以用来监测心脏周期和循环条件,如心率(小时)。此外,用户的情感可以通过改变反映出来年代和V实时的内容根据用户获得的情感。玩家的情感内容,实时识别和反映了情绪,可以提供交互式内容的用户和内容可以相互影响。

在这项研究中,一个实时移动情感内容播放器开发提供互动内容,可以影响和受用户同时查看内容时在智能手机上配置。阐明本研究的目的,我们提出以下假设:(我)移动用户可以测量小时使用后置摄像头(2)实测小时可以用来反映用户的情感变化(3)情感变化影响的变化V和年代在智能手机实时视频内容的值

一种情感由特定的内容会影响用户的情感变化。确定用户的情感意识,PPG信号测量获得R价值的视频帧实时智能手机相机。PPG信号的峰间隔(质子泵抑制剂)计算使用滑动窗口技术和用于计算人力资源。此外,基于用户的平均PPI,确定用户的情绪状态是觉醒的状态或通过与当前PPI比较放松。用户的兴奋和放松的情绪以这种方式获得实时反映在内容。获得的情感视频的每一帧,使用FFMPEGLibrary应用多路分配器和解码流程。在这项研究中,因为FFMPEGLibrary编码C编程,本机开发工具包(NDK)方法用于移动操作系统的设计。NDK工具,允许开发者计划安卓移动设备在C或c++语言。是有用的支持的CPU密集型操作,如移动视频游戏和信号处理和控制智能手机的硬件设备。因此,用户的情感可以通过改变反映出来年代和V值每一帧的视频内容,而不需要一个特殊的传感器。此外,它是确定用户和内容可以通过这个系统相互作用。觉醒——和relaxation-inducing场景提出和验证实验。

2。相关工作

2.1。情绪反应和生理信号

一个主观的方法使用调查和客观方法使用生理反应应用于测量和确定用户的情感。在生理反应应用程序中,响应是无意识的,不能由一个人控制;因此,量化方便,和客观的测量是可能的(14- - - - - -16]。因此,识别和确定用户的情绪,许多研究正在进行用生物信号,这是生理反应。通过从生物信号,提取信号特征的心理情绪状态可以确定(14- - - - - -18]。

研究已经进行了使用中枢神经系统反应从生物信号或自动神经系统反应18- - - - - -23]。脑电图(EEG)信号通常是用于研究中枢神经系统反应(19- - - - - -23]。进行了一项研究,实现一种情感推理系统通过测量、分析和评估一个脑电图,用户正在经历一个音频和视频刺激(19- - - - - -23]。此外,一项研究的生物信号测量脑电图和心电图(ECG)表现出紧张的情绪,愤怒,愤怒,快乐,和惊喜在信号的功率谱图24,25]。然而,测量脑电图信号,可以测量大脑的电活动只有准确地将传感器固定位置的头;因此,用户不适发生由于运动的限制(13,15- - - - - -22]。

同样,研究利用生物信号的自动神经系统反应也被进行了。心电图、PPG、皮肤温度(sk电讯)信号主要用于自动神经系统反应。一项研究进行了实时获取情感信息通过测量生物信号的分,sk电讯,皮肤电反应(GSR),一个实时情感信息共享系统开发(10- - - - - -13,20.- - - - - -32]。然而,测量心电图信号,传感器必须附加接近心脏,相应的,都有缺点,用户可能会觉得排斥和经验限制在他们的活动32]。分和sk电讯信号可以测量相对容易通过附加一个传感器指尖;然而,就像其他方法一样,有一个缺点:这种传感器的使用总是需要识别一种情绪。因此,为了解决这个问题,本研究寻求一种手段方便地获取生物信号没有根据地。用户通过使用智能手机的相机,而不是一个传感器。PPG信号从生物信号测量,可以获得通过R值摄像机的图像。

2.2。情感模型和HSV模型

一种情感在人类是一种复杂的情绪状态(31日),以及各种情绪表达主要在二维(2 d)空间。特别是,罗素提出一个2 d情感模型,如图1,表示一种情感分布可以通过两个轴来表示,即:,X快乐/不满和设在Y设在唤醒/放松。在这项研究中,因为PPG信号可以用智能手机的摄像头,用户的情感评估使用PPG信号。在先前的研究中,证实,PPG信号可以作为一个客观指标确定的觉醒或放松14- - - - - -16]。因此,在这项研究中,在兴奋和放松,Y设在2 d模型,也评估使用PPG信号。

相反,研究关于情感的颜色模型主要分为红、绿、蓝(RGB)模型和色调,饱和度和价值(HSV)模型。表达颜色的RGB模型方法应用添加剂颜色光的三原色原理。红(R)、绿(G)和蓝色(B)每一个的值为0 - 255,和所有的颜色都可以通过RGB表达率(32- - - - - -34]。研究已经进行了一个情绪状态之间的关系和RGB。

此外,杨等人转换颜色的一定区域加强情绪的内容(33]。结果,得出情感是加剧和沉浸感增加。

HSV模型表示类似的方式,人类感知颜色。在HSV模型中,色调(H)的范围为0 - 360°和是一个环形的相对一致性角度,拥有一个R0°(R拥有最长的波长)。饱和度(年代)的范围为0 - 100%,显示了一种颜色的厚度。值(V)的范围为0 - 100%,显示亮度水平。其他的研究也调查了一个情绪状态和HSV之间的关系。张成泽等人使用内在信息被提取的特征点图像和设计一个模型,将基于这些点的情绪[35]。李等人确认是否影响用户的情感通过颜色变化的照明和派生的过程使用照明的颜色作为设计元素(36]。此外,通过一个实验使用三种类型的介质(纸张、纺织品和电脑显示器),Seok发现有正相关(饱和度和快乐和饱和度和兴奋,之间通过一个实验)在情感反应的特点,根据色彩饱和度的变化(37]。

先前的研究也主要集中在与情绪的关系进行颜色元素,如R, G, B和h。然而,如果颜色元素是大幅改变,有一个限制:一个用户可能会感到一种排斥的感觉。此外,由于图像的颜色都有一个关联的意义通过颜色本身,有可能的最初含义可以显著改变了特定的内容当它的颜色就会改变。合并后,年代和V表示为一个基调,主要是有关某一特定内容的整体氛围。因此,改变年代和V水平并不一定意味着改变内容的目的意义;相反,有可能内容的氛围自然可以了。因此,本研究将研究之间的关系年代,V和兴奋/放松,排斥及其影响相对较小,先前的研究是不够的。

2.3。情感内容

情感内容指的是一个能加速,维护,或减少现有用户的情绪状态识别,即。、快乐、不满、兴奋或放松,和基于承认状态,相应地改变视听元素的内容(38]。换句话说,一个内容,理解用户的情绪,适当地回应通过情感内容和用户之间的通信可以被称为一个情感内容(12]。

许多研究已经进行了关于情感内容。例如,当查看一个情感内容,用户的情感变化测量通过sk电讯,GSR,分,和脑电图传感器,并根据结果,引起更大的情绪反应通过提供一个视觉反馈的内容(13,30.,31日]。因此,引起更大的情绪反应在三维(3 d)图像相比,一个2 d图像和明亮的形象相比,黑暗的形象。此外,李和金姆分类用户的情感通过生物分,sk电讯,和GSR信号,基于这些分类,验证实时互动的情感内容的影响球员通过改变并提供图像内容根据预定义的颜色模型规则(26]。杨等人改变了部分图像加强的情感内容和确认通过主观评价,相比常规内容,加强用户的情绪情感内容和增加他们的沉浸感33]。

在传统的研究中,系统已经开发出来,需要一个单独的部分通过一个传感器识别用户的情绪,另一个用于查看情感内容。因此,缺点如下:两个系统是必需的,和沟通。因此,在这项研究中,智能手机是用来识别用户的情绪状态唤醒或放松。在此基础上应用,实时移动情感内容播放器开发发挥情感内容的变化年代和V视觉元素的内容。

3所示。实现移动情感内容的球员

3.1。系统设计和PPG信号处理

当光线投射到一个区域的皮肤较薄的人体,如一个手指的尖端或耳垂,一些血液中的光吸收,骨,和组织,剩下的光穿透皮肤。因此,渗透到光的强度的变化可以说是反映了血液流动的变化(14- - - - - -17]。这里,PPG信号可以测量因为被皮肤吸收的光量,根据心脏收缩和放松,由于不同血流量的变化。

PPG信号测量使用光的吸收遵循比尔-朗伯定律。本法显示了一个相关性的吸收和渗透光投射时通过均匀介质(14,41]。即,当光从发光二极管(LED)是投射到外围的身体部分的皮肤,一些光通过血液和转移到一个传感器,和一些剩余的光被血液吸收。这个法律规定,因此,光的强度的总和转移到传感器和血液吸收的光的强度是一样的光的强度,当最初预计[14,41]。本法可以表示通过以下方程: 在哪里我_t渗透或反射光的强度和吗我₀光的强度,当吸收或事件。此外,是消光系数对应于组织的光学吸收速率,c是光的浓度被组织吸收,然后呢d是光路的长度14,41]。当一定量的光线投射到外围的身体部分的皮肤在一个固定的姿势,和c通常是恒定的,d改变心脏的收缩和舒张。因素的变化d血液流动的变化在边缘部位;分可以使用这个因素检测(14,41]。

一般来说,PPG信号图如图所示2。不同的信息可以从分获得信号。当心脏收缩时,血液量增加;因此,血液中吸收更多的光,而渗透到光强度降低了。

因此,PPG信号的形状是降低循环图。当心脏放松时,大量的血液相对减少,和更少的光被吸收的血。因此,渗透的强度光显示了一个周期内增加形状。然而,从峰值振幅的测量高度,这是当前周期的最高点PPG信号,槽,即前一周期的最低点;此外,PPI之间的距离测量是当前周期的峰值和峰值之前的周期。振幅和PPI值变化不断根据用户的状态。特别是,PPI减少时,它表明,交感神经的激活和心跳很快,这表明用户接近一种兴奋的状态。相反,当PPI增加时,它表明,副交感神经的激活和心跳缓慢,这表明用户接近一个放松的状态(14,39- - - - - -44]。即人力资源可以通过PPI的变化,计算和用户的心理状态可以决定唤醒或放松。

PPG信号测量传感器主要分为穿透和反射式传感器。穿透式传感器由LED项目光和一个光电二极管测量穿透皮肤的光强;光线投影和接收部分面对彼此。领导项目光反射式传感器包含一个和一个光电二极管措施触及皮肤后反射光的强度;光线投影和接收部分并排放置(41]。

智能手机的闪光灯可以代替一个传感器的领导,和智能手机后置摄像头可以代替一个传感器的光电二极管。因为智能手机的闪光灯和相机并排放置,它们可以被视为一种反射式传感器;因此,PPG信号可以从智能手机测量基于反射式传感器的原理。换句话说,当光从一个flash投射到皮肤上时,部分光线被吸收根据血流量的变化,还有一些剩余的光反射和智能手机使用的相机。PPG信号可以从图像中获得的手指以这种方式。因此,因为照相机的图像质量可以是一个重要的元素,进行了初步的实验考虑分辨率的三个属性,比特率,和flash图像质量。

在先前的研究中,相关分析结果PPG信号通过传感器和PPG信号获得使用R, G, B、H, S,我组件的智能手机的摄像头画面显示信号通过R分量相关性最高(45]。因此,在这项研究中,PPG信号测量从相机图像使用R组件值。

3.2。视频图像处理

视频序列就是一个移动的图像集合,可以描述为一系列的图像组成的一个又一个静止的图像。一个静止的图像称为帧,帧每秒播放的数量称为帧速率。12帧每秒的速度越来越快,人类视觉系统无法识别单个静止图像和感知移动图像。视频的帧率减少,规模减少。然而,有一个倾向于不连续地显示图像。因此,随着帧速率的增加,照片显得流畅;然而,视频大小往往会增加。因此,压缩是有必要的,用来创建一个小型高质量的视频序列。如图3,将一个原始视频序列,包括视频像素数据,到一个压缩的视频序列,即。,a video bitstream, using a certain codec is called encoding and decompression conducted as a reverse process is called decoding. A codec used in these processes refers to the software or algorithm that can compress the media information. Typical video codecs include H.264 and DivX, and a typical audio codec is mp3. Putting an encoded video sequence in a certain format and converting it into a video file is called muxing, and the reverse process of extracting video and audio data from such a format is called demuxing. The format used in this process is usually called a container, which is also known as the file type or extension. A container acts as a box producing both a video codec and an audio codec in a single file; typical container formats include AVI and mp4.

3.3。系统实现

计算人力资源从PPG信号和把它归类为兴奋状态或放松,信号处理过程进行了使用序列图4。

在第一序列,峰值必须从PPG信号被探测到。然而,在分信号提取R值,基线不断改变,此外,噪声信号中存在。这样的噪音会导致从用户的呼吸或其他微小运动发生在PPG信号被测量。因为噪音会引起错误的所有流程,从峰值检测人力资源计算和测定唤起/放松,去除过程计算PPI之前必须应用。

PPG信号低频带,主要是激活和噪声主要是激活在高频波段15]。因此,PPG信号噪声混合使用低通滤波器可以删除,导致清洁PPG信号(15,42]。通常,当使用一个低通滤波器,也使用移动平均滤波器。移动平均滤波器是一个工具,计算平均价值利用部分filter-sized最近的数据测量的数据,而不是使用所有测量数据(42]。一个方程与移动平均滤波器所示以下方程:

在这项研究中,一个移动平均滤波器,滤波器的大小7用于正确的基线和消除噪音,和R值逐帧计算相机的图像作为输入数据。PPG信号时获得的R从右到左值输入,执行过滤通过计算平均7R值相当于过滤器的大小。

图5(一个)显示了PPG信号在应用移动平均滤波器之前,和图5 (b)显示了PPG信号后过滤。的X设在每个图时间,Y设在显示了R值从0到255不等。直观地观察过滤变化,间隔的Y设在是一贯维护。因此,基准在图中保持着更加一致5 (b)比图5(一个),而且大部分的噪音了。虽然似乎没有产生的信号图5 (b)当间隔被分成更小的尺寸,这是确认产生的信号是正确。

精确的峰值可以通过过滤PPG信号被探测到。在这项研究中,滑动窗口方法用于检测实时准确的山峰。在一般情况下,滑动窗口方法是用来控制数据包的流动两个主机之间的通信,以及匹配窗口大小的数据包数量同时发送,而不是一个接一个。此后,此方法发送下一个数据包通过移动窗口的决议。使用这一原则,本研究中使用的滑动窗口方法30的窗口大小和分辨率。阅后过滤PPG信号的数量等于窗口大小,峰值检测到在一个窗口。窗口移动横向间距的一个决议,和峰值不断发现。

峰值检测,主要分化是一个窗口内进行;点的斜率变化迹象被认为是峰值。然而,由于窗口移动在一个决议间距,可以检测到相同的峰值,在窗口。因此,只有当一个不同于之前的峰值,峰值检测作为矫正峰值,这一点上保存的时间。图6是一个峰值检测过程的流程图。

检测峰值之后,PPI,山峰之间的时间间隔,可以计算。第n个峰值的差异(n+ 1)th峰值决定PPI的时间点n(38]。

图表显示了PPI连续变化计算以这种方式叫做脉搏变异性(减压阀)[37]。人力资源是指数量的收缩和放松方式重复的心脏一分钟(60)[44]。

相反,用户可以确定的情绪唤起或放松通过PPI的变化。如果一个用户是处于一种兴奋的状态,PPG信号的PPI却降低了,因为交感神经激活人力资源是增加。相反,如果一个用户处于放松状态,PPI的PPG信号增加由于副交感神经激活和人力资源却降低了14,15]。因此,设置后的平均PPI用户作为参考,如果当前PPI变成低于平均PPI,用户的情绪状态可以决定唤醒。如果当前PPI变得高于平均PPI,用户的情绪状态可以决定放松。

改变年代和V实时水平,原始像素数据访问的视频文件可以读取一帧。之后,年代和V水平改变,显示在屏幕上通过颜色空间转换的像素数据。多路分配器和解码流程必须适用于访问视频的像素数据。多路分配器过程从一个视频文件,提取视频数据流和解码过程从视频数据中提取原始像素数据流使用一个特定的视频编解码器。需要一个特定FFMPEGLibrary这些过程:(一)通过libavformat库,一个视频文件通过一个视频比特流的多路分配器过程;和(b) libavcodec库,一个视频比特流经过像素数据的解码过程。

然而,YUV像素像素数据0数据必须转换成HSV像素数据调整年代和V水平的内容。因此,转换到RGB像素数据之后,他们首先转化为HSV像素数据,从而改变了年代和V值。他们然后再转换为RGB像素数据的内容可以显示在屏幕上。这个过程如图7。

3.4。实验

实时移动情感内容播放器措施和分析PPG信号在智能手机和分类用户的情绪状态唤醒或放松。根据分类情感,内容是通过改变年代和V值。唤醒和relaxation-inducing场景将会实现,并通过实验验证了系统的有效性。在许多传统的研究,据报道,一个兴奋状态对应的增加年代和V和放松状态对应于减少年代和V(45]。因此,在这项研究中,将增加的规则年代和V价值观的内容产生一个兴奋状态和减少年代和V价值观的主要内容,引起一个放松的状态。

进行了一个实验来验证的有效性觉醒——和relaxation-inducing场景使用实时移动情感内容的球员。受试者参与的验证应用系统由十个大学生:五男性和女性,平均年龄为25.5。心血管疾病的受试者,他们被要求实验前一天不要喝酒或抽烟。

如图8,每一个主题的手心里高度的测量准确分测量和实验是由把左手食指放在后置摄像头的智能手机。实验中使用的内容没有包含任何的情感元素,是一个标准的演示视频没有故事情节,如图9。

arousal-inducing场景旨在让用户感觉更强烈的冲动在看内容通过增加年代和V当用户处于放松的状态值。arousal-inducing场景将被检查的有效性比较普通的球员,不改变内容和arousal-inducing场景的球员。

relaxation-inducing场景旨在让用户感觉更强烈的放松在看内容通过减少年代和V当用户处于兴奋状态值。relaxation-inducing场景将被检查的有效性比较普通的球员,不改变内容和relaxation-inducing场景的球员。

在开始实验之前,实验的目的、过程和方法向受试者解释。每个主题的左食指摸后置摄像头的智能手机。测量每个主题的平均PPI后2分钟,看到不同版本的主题视频序列按照以下顺序:定期回放,回放arousal-inducing场景,和relaxation-inducing场景回放一段2分钟30年代。之间休息2分钟被回放时间之前播放的影响降到最低。

3.5。测试场景

在arousal-inducing场景中,内容是,为了进一步加强唤起的情感。图10显示的过程arousal-inducing场景:(i)在用户看内容,改变他们的情绪状态的影响;(ii)与此同时,通过分析PPG信号通过智能手机相机测量,确定用户的情绪唤起或放松状态;(3)只有当一个情感达到放松的状态年代和V价值观的内容增加(在冲动的情况下,内容没有变化年代和V);(iv)再次更改的内容影响用户,从而诱导他们唤起的情感变化。

在relaxation-inducing场景中,进一步加强的内容与目标显示的情绪放松。图11显示的过程relaxation-inducing场景:(i),同时用户可以观看内容,改变他们的情绪状态的影响;(2)同时,通过分析PPG信号测量使用智能手机相机,确定用户的情感唤醒或放松状态;(3)只有当达到兴奋的情绪状态年代和V价值观的内容减少(在放松的情况下,内容没有变化年代和V);(iv)含量的变化影响用户,从而诱导情绪变成一种放松的状态。

4所示。结果

4.1。移动的情感内容的球员

图形用户界面开发的移动情感内容的球员在这个研究是图所示12。在心脏的上方是一个象征,文本显示人力资源,相机预览显示和测量按钮。当用户把手指放在后置摄像头的智能手机,按下测量按钮,视频开始播放。在用户观看视频,他们的人力资源计算和显示;在内部,用户的情感被列为唤起或放松的状态,并根据他们的情感,年代和V值改变,显示视频。

实时移动情感内容播放器主要分成两部分。第一部分的球员是一个分测量和分析模块。PPG信号提取通过收购R值和高质量图像的智能手机相机。后的信号通过信号处理清洗应用移动平均滤波器,信号斜率的位置检测到信号变化峰值使用滑动窗口技术;这种变化发生的时间存储,和PPI计算。使用PPI在两个实例:首先,通过PPI并显示计算人力资源,其次,通过比较当前PPI平均PPI,用户的情感分为兴奋状态或放松。

第二部分的球员是一个视频处理模块。通过多路分配器的过程,一个视频文件转换为视频比特流,通过解码过程,视频比特流转换成像素数据。后将YUV像素数据转换为RGB像素数据,数据被转换到HSV像素数据。的年代和V视频内容的改变值按照定义的规则基于觉醒的状态或放松。转换后的数据再到RGB像素数据应用的变化年代和V值,屏幕上的视频播放。图13给出了一个实时移动情感内容的总体配置图的球员。

4.2。实验结果

匹配的样本t以及PPI的结果如下。如图14,PPI平均为0.9158,当用户看到的常规内容,而这是0.8758时,他们看到的内容应用arousal-inducing场景中,这是一个大的差异显著性水平为99% ( ,t= 7.388,n= 917)。即PPI显示显著降低趋势当用户在看arousal-inducing场景下的内容相比看常规内容。因此证实用户的情感可以诱导兴奋状态下如果内容被认为arousal-inducing场景。此外,如图14,平均PPI 0.9158当用户在看常规内容,而这是0.9553时看relaxation-inducing场景下的内容,这显示了一个大的差异在99%的显著性水平( ,t=−5.856,n= 917)。即PPI表现出相当高的趋势当用户在看relaxation-inducing场景下的内容相比看常规内容。因此,它被证实用户的情感可以感应到放松状态下如果内容被认为relaxation-inducing场景。

5。讨论

总的来说,关于内容和用户之间的关系,当用户观看视频内容时,内容会影响用户的情感变化;然而,不影响内容的用户,这意味着玩家是单向的。换句话说,没有球员会影响内容根据用户的情感变化。在这项研究中,一个实时移动情感内容播放器开发提供互动内容,内容和用户在两个方向上都互相影响。

智能手机相机是用于实时测量分移动情感内容的球员。的R价值观收到相机视频帧,并从这些PPG信号提取R值。从PPI的PPG信号,计算显示,人力资源。此外,基于PPI的变化,用户的情感分为兴奋状态或放松。

的年代和V价值观影响的内容根据用户的情感变化。因为年代和V水平必须被改变通过接收内容框架,应用多路分配器和解码流程。改变年代和V值在一个框架,从YUV颜色空间转换到RGB,然后从RGB到HSV。在这种格式中,年代和V价值观改变,最后,从HSV颜色空间转换RGB显示屏幕上的内容。表面夹是用来获取预览图像的智能手机相机逐帧和YUV格式转换为RGB格式。在实时图像处理,因为计算量很大,它可以成为一个应用程序的负担。因此,应用程序的负载降低使用方法显示视图在屏幕上通过一个线程在后台使用面视图。

改变年代和V实时的视频序列,这是本研究的目标,收到的视频文件必须通过多路分配器和解码流程逐帧,和年代和V每一帧必须改变。因此,一组视频序列是由不断显示帧位图在用户的视图。

在这项实验中,质子泵抑制剂对普通的常规内容和兴奋,relaxation-inducing场景,一个匹配的样本t以及应用。分析结果表明,平均PPI显著降低当用户在观看内容根据arousal-inducing场景相比看常规内容。因此,arousal-inducing场景可以诱导唤起用户的状态。此外,平均PPI明显高于当用户在观看内容根据relaxation-inducing场景相比看常规内容。它可以因此说relaxation-inducing用户场景中产生一种放松的状态。

6。结论和未来的工作

总之,一个实时移动播放器开发情感内容,衡量用户的情感通过分在智能手机系统不需要特定的传感器和反映了情感通过改变年代和V值,从而形成了一个自然环境的内容根据测量情感。验证实验,实时移动情感内容的球员是一个系统的内容会影响用户的情感,和并发用户的情感影响的内容。实时移动视频情感内容播放器允许用户和内容相互作用。

然而,由于内容被认为通过智能手机的屏幕相对较小,可能有一个有限的沉浸感。在实验中,诱导用户的情感只有两种情况可以作为一个限制的缺点。它将被认为是一个进一步的研究。除了视频内容,系统也可以应用于游戏、虚拟现实、智能设备。此外,在未来的研究中,可以利用该系统能够识别其他情绪除了兴奋和放松通过使用各种生物信号并将其应用到视频内容,从而加强或削弱相关情感根据提供的内容的原因。

数据可用性

生理期间生成的数据和分析当前的研究并不公开以保护隐私。但是,数据可从作者在合理的请求,批准IRB的研究所。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究受到了基础科学研究项目通过韩国国家研究基金会(NRF)由教育部(2017 r1d1a1b03035606)。

引用

1. y . j .,设计j . s .加工和j·h·孙”不同的面部皮肤温度响应之间的恐惧和欢乐,”韩国情感和感性的科学杂志》上,15卷,不。1,1 - 8,2012页。视图:谷歌学术搜索
2. k . s . m . Kim公园,d . Kim和y秋,“情感智能内容:用户表达自己的情感在内容”娱乐Computing-ICEC 2011施普林格,页391 - 394年,柏林,德国,2011年。视图:出版商的网站|谷歌学术搜索
3. 黄c . w .锣、w·傅和d·冯”语音情感识别的研究深刻的信念网络和支持向量机的基础上,“数学问题在工程ID 749604条,卷。2014年,7页,2014。视图:出版商的网站|谷歌学术搜索
4. p . Partila m . Voznak, j . Tovarek”模式识别方法和特性选择语音情感识别系统,”科学世界杂志ID 573068条,卷。2015年,7页,2015。视图:出版商的网站|谷歌学术搜索
5. h . Muthusamy k Polat和s . Yaacob”改善情感识别使用高斯混合模型和极端学习机在演讲和声门的信号,”数学问题在工程文章ID 394083卷,2015年,13页,2015。视图:出版商的网站|谷歌学术搜索
6. 戴锣,y, j .霁j . Wang和h的太阳,“情感分析的电话客户基于情感计算的抱怨,“计算智能和神经科学ID 506905条,卷。2015年,9页,2015。视图:出版商的网站|谷歌学术搜索
7. k .矢野和t . Suyama小说固定低秩限制脑电图空间滤波器估计movie-induced情感识别与应用程序,”计算智能和神经科学卷,2016篇文章ID 6734720, 12页,2016。视图:出版商的网站|谷歌学术搜索
8. w·魏问:贾,“加权特性为情感识别高斯核支持向量机,”计算智能和神经科学卷,2016篇文章ID 7696035, 7页,2016。视图:出版商的网站|谷歌学术搜索
9. w·魏问:贾、y .冯和g·陈,“情感识别基于加权融合策略的多通道生理信号,”计算智能和神经科学卷,2018篇文章ID 5296523、9页,2018。视图:出版商的网站|谷歌学术搜索
10. y . j . d . k . Kim曹,k . s .公园,“调解个人情感体验情感的相框,“环境智能和智能环境杂志》上,7卷,不。1,第113 - 99页,2015。视图:谷歌学术搜索
11. b . Ovčjak m . Heričko和g . Polančič”情绪如何影响移动服务验收?一个系统的文献回顾。”移动信息系统卷,2016篇文章ID 8253036, 18页,2016年。视图:出版商的网站|谷歌学术搜索
12. k . s . m . y . Kim公园,d . k . Kim和y . j .赵”的研究影响用户的情感变化的2 d和3 d视频情感内容,“韩国社会对电脑游戏,25卷,不。3、165 - 174年,2012页。视图:谷歌学术搜索
13. y . j . k . s .公园曹,d . k .金”创建一个框架,表达和共享用户的情感,“国际多媒体和无处不在的工程杂志》上,9卷,不。1,第442 - 425页,2012。视图:出版商的网站|谷歌学术搜索
14. e . j . Kim m . c .皮鞭,j·h·金et al .,“人类唤醒水平的研究评估使用分分析,“韩国人体工程学协会杂志》上卷,29号6,925 - 932年,2010页。视图:出版商的网站|谷歌学术搜索
15. m . Elgendi“指尖photoplethysmogram信号的分析。”当前心脏病评论,8卷,不。1,14-25,2012页。视图:出版商的网站|谷歌学术搜索
16. d . Snagita、p . Saurabh和m . Madhuchhanda“实时心率检测从PPG信号在嘈杂的环境中,”学报2016年国际会议上智能控制权力和仪表2016年10月,加尔各答,印度。视图:谷歌学术搜索
17. 张成泽,t . m . Kim Kim d禁令,b . Min和s . Kwon“Noise-robust PPG信号测量的算法,韩国通信与信息科学研究所杂志》上,38卷,不。12日,第1094 - 1085页,2013年。视图:出版商的网站|谷歌学术搜索
18. y黄,j·杨,p .廖,j .锅”融合的多通道情感识别面部表情和脑电图,”计算智能和神经科学卷,2017篇文章ID 2107451、8页,2017。视图:出版商的网站|谷歌学术搜索
19. n . Jatupaiboon s Pan-ngum, p . Israsena“幸福因为它使得基于脑电图的实时检测系统,”科学世界杂志文章ID 618649卷,2013年,12页,2013。视图:出版商的网站|谷歌学术搜索
20. e . m . m . Kim Kim哦,s . p .金”回顾情感状态估计的计算方法从人类的脑电图,”计算和数学方法在医学文章ID 573734卷,2013年,13页,2013。视图:出版商的网站|谷歌学术搜索
21. h . Cai j .汉y . Chen等人”因为它使得基于脑电图的普遍方法检测的抑郁症”,复杂性ID 5238028条,卷。2018年,13页,2018。视图:出版商的网站|谷歌学术搜索
22. n .壮族y曾庆红,l .通et al .,“情感识别脑电图信号使用多通道信息的EMD域,“生物医学研究的国际卷,2017篇文章ID 8317357、9页,2017。视图:出版商的网站|谷歌学术搜索
23. r·穆尼奥斯r .集中政策,c . Taramasco et al .,“因为它使得基于脑电图使用黑洞算法来提高情绪识别、”计算智能和神经科学卷,2018篇文章ID 3050214, 21页,2018。视图:出版商的网站|谷歌学术搜索
24. y . j . d . k . Kim曹,k . s .公园,“比较分析情感和生理反应的情感电影,”以人为中心的计算和信息科学,8卷,不。1,2018。视图:出版商的网站|谷歌学术搜索
25. c, s·h·黄h .公园,k . b .垫片”模式分类的生物信息认知人类的情感”,韩国学院院刊智能系统会议,15卷,不。3、306 - 311年,2005页。视图:出版商的网站|谷歌学术搜索
26. h·李和d k金”,发展情感反应图像的实时内容播放器系统诱导用户的情感,“《韩国信息和通信工程学院,18卷,不。1,第161 - 155页,2014。视图:出版商的网站|谷歌学术搜索
27. d . j . Kim金,美国安,公园,和m .重击,“大脑功能连接分析识别不同的虚拟现实的社会情感关系,”人机交互。对智能和隐式交互施普林格,页441 - 447年,柏林,德国,2013年。视图:出版商的网站|谷歌学术搜索
28. d k金,美国安,美国公园,和m .重击,“互动情感照明系统使用生理信号,”IEEE消费类电子产品卷,59号4、765 - 771年,2013页。视图:出版商的网站|谷歌学术搜索
29. j . d . Kim金、李、m .皮鞭和y秋,“互动情感内容使用便携式无线通信系统生物反馈设备,“IEEE消费类电子产品卷,57号4、1929 - 1936年,2011页。视图:出版商的网站|谷歌学术搜索
30. j·h·金,s·m·安j .美国公园,m . c .皮鞭和d·k·金”的基于XML的使用生理信号实时情感信息共享系统,”韩国信息技术学院杂志》上,10卷,不。3、205 - 211年,2012页。视图:谷歌学术搜索
31. m . c . c . j . Kim皮鞭,j·h·金et al .,”兴奋心血管反应的评估,研究”韩国人体工程学协会杂志》上11卷,第447 - 444页,2009年。视图:谷歌学术搜索
32. D.-G。哦,s。分钟,S.-O。Kwon,周宏儒。金,“有效PPG信号处理方法检测情感刺激,”韩国通信与信息科学研究所杂志》上,37卷,不。5,393 - 402年,2012页。视图:出版商的网站|谷歌学术搜索
33. h·k·杨,杨h . s . k . h . Min”加强情感的视觉内容基于情感模型提升吸收程度的比赛,”韩国社会对电脑游戏,25卷,不。2、171 - 176年,2012页。视图:谷歌学术搜索
34. j·w·歌”,基于内容的图像检索使用HSV颜色和统一的局部二进制模式,”韩国信息技术学院杂志》上,12卷,不。6,169 - 174年,2014页。视图:出版商的网站|谷歌学术搜索
35. j·k·张,s . t . Ryoo和m·j·荣格“实时图像情感检索定制的内容服务,“韩国社会对电脑游戏,24卷,不。2、169 - 176年,2011页。视图:谷歌学术搜索
36. e·s·李和h . j . Suk,“情绪反应照明色调关注放松和关注,“韩国社会的设计科学杂志》上,25卷,不。2,27-39,2012页。视图:谷歌学术搜索
37. h . j . Seok,”一个研究跨媒体颜色浓度之间的相关性和食欲的动机,”韩国社会的设计科学杂志》上5卷,第189 - 188页,2007年。视图:谷歌学术搜索
38. M.-Y。金,D.-K。金,Y.-J。曹”,研究互动情感内容的球员发展的平台,”《韩国信息和通信工程学院,14卷,不。7,1572 - 1580年,2010页。视图:出版商的网站|谷歌学术搜索
39. s . h .宋”情感内容的发展方向从应用情感技术通过分析成功案例,”韩国情感和感性的科学杂志》上,15卷,不。1,第132 - 121页,2012。视图:谷歌学术搜索
40. m . j . Kim皮鞭,j .哇,“情感识别的研究自适应过程通过使用时间参数的自主神经反应,”人机交互。新趋势施普林格,页77 - 84年,柏林,德国,2009年。视图:出版商的网站|谷歌学术搜索
41. m . h . Lee m . Kim皮鞭,d . k . Kim”评价PPG信号关于智能手机的摄像头,视频属性”《韩国信息和通信工程学院,19卷,不。4、917 - 924年,2015页。视图:出版商的网站|谷歌学术搜索
42. I.-B。荣格和K.-H。金”,研究分波和脉冲测量桡动脉使用数字电位计和指数加权移动平均滤波器,”朝鲜事务研究所的电气工程师,卷63,不。7,962 - 967年,2014页。视图:出版商的网站|谷歌学术搜索
43. h . m .李和d·j·金”,发展人类感性评价和生物反馈系统使用分,“朝鲜事务研究所的电气工程师卷,57号6,1087 - 1094年,2008页。视图:谷歌学术搜索
44. js。金工程学系。金”,设计和实现一个定制的内容服务系统,减轻用户的压力,”韩国内容协会杂志》上,11卷,不。2、101 - 112年,2011页。视图:出版商的网站|谷歌学术搜索
45. j . Scheirer和r·皮卡德”情感对象,“感知计算部分,麻省理工学院媒体实验室,剑桥,妈,美国,2010年,524号技术报告。视图:谷歌学术搜索

版权

版权©2019 Haena李和东马金。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。