无接触充电成为认知负荷识别基于眼动

文摘

认知超载不仅影响身体和精神疾病,而且会影响工作效率和安全性。因此,测量认知负荷的研究一直是认知负荷理论的一个重要组成部分。在本文中,我们提出一个方法来识别认知负荷的状态通过使用眼动数据以非接触的方式。我们设计了一个视觉实验引出人类的认知负荷高、低状态在两个光强烈的环境和整个过程中的眼动数据记录。12眼运动的特征选择通过使用统计测试。算法处理一些功能提出了提高识别率。最后我们使用支持向量机(SVM)分类高和低认知负荷。实验结果表明,该方法可以达到90.25%的准确率在光控制的条件。

1。介绍

在认知心理学领域,认知负荷是指脑力劳动的数量在工作记忆中使用。认知负荷总是与特定的任务,人们需要使用有限的工作记忆资源来完成这个任务。当任务的困难是控制在一定范围内,任务越复杂,需要更多的认知资源,这意味着更高的认知负荷。

在课堂上,老师经常需要结合学生的认知结构和性能来衡量学生的认知负荷状态,调整教学内容和策略。老师使用的方法是主观和经验。在远程教育系统中,由于缺少老师和学生之间的认知负荷评估过程,教学质量可能不会令人满意。因此,找到一种实时测量认知负荷的和客观的方法尤为重要。认知负荷测量的应用不仅可以在教育领域,同时也适用于汽车驾驶(1- - - - - -3),人机交互4,5),产品设计(6),等等。

有三种方法来测量认知负荷,这是主观的措施,行为的措施,和生理指标(7- - - - - -9]。主观措施干涉和简单的优点,但他们需要参与者采用内省的方法来评估负载水平,这可能导致偏差。更直接的行为措施。单个任务措施可以直接反映了参与者的认知努力,但指标任务相关。多任务措施更敏感和具有更高的有效性,但二级任务容易引起干扰的主要任务。生理指标测量认知负荷间接通过测试参与者的一个任务上的生理反应。虽然行为和主观措施允许详细的推论可以对运营商的心理工作负荷(10),生理指标可以为结果提供更高层次的客观性和瞬时性认知负荷。最重要的是,物理测量更适合实际应用。

常见的生理信号用来测量认知负荷包括HRV [11- - - - - -13),脑电图(10,13,14],GSR [15,16),和眼动信号17,18]。HRV,脑电图,GSR,参与者需要佩戴传感器,可能不方便和舒适。然而,眼动测量允许参与者被测量不戴任何电子设备。它使参与者更舒适和放松。

在本文中,我们建立一个客观的方法识别认知负荷的状态通过眼动数据的分析。我们使用眼动跟踪采集设备,选择特性相关认知负荷的状态,采用了一种新方法,使功能更加独立个体的变化,并利用支持向量机分类的高和低认知负荷状态。该方法可以实现高识别率的光控制条件下(90.25%)和光线变化条件(82.95%)。

2。方法

眼动跟踪是用来收集数据的过程中实验。眼动数据很容易受光(19),所以光的强度控制在实验环境。但是我们试图找到一个更健壮的识别方法。因此,我们建立了两种光强度模型:光控制模型和变化模型。

这项研究的目的是收集一系列的生理数据,允许我们确定受试者的认知负荷状态。在设计的实验中,参与者被要求确定并行两个部分。为了让参与者集中更多,我们添加了另一个人的任务。在任务参与者相互竞争,赢家谁有更好的识别精度会得到更好的待遇。

2.1。装置

实验需要隔离噪音和光线的房间中,实验者和参与者在独立操作领域,所以,他们不打扰对方。

实验设备包括三个电脑,通过网络互相连接;两个投影仪;一个眼动跟踪和一个视频摄像头;和测光表记录的光量,影响参与者的眼睛。

该地区为参与者的测试图所示1(一)。所有的电脑都是放置在实验者的操作区域。计算机C_A控制投影仪P_A (3000 lm)。投影仪(P_A)被用来提供室内照明。光线强度有两种模型:(1)光控制模式:投影仪(P_A)项目一个正方形到白墙前的参与者;的亮度强度预计广场设置为67.1勒克斯;(2)光线变化模型:投影仪(P_A)继续项目一个广场上墙;广场的亮度保持从最大强度79.9勒克斯的最小强度2.4勒克斯8年代的时期。

投影仪P_B用于项目实验材料的中心投影面积P_A(实验材料的大小面积53厘米40厘米),上面板的图所示1 (b)。使用电脑C_B E-prime运行。

眼动数据是通过使用一个EyeLink 1000桌面(SR研究公司)在这个实验中,这是一个眼动跟踪提供了一种非接触的方法记录数据的关键特性(EyeLink 1000桌面以下部分所示)。的采样率EyeLink 1000设置为500 Hz;只有单眼眼数据被记录。

EyeLink 1000桌面系统的关键特性

关键特性支持远程升级相机允许自由移动跟踪支持单眼和双眼记录附近没有电子参与者的头Camera-to-eye最佳40到70厘米的距离 跟踪范围940海里照明器可供暗适应环境

我们只有一个眼动跟踪,它必须放置在前面的参与者,所以两人无法记录的数据在同一时间。为了让参与者忽视这个问题,面前的相机被另一个参与者,它伪装成一个录音设备。

2.2。参与者

三十个学生男性和15个女性(15)自愿实验。参与者的平均年龄为21.4岁(SD = 1.27)。所有参与者提供货币补偿他们的时间和精力。参与者正常视觉和没有参加这样的实验任务。这个实验是当地伦理委员会批准;获得书面同意的参与者在实验之前。他们可以在任何时间和任何理由离开实验在实验。

有必要确保两人同时参与实验,所以有人退出实验会导致两人删除的数据。最后,我们收集了24参与者的数据(三组数据删除,因为实验的参与者退出;参与者给很低的事实判断准确性可能表明低浓度;这些参与者的数据不是在使用)。

2.3。实验设计和程序

到达实验室后,参与者坐在一个安静的房间里阅读并签署知情同意和填写问卷(为了消除吸烟的影响,药物、睡眠、疾病,等等)。之后,他们搬到实验房间,调整到一个舒适的坐姿。然后他们将获得投影区域上的指令,有培训审判公开任何潜在的问题(误解、设备、操作等)。

会议正式开始之前的任务,基本生理信号30年代休息期间(t0)记录的参与者放松,看着一个注视点。随后的两个参与者完成8试验,和每个试验如图十的判断2(一个)。准确的判断是显示每次试验后,然后参与者一分钟的休息。

前两个实验(t1, t2)在光控制模型(见图2(一个)),和其他两个试验(t3、t4)在光线变化模型。在t1,玩家1被要求法官和球员2被要求观看。在t2,两名球员的任务切换。t3和t4的操作模式相同的t1和t2。

四个试验只是整个实验过程的一半。因为房间里只有一个眼动跟踪,我们只记录玩家1的数据。然后实验者告诉参与者,他们已经完成了一半的实验,所以两个参与者需要交换座位。相同的四个试验将被重复,玩家2的数据将被记录下来。在图所示的实验过程2 (b)。

通过分析24参与者的主观报告,显示,参与者在高认知负荷状态时做判断任务和在低认知负荷状态时看别人的操作。

3所示。数据采集和分析

桌面系统记录眼动数据。和三个报告(样本报告,固定报告,试验报告)数据派生的数据查看器(SR)的研究。我们使用Matlab计算功能(意思是,标准差和变异系数)的报告,然后选择特性有显著差异在统计分析两个认知负荷状态。在整个过程中有两个问题:(1)缺失数据的瞳孔大小当参与者眨眼睛,(2)效应的个体差异选择的特性。

3.1。预处理

眼动跟踪是使用瞳孔区(瞳孔图像像素的数量)来表示瞳孔大小。然而瞳孔大小的记录将会丢失如果会发生闪烁。缺失的数据来解决这个问题,我们确定眨眼发病和抵消像素数据的实例,然后取代眨眼数据通过线性插值(20.]。前后有两个山峰眨眼(见图3(一个));为了消除异常数据,我们使用30 - 60发作前眨眼样本作为出发点和眨眼抵消后30 - 60样本作为结束点。最后,移动平均滤波器被用于平滑线性插值后的数据(见图3 (c))。预处理过程如图3。

3.2。特征选择与个体差异

均值、标准差和变异系数计算每个报告的特性,而这些特性的24个参与者评估通过配对样本t以及分别。在光控制的条件下,有10个特征(表1)显示高之间的显著差异的认知状态和较低的认知状态。也有(表9特性2)在光线变化条件下表现出显著差异。

表的功能的一部分1和2发现了许多其他学者的研究和验证。眨眼之间间隔是正相关的心理工作负荷,和一个更长的眨眼间隔反映了学科更多的关注给予一个更艰巨的任务(21,22]。瞳孔直径是用来测量认知负荷(23]。峰值的扫视速度被用来反映心理工作负荷(24]。

一些功能单一的参与者之间的明显不同的高、低认知负荷条件,但这些差异如果所有24参与者被认为是被减少。以眨眼频率为例;大多数参与者的眨眼频率高认知负荷低于低认知负荷状态(如图4);然而,由于个体差异,不仅存在一些不同的结果在某些参与者(如参与者在图234),但也有一些参与者的闪烁频率较高的认知负荷可能会高于另一个参与者(如参与者在图11和124)。因此,直接使用闪烁的频率作为分类的特征不同认知负荷不会产生高识别率,因为个体差异的影响。

减少的影响,使识别的特性更有用,我们使用了一个个体差异去除方法。我们将阐述闪烁频率的方法通过使用功能为例。

我们假设眨眼频率受到两个方面的影响,即认知负荷和眨眼的习惯。实验环境是每个参与者严格控制并经历相同的任务,因此我们进一步假设闪烁频率上的认知负荷的影响基本上是相同的。因此个人眨眼的习惯导致闪烁频率的差异。

记住上面的假设,我们观察到图5显示所有的参与者在轻松的眨眼频率(基线)状态和较高的认知状态。每个数据点代表一个参与者,图的水平轴(轴)是放松的状态下的闪烁频率收集在休息期间,和纵轴(轴)下的闪烁频率高认知负荷状态。这些点表现出线性趋势;线性拟合结果(,)。

获取引发的闪烁频率只有认知任务,我们翻译一个数据点,如参与者1图5。产生的拦截新行被认为是引发的闪烁频率只有认知任务。这种假设是基于知识的,拦截点(0,),骗子在放松的状态是零频率;换句话说,这里没有个体差异;每个人都有0基线闪烁频率。

图6(中间,右)显示了所有参与者的框块眨眼频率较高的认知和较低的认知状况。左双显示原始数据、中间和右侧的一对显示数据后通过减去方法消除个体差异(20.)和方法(系数法),分别。看到的是功能系数法集中处理,没有异常值,有两种状态下的最小重叠比率。这些结果表明,该方法可以在很大程度上消除个体差异。

我们应用4特性系数法,如表所示3。这四个特性有一个共同的特点,即参与者之间的个体差异的特性产生显著影响,并且每个特性值的线性相关性认知负荷状态和放松状态。影响系数(给出)的每个特性表3。

瞳孔大小的特性,其系数接近1。在这种情况下,系数法和消去法(20.)基本上是相同的,因此系数法可以被认为是减法的扩展方法。

为了验证消除个体差异的过程中,可以改善单一特征的识别性能,原料特性和加工特性的24个参与者被随机分为两组作为训练和测试组的支持向量机(SVM)分类器,分别在两个光变化和控制条件。该方法可以产生高分类(识别高认知负荷从低认知负荷)在这两个条件。结果见表重复100次4。

4所示。与支持向量机分类

议会提出的支持向量机是一种监督学习机器和Vapnik25]。它主要用于小样本数据。分类器可以提供最小化误差和几何边缘最大化。一旦考虑到标签的训练数据,支持向量机可以输出最优超平面分类新测试数据。

支持向量机已广泛应用于人机交互领域和情感计算。张成泽et al。26)使用支持向量机作为分类器来分析眼动数据,取得了良好的结果。所以我们使用支持向量机作为分类器和组合的操作消除个体差异对认知负荷状态进行分类。

支持向量机是由使用LIBSVM工具实现(27]。支持向量机类型C-SVM和内核函数是径向基函数,值为1,值是0.07。

数据集由24参与者的数据被用来训练和测试分类器。数据集的详细信息如下所述:(1)每个参与者都有10特征光控制条件下和9光变化条件下的特性。我们使用支持向量机来完成认知负荷状态的识别不同的光线条件下。(2)光控制条件下,24参与者被随机分成两组(培训组和测试组);每组有12个参与者。训练数据集(2410,12个参与者2认知负荷状态,和10个特性)是由培训组的特征。同样,测试数据集是由培训组织的特性。(3)在光线变化条件下,数据也使用相同的操作(2)。训练数据集和测试数据集的结构是249(12参与者2认知负荷状态,和9功能)。

5。结果和讨论

我们把训练数据集和测试数据集随机选择支持向量机分类器,然后有一个识别率。我们重复这个程序,用100倍的平均识别率为最终结果。为了显示消除个体差异的性能改进,我们使用了原始特征的识别率对比。

我们调查这是最好的特征组合的最高识别率。识别利率的函数特性如图的数量7。它是形成图75或6的组合功能可以达到的最高识别率(除了raw-features-light-change条件,6功能可以得到最好的结果,只有0.77%不到的最好)。识别率会降低如果更多/更少的特点。可能是因为更少的特性无法携带足够多的有用的信息,和更多的功能会导致更多的干扰。

通过使用最好的特征组合,四个条件表中识别利率5。可以看出分类率可以高达90.25%控制条件,如果个体差异。使用的原始特性,识别率为85.17%。这些结果支持了这样的观点,即消除个体差异可以提高识别率。

在实践中,如果收集眼动数据允许放松的状态下,那么可以提高识别率,消除个体差异。在大多数情况下,数据不能得到放松的状态下。通过使用我们提出的功能组合,可以实现一个可接受的识别。

通过比较这两个实验光环境中,我们发现,无论有多少的功能以及这些功能是否被系数法处理,光控制条件会有较高的识别率。系数法甚至没有很好的函数根据变化情况。这种现象是由光强度的变化引起的。光强度显著影响眼球运动功能;认知负荷信息的特性是被光强度的影响,导致识别率较低。建议一个恒定的环境光时应该保持这种无接触充电成为方法使用。

6。结论

在本文中,我们提出了一种无接触充电成为方法识别人类的认知负荷状态基于眼动信号。

我们设计实验引发高和低认知负荷。照明环境也设置为光控制和改变环境。

我们提出了一个系数法消除个体差异的影响。实验结果证明,该方法可以提高最终的识别率。

识别的特征组合也进行调查,发现5或6功能可以实现更高的识别率。光控制条件下,识别率可以达到高达90.25%。

光线变化条件将大大影响识别率。光强度的变化会导致眼球运动的变化,这将隐藏的特性带来的认知负荷。因此建议设置尽可能恒定光强获得更好的识别结果在实践中如果使用这种方法。

相互竞争的利益

作者宣称没有利益冲突。

确认

作者要感谢中国国家自然科学基金委的支持(补贴。61301297也没有。61472330),基础研究基金为中央大学(没有。XDJK2013C124),西南大学博士(没有基础。SWU115093)。

引用

1. j . Engstrom e·约翰逊,j . Ostlund”视觉和认知负荷的影响在真实和模拟高速公路开车,”交通运输研究F部分:心理学和行为,8卷,不。2、97 - 120年,2005页。视图:出版商的网站|谷歌学术搜索
2. d . Lamble t Kauranen、m . Laakso和h . Summala“认知负荷和检测阈值在汽车下面的情况:安全问题在开车时使用移动电话(手机),“事故分析和预防没有,卷。31日。6,617 - 623年,1999页。视图:出版商的网站|谷歌学术搜索
3. k . Thulasimani和k . Srinivasagan驾驶员疲劳状态识别与基于像素警告计划使用眼球追踪,世界科学院、工程和技术,”国际期刊的计算机、电子、自动化、控制和信息工程,8卷,第2041 - 2036页,2015年。视图:谷歌学术搜索
4. a . Gevins和m·e·史密斯,”神经生理学措施的认知工作负载在人机交互过程中,“工效学科学的理论问题,4卷,不。1 - 2、113 - 131年,2003页。视图:出版商的网站|谷歌学术搜索
5. p·a·查尔默斯”的角色认知理论在人机界面中,“电脑在人类行为,19卷,不。5,593 - 607年,2003页。视图:出版商的网站|谷歌学术搜索
6. n公布于众,j . Moultrie克拉克森和p . j .,”看到的东西:消费者视觉反应在产品设计领域,“设计研究,25卷,不。6,547 - 577年,2004页。视图:出版商的网站|谷歌学术搜索
7. s·g·希尔,惠普Iavecchia, j·c·拜尔斯a.c. Bittner Jr ., a . l . Zaklad和r . e .基督,“比较四个主观工作负载等级量表,”人为因素,34卷,不。4、429 - 439年,1992页。视图:谷歌学术搜索
8. w·w·Wierwille”机组人员的心理工作负荷的生理指标,人为因素,21卷,不。5,575 - 593年,1979页。视图:谷歌学术搜索
9. r . c .实证分析和w·w·Wierwille”行为措施的机组人员的心理工作负荷,人为因素,21卷,不。5,549 - 574年,1979页。视图:谷歌学术搜索
10. k . Ryu和r . Myung脑力负荷的评价与测量基于生理指标在跟踪和心算的双重任务,”国际工业工效学杂志》上,35卷,不。11日,第1009 - 991页,2005年。视图:出版商的网站|谷歌学术搜索
11. 崔t . k .弗雷德里克斯s d j·哈特,大肠的屁股,和a . Mital”调查心肌有氧能力作为衡量物理和认知负载,”国际工业工效学杂志》上,35卷,不。12日,第1107 - 1097页,2005年。视图:出版商的网站|谷歌学术搜索
12. l . j·m·穆德“心率和呼吸的测量和分析方法在应用环境中使用,“生物心理学,34卷,不。2 - 3、205 - 236年,1992页。视图:出版商的网站|谷歌学术搜索
13. g·f·威尔逊,分析飞行员在飞行过程中使用多个心理生理心理工作负荷的措施,”国际航空心理学杂志》上,12卷,不。1,3-18,2002页。视图:出版商的网站|谷歌学术搜索
14. e . Haapalainen j . f . Forlizzi s . Kim和a·k·戴伊“评估认知负荷,Psycho-physiological措施”学报》第12届国际会议上无处不在的计算主要的10)ACM,页301 - 310年,哥本哈根,丹麦,2010年9月。视图:出版商的网站|谷歌学术搜索
15. c . s . Ikehara和m·e·克罗斯比”与生理传感器评估认知负荷,”学报》第38届夏威夷国际会议系统科学(HICSS 05),295页,2005年。视图:谷歌学术搜索
16. y Shi, n . Ruiz r . Taib e . Choi和f·陈,“皮肤电反应(GSR)作为一个认知负荷指数,”25日SIGCHI会议程序在计算系统人为因素(x ' 07)ACM,页2651 - 2656年,圣何塞,加州,美国,2007年5月。视图:出版商的网站|谷歌学术搜索
17. j·比蒂和b . Lucero-Wagoner瞳孔系统”手册的心理生理学,2卷,第162 - 142页,2000年。视图:谷歌学术搜索
18. s t·伊克巴尔·d·Adamczyk x郑,和b·p·贝利”对索引的机会:理解任务执行期间心理工作负荷的变化,”SIGCHI会议程序在计算系统的人为因素ACM, 320,页311 - 2005。视图:谷歌学术搜索
19. b·韦恩·d·惠特克,d·b·艾略特和n . j .菲利普斯“light-adapted瞳孔大小在正常人体,影响因素”调查眼科及视觉科学,35卷,不。3、1132 - 1137年,1994页。视图:谷歌学术搜索
20. m . Pedrotti m . a . Mirzaei a·特德斯科et al。”自动压力分类与瞳孔直径分析”,国际期刊的人机交互,30卷,不。3、220 - 236年,2014页。视图:出版商的网站|谷歌学术搜索
21. m . k .荷兰和g Tarlow称,“闪烁,精神负担。”心理上的报告没有,卷。31日。1,第127 - 119页,1972。视图:出版商的网站|谷歌学术搜索
22. m . k .荷兰和g Tarlow称,“眨眼和思考,知觉和运动技能第41卷。。2、403 - 406年,1975页。视图:谷歌学术搜索
23. m . Pomplun和美国Sunkara瞳孔放大作为人机交互认知负荷的指标”人机交互程序的国际会议2003年6月,克里特岛,希腊,。视图:谷歌学术搜索
24. l . l . Di史塔西,r·雷纳,p . Staehr et al .,“眼跳峰值速度敏感性心理工作负荷的变化,“航空、空间和环境医学,卷81,不。4、413 - 417年,2010页。视图:出版商的网站|谷歌学术搜索
25. c·科尔特斯和诉Vapnik支持向量网络。”机器学习,20卷,不。3、273 - 297年,1995页。视图:出版商的网站|谷歌学术搜索
26. Y.-M。张成泽,r . Mallipeddi H.-W s . Lee。夸克,m·李,“人类意图识别基于眼球运动模式和瞳孔大小变化,“Neurocomputing卷,128年,第432 - 421页,2014年。视图:出版商的网站|谷歌学术搜索
27. c c。Chang和C.-J。林,“LIBSVM:支持向量机的库,”ACM智能交易系统和技术,卷2,不。3、第二十七条、第396 - 389页,2011年。视图:出版商的网站|谷歌学术搜索

版权

版权©2016年鑫刘et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。