使用基于人工智能的分类技术处理视觉短时记忆评估期间收集的EEG数据

摘要

视觉短时记忆（VSTM）是指在短时间内记忆少量视觉信息（如颜色和形状）的能力。VSTM是短期记忆的一部分，它可以保存长达30秒的信息。在这篇文章中，我们提出了研究结果，其中我们分类的数据收集使用脑电图（EEG）在VSTM实验。这项实验是由12名参与者进行的，要求他们尽可能多地记住这两幅图像中的细节，显示时间为1分钟。第一次评估是在一个孤立的环境中进行的，而第二次评估是在其他参与者面前进行的，目的是增加考生的压力。脑电数据的分类采用四种算法：朴素贝叶斯、支持向量、KNN和随机森林。结果表明，基于人工智能的分类方法可以成功地应用于所提出的方法中，因为我们能够在90.12%的时间内正确分类图像的顺序，在90.51%的时间内正确分类显示图像的类型。

1.介绍

视觉短期记忆(Visual short-term memory, VSTM)被定义为在短时间内记住少量视觉信息的能力，如颜色和形状。1］．有许多不同的测试旨在确定VSTM的属性，比如VSTM的容量、被试能够记住信息的时间，以及不同外部因素的影响。VSTM是短期记忆(STM)的一部分。被保存在VSTM中的信息可以通过工作记忆进一步处理，可以转化为长时记忆，也可以直接被遗忘。短时记忆有两个主要特点:容量有限和时间有限。

短期记忆的容量被限制在7个元素内(正负2个元素)[2］．短期记忆能力几乎是恒定的，因为不同的人可以记住或多或少相同数量的元素。元素记忆技能还取决于其他因素，如单词的长度，与刺激相关的感觉，以及其他个人因素。STM可以保存信息长达30秒。然而，如果这些信息是重复的或者是有意义的，那么这些信息是可以被记住的。

工作记忆或操作记忆是一组过程，允许我们保存和操作临时数据，并执行复杂的认知活动。工作记忆是一种STM。大脑接收的视觉或音频材料是临时存储的，但它是主动操作的。存储和操作这两个过程是集成的通过有意识地集中注意力来控制情绪[3.］．

Baddeley和Hitch介绍了工作记忆的多组分模型[4，5]。该型号的最新版本[1]由三个系统组成，其中包括保存和处理信息的组件。第一个系统是中央执行系统，作为一个监控系统，负责将注意力引导到相关信息上。它还负责协调其他“从属”子系统和组织执行某些行动所需的活动。第二个系统是语音回路，它充当一个从子系统。它负责管理和存储在存储器中的口头和书面材料。第三个感兴趣的系统是视觉空间画板，它负责管理和存储视觉和空间信息。视觉空间画板负责VSTM。

VSTM可以存储接收到的视觉信息，也可以在以后使用记住的视觉信息。VSTM对正常的认知功能和日常活动有重要作用。任何对VSTM的破坏都可能会减少信息的数量和记忆时间。

神经心理学评估使VSTM的测试和评估成为可能。最常用的实践包括韦克斯勒量表中的经典直接和间接数字测试；科克曼、柯克和肯普的NEPSY测试（1998年起）；连续性能测试（CPT）；记忆伪装测试（TOMM）；视觉组织测试（VOT）这些测试不仅测量视觉短期记忆，还测量短期记忆、反应速度、工作记忆、视觉扫描、环境感知、上下文记忆、命名、区分和数据处理速度[6］．

VISMEM是一个非常重要和经常使用的测试，它是使用经典的TOMM创建的[7］．该测试包括向受试者展示一幅图像一段有限的时间，通常在60-70秒左右。在这段时间里，受试者的任务是看着图像，记住背景，并尽可能多地记住图像中的细节。在给定的时间过期后，图像被删除，被试给出关于图像的不同问题的答案[8］．

本研究的主要目的是确定被试在进行视觉短期工作记忆测试时的情绪状态与测试结果之间可能存在的相关性。换句话说，我们试图确定是否有可能预测测试的结果，以及在多大程度上，基于被测者的情绪状态。第二个目标是确定外部因素的影响，更准确地说，是测试过程中在场的观众对被试的情绪状态和测试结果的影响。我们预计，当观众在场、参与者的行动和结果对观众是透明的、可见的时候，压力会增加。

我们开发了一个定制的Web应用程序，用于执行实验。在第一步中，应用程序在限定的60秒时间内显示特定的图像(图像a或图像B)(在这段时间内，受试者试图记住尽可能多的细节)。在给定的时间过期后，图像将被删除，应用程序将自动转向与图像内容相关的问题。

每个实验参与者都被测量了两次。第一次评估(第一幅图)是在一个孤立的环境中进行的，而第二次评估(第二幅图)是在其他参与者面前进行的，目的是增加考生的压力。在这两种情况下，参与者的心理状态数据都是在实验期间收集的。

为了深入了解参与者的心理和情绪状态，我们使用了脑电图（EEG）设备，该设备以时间同步的方式记录实验期间的EEG状态。我们开发了一个用于处理原始信号的EEG设备应用程序，名为MyEmotivator提取六种情绪状态:兴趣、兴奋、投入、压力、放松和专注。通过人机交互监测分析平台(HCI-MAP)同步受试者在Web应用程序中的动作数据和EEG设备记录的受试者精神状态数据[9，预期错误率<0.001 s。

实验过程中收集的数据(脑电数据、应用场景下的动作数据(图像呈现、图像隐藏、问题呈现等))采用朴素贝叶斯、支持向量机、支持向量机等四种分类算法进行分析。 -最近邻(KNN)和随机森林。在本文中，我们将数据分为三类:(1)图像显示顺序(图像显示第一或第二(即，有或没有观众))，(2)图像类型(图像A或图像B)，(3)答案的正确性(图像，正确的，错误的)。

从分类结果可以得出几个结论。首先，分类结果表明，利用被试的情绪状态和问题持续时间间隔，当被试在观众面前回答问题时，准确率最高，为90.12%。其次，通过对参与者情绪状态的定量分析，我们能够以90.51%的准确率确定参与者在回答问题之前正在观看哪张图像(图像A或图像B，无论它是连续第一张还是第二张)。然而，对于答案的正确性，我们并没有取得任何显著的分类结果。

2.相关工作

EMOTIV EPOC+装置用于研究。该设备能够隔离P300低压信号(2-5)μV)，被认为与刺激评价或分类有关[10，11]与EEG相比，它的低功耗意味着该设备可以将该信号与测量过程中产生的背景噪声区分开来。总体结论是，该设备可作为可靠的脑机接口（BCI）。

在之前的研究中[12]，作者调查了学生的情绪状态，这种情绪表现为从智能教学系统（ITSs）收集的反馈信息引起的挫折和兴奋。通过分析获得的数据，作者开发了一个系统，使学生的情绪可以预期，并相应地修改反馈信息。

同样，对不同视觉刺激的情绪反应在两个独立的作品中进行了研究[13，14］．第一个实验研究了在放松状态下和想象两种不同类型的图片(面孔和房子)时识别脑电图模式的能力，准确率达到了48%。在第二项工作中，作者开发了一种解释脑电图值的方法，以区分参与者在观察愉快和不愉快的图片时的心理模式与中性内容相比。

Esfahani和Sundararajan工作中描述的实验目标[15]是对快乐水平的检测。作者还测试了一种纠正机器人行为以提高快乐水平的方法。尽管该实验在少数参与者（四名男性）身上进行，但平均79.2%的情况下实现了正确的分类。

在我们的一篇论文中，我们描述了应用人工智能和脑电图信号改进电子评估的一些步骤[16］．第一个分析指出，在电子测试中可能使用某些题型，以便在评估过程中影响学生的心理状态。例如，通过插入带有一个明显正确答案的“有趣”问题，这个系统可以减少学生的压力。此外，最有趣的问题都是容易的问题，而使用没有正确答案的“不可能”问题可以增加学生的注意力。

如果一种情况对一个人来说非常重要，那么对于行动或行为，很少只有一种情绪或倾向。通常情况下，会有多种情绪，或平行发生，或依次发生。因此，压力和放松虽然是不利的感觉，但有可能在同一时刻达到相同或相似的水平。当被试观察一个包含多个细节的图像时，为了尽可能多地记住细节，需要在精神和情感上都投入精力。因此，压力在这种情况下增加了。这种压力是有用的，因为它有助于实现目标，并在参与期间提高效率;它被称为良性压力[17］．

根据一项研究[18研究发现，复杂场景的情绪性图像与带有物体的中性图像相比，对视觉短时记忆有不同的影响。压力总是存在的，但在复杂的情感图像中，压力的水平更高。观察到的图像的视觉复杂性的差异也会影响记忆效率——复杂的情绪图像比中性图像更容易记住，细节也更多。情绪激动会增加杏仁核和海马体的活动，从而提高记忆效率。

另一项研究[19]研究了在VSTM评估过程中，不同时间间隔内呈现的视觉信息如何影响再现的精度和可靠性。结果表明，在首次评估VSTM后，繁殖效率最佳。研究还表明，在应用两个或多个VSTM测试的情况下，如果在较短的时间间隔内进行评估，与较长的时间间隔（数小时或更长）相比，繁殖效率更好。

在一个研究中[20.，研究人员使用可穿戴的脑电图仪测量了注意力集中和工作记忆这两种认知技能。通过训练几个不同的分类器来预测上述技能的三个层次(低、中、高)，他们在集中注意力和工作记忆方面的准确率分别为84%和81%。

3.应用程序和传感器

这项人机交互的研究基于使用EEG设备传感器。EEG是一种非侵入性方法，用于跟踪脑神经元在规定时间间隔内的电压变化。除了医学应用（例如癫痫诊断）外，收集的数据可用于研究人脑对特定时间范围内发生的特定事件的反应。EMOTIV EPOC+装置[21]被用来测量受测者情绪特征的可变性，这取决于周围环境的变化。EMOTIV EPOC+是一种14通道无线脑电图仪，用于测量大脑皮层活动。对原始脑电图数据的访问使该设备适用于开发脑机接口应用。制造商开发了从我们在研究中使用的原始脑电图数据中提取六种情绪状态(兴趣、参与、兴奋、压力、放松和专注)值的算法[22］．

虽然有一些类似的解决方案(例如，实验室流层https://github.com/sccn/labstreaminglayer)为了收集和同步来自不同传感器设备和客户端应用程序的数据，在本研究中，我们使用了HCI-MAP[9］．我们为每个传感器开发了一个独立的应用程序，可以通过HTTP(S)协议和HCI-MAP API向平台发送数据。每个应用程序都被实现为使用相同接口发送数据的Web应用程序(图1）.

使用多个传感器时的主要挑战之一是收集数据的聚合[23］．在分布式环境下进行复杂的实验时，为了在远程服务器上进行有效的测量和正确的数据融合，不同传感器的时间同步至关重要。将数据处理转移到远程服务器的一些原因不仅是实验参与者的数量增加，而且还需要对收集的数据进行快速处理，并以生成反馈的形式将结果返回给主应用程序。

３．１．VSTM应用程序

VSTM应用程序已实现为现代交互式Web应用程序。使用的技术包括HTML5、CSS和JavaScript。该应用程序包含三个主要部分:初始化屏幕、带有要记忆的图像的屏幕和问题。当VSTM应用程序加载时，将显示初始化屏幕，在此过程中，将与HCI-MAP服务器进行时间同步。时间同步对于将应用程序数据与从传感器收集的数据进行聚合至关重要。测试的主屏幕图像如图所示2．

受试者在有限的时间内尽可能多地记住图像中的细节。在可用时间到期后，图像将被删除，并显示问题。图中显示了带有示例问题的屏幕3.．

选择问题来练习VSTM，并验证受试者从图像中记住了多少细节。受试者回答问题的时间有限，这些问题显示在屏幕上方。要求被试在进入下一个问题之前必须回答这个问题(通过点击“下一个问题”按钮)，并且不可能回到上一个问题。

最初的测试结果会在测试完成后立即显示出来，有两种可能的方式。当受试者回答完所有的问题，或者定时器超时时，计算结果并将正确答案的数量显示给用户。整个会议记录在HCI-MAP上，可以导出为CSV文件，以便进行更详细的定量/定性分析。每个会话都有几种由Web应用程序触发的事件类型，并将会话记录到HCI-MAP上。这些活动包括:(一)image_presented:事件被触发时，图像显示给被摄对象(ii)image_timeout:事件，当时间超过可用时间时触发(3)image_removed：当图像不再对对象可见时触发事件(iv)quiz_started事件在测验开始时被触发(v)question_shown:事件在向主题显示新问题时触发。由于没有返回上一个问题的选项，这个事件意味着用户已经回答了这个问题并进入下一个问题(vi)quiz_completed:事件在受试者回答所有可用问题时触发

后quiz_completed事件中，受试者答案的完整列表被发送到HCI-MAP。利用从传感器接收到的数据，可以进行进一步的分析。例如，通过收集眼球跟踪数据，可以创建一个热图，它显示了用户大部分时间用红色查看的图像区域。可以进一步分析热图，并查看用户查看的位置与正确/错误答案比率之间的相关性。

３．２．MyEmotivator

MyEmotivator该应用的开发目标是通过使用EMOTIV EPOC+界面实时记录和显示六种情绪状态(兴趣、参与、兴奋、紧张、放松和专注)4)。该应用程序被用来测量受试者的情绪特征的可变性，取决于环境的变化。我们的目的是获取实验数据，以了解不同的外部因素对被试情绪状态的影响，并进行后续分析。

该应用程序支持两种保存数据的方法:本地保存在测量设备上，远程保存通过将收集到的数据发送到服务器(图)4,部分4）.选择所需的EPOC+设备将启动设备与应用程序的连接，在常规条件下通常需要1到2秒。定义了信号质量的三个层次:无信号、坏信号和好信号。根据信号级别，连接器将在主屏幕上用不同的颜色(红色、橙色或绿色)标记(如图所示)4,部分2）.

每个信号的默认采样频率是每秒两次(500毫秒)。6个采样值(兴趣、参与、兴奋、压力、放松和专注)的范围都在0 - 100之间，其中100是给定用户的最大情感水平，0是理论上的最小值。

３．３．HCI-MAP

HCI-MAP用于同步从客户端应用程序和各种传感器收集的数据，实时进行数据聚合和处理，并以合适的格式返回得到的结果供计算机进一步分析或人工解释(图)5）.目前支持的传感器有脑电图(EEG)、眼球追踪(eye tracking)、面部情感识别(facial emotion recognition)和老鼠追踪(mouse tracking)传感器。然而，通过开放平台接口可以轻松实现与其他传感器的连接。除了传感器，使用相同的界面，平台可以接收用户应用程序的信息。数据不仅可以以时间序列(CVS格式)的形式从平台导出，还可以以更复杂的报告形式导出(例如，以热图的形式用眼位置可视化记录用户界面)。

其中一个主要挑战是收集数据的时间同步。为此，开发了网络时间协议（NTP）[24]，在可能存在数据传输延迟的环境中，允许从不同来源收集的数据进行时间同步。使用HCI-MAP时，所有传感器时间同步，误差范围在-0.5 ~ +0.5 ms。

HCI-MAP使用TCP/IP网络栈，通过HTTP(S)协议与传感器通信。与一些传感器的通信是直接的。例如，监视鼠标光标位置的软件被实现为在客户端计算机上运行的应用程序。另一方面，一些传感器与平台间接通信。例如，在Android平板电脑上运行的从EEG传感器向平台传输数据的软件，通过蓝牙协议与EEG设备本身进行通信(图)6）.

一般来说，只要它支持TCP/IP(即HTTP(S)协议)，就可以将任何设备连接到平台。HCI-MAP的服务器部分的托管可以在本地网络中完成，也可以在Internet上可用的云环境中完成。然而，尽管可能使用不同的和多个传感器，在本研究中，我们仅从VSTM Web应用程序、EEG设备、眼动仪和鼠标收集数据(事件和状态)，而仅使用脑电图数据(由VSTM应用程序事件采样)进行分析。包含来自其他传感器的数据可能会显著改善实验，但需要在实验设计和数据分析中进行重大修改。

4.材料和方法

12名受试者，分为两组，参加实验。在两次录音过程中，每个受试者都被呈现两张图像，没有休息。第一张图像在一个孤立的环境中显示，第二张图像显示在观众面前。第一组受试者被呈现图像a作为第一张image和图像B作为第二幅图像。第二组受试者按照图像的相反顺序呈现（图像B第一幅和图像A第二幅）。受试者在测试期间头戴脑电图设备，并使用MyEmotivator软件记录整个会话。测试设置如图所示7．

在测试开始时，给受试者看一幅图像一分钟，并给出足够的指示，让他们尽可能多地记住细节。之后，受试者有2分钟的时间回答10个关于图像细节的问题。测试结束后，正确答案的数量会显示给受试者。

我们获得了11个完整的测量结果。对于每个用户，我们有两组数据，一组与第一个呈现的图像相关，另一组与第二个呈现的图像相关。最后，我们有23个有效的数据集用于分类——11个完整数据集（两幅图像）和一个包含12号参与者部分数据的数据集（在观看连续第二幅图像A时）。

收集的数据按照参与者编号、问题编号、图像类型(图片A或图片B)、图像观看顺序(图像第一或第二)和答案的正确性进行组织，使用以下特征。

4.1. 六种情绪状态的平均值

从脑电图信号中收集的测量到的情绪状态值是绝对的，范围从0到100不等。我们使用了三个特性(最小的，最大的,平均值)。因此，我们总共有18个功能(兴趣最小值、兴趣最大值、兴趣平均值、粘性最小值、粘性最大值、粘性平均值等)。这些特征的值是在两个连续的时间间隔内确定的question_shown事件（包括第一次事件）image_presented最后一个quiz_completed事件）。为每个参与者、图像和问题计算特征。例如，在回答问题1时，当图像a作为没有观众的第一张图片呈现时，我们得到了参与者1的每个情绪状态的最小值、最大值和平均值。

4．2．回答问题或查看图像的时间

通过使用开发的HCI-MAP，我们能够实现所有传感器和应用数据所需的同步精度（<5 毫秒误差）。从VSTM应用程序发送的触发事件以毫秒为单位进行记录，这使我们能够获得参与者回答每个问题和查看图像所用的确切时间段。对于每个用户会话，此功能总共有11个值（10个问题和1个图像显示周期）。

4．3．六种情绪状态的标准化平均值

不同的人的个性特征会导致对外界刺激的情绪反应有很大的差异，这反映在被测情绪状态的最大值和最小值的差异上。为此，我们引入了一个新的相对特性:归一化平均价值情感状态。该特征描述了整个会话的每个情绪平均值与最大情绪值之间的关系。计算公式:

特征值的取值范围为0 ~ 1。通过在分类中使用它，在某些情况下，我们将成功分类的百分比提高了大约10%。

在我们的实验中，我们做了几个假设。第一个因素与测试期间观众在场有关。我们预计观众的出现会分散参与者的注意力，这将表现为更多的错误答案，以及在压力和焦点水平上的显著差异，这可以在我们的定量分析中发现。另一方面，我们预期观众的存在会增加参与者的压力，这可以通过分析EEG数据来检测。此外，我们预计，与回答问题相比，参与者在观看图像时注意力会更集中，而对于参与者不知道答案的问题，压力会增加。

5.结果和讨论

5．1.分类结果

在本文中，我们使用三个不同的类别对数据进行分类:(1)显示图像的顺序(第一或第二图像显示(即，有或没有观众))，(2)图像类型(图A或图B)和(3)答案的正确性(图像，正确或不正确)。分类采用四种算法:朴素贝叶斯、支持向量机、KNN和随机森林。本文只给出了最好的两个结果。

5.1.1. 显示图像的顺序

每个分类器都有两类:在一行中显示的第一幅图像和第二幅图像。分类是在有和没有(仅使用脑电图数据)的情况下进行的持续时间特征作为分类属性。

如果持续时间如果使用了功能，则使用 -最近邻分类器, ，并以欧几里德距离函数作为搜索算法（表1）1）.在总共253个实例中，对其中的228个进行了正确的分类，准确率为90.12%交叉验证(表1(a))86.05%使用66%的可用数据训练分类器(表1(b))。我们用a进行分类的价值2(84.19%交叉验证;86.05%，训练集66%)， (85.38%交叉验证;86.05%，训练集66%) (81.82%交叉验证;86.05%，训练集66%)。

与持续时间功能，第二好的结果是使用随机森林分类算法，迭代次数设置为100，树的深度不限。在本例中，交叉验证正确分类实例的百分比为85.38%，66%训练集正确分类实例的百分比为86.05%2）.

当不使用持续时间特征作为分类算法中的一个属性，使用最近的邻居分类器, ，以及欧几里得距离函数作为搜索算法。仅使用从脑电图数据计算的情绪状态值，我们有226人(253人;89.33%)正确分类的实例与交叉验证(表3.（a） ）和74（共86人；86.05%)正确分类实例时，使用66%的数据进行训练，其余数据用于测试分类器(表3.(b))。

仅使用情绪状态特征的次优结果是使用随机森林分类算法，迭代次数设置为100，树的深度不限。通过交叉验证，得到的分类准确率为84.98%，使用66%训练集时，准确率为84.88%。

以上结果表明，我们可以以最佳的精度确定90.12%（86.05%)每个给定实例的图像显示顺序(即参与者回答问题时所看到的图像的顺序)。因为参与者是孤立的从观众观看时的第一图像和与观众在观看第二幅图时，如果参与者在观众面前回答问题，我们可以确定其准确率为90.12%。在图像显示顺序的情况下，使用时取得了最好的结果持续时间特征与情绪状态特征相结合。

5.1.2中。图像类型

在这个分类尝试中，我们有两类：图像A和图像B。分类是在有和没有（仅使用EEG数据（情绪状态）特征）的情况下进行的持续时间特征作为分类属性。

当使用持续时间特征，利用该特征得到了最佳的分类结果最近的邻居分类器, ，并以欧几里德距离函数作为搜索算法（表1）4）.在总共253个实例中，对其中227个进行了正确的分类，准确率为89.72%交叉验证(表4(a))89.53%66%的可用数据(表4（b） ）。我们尝试使用 (84.98%交叉验证;84.88%， 66%训练集)和 (87.75%交叉验证;88.37%，训练集66%)。

考虑时的第二好结果显示图像的类型类,持续时间功能，是使用随机森林分类算法100次迭代和无限树深。在交叉验证时，正确分类实例的百分比为83.40%，而在训练集为66%时，正确分类实例的百分比为86.05%5）.

如果持续时间Feature作为一个属性没有被使用，最好的结果是使用 -最近邻分类器, ，欧几里得距离搜索算法。仅使用情绪状态特征，我们得到了229份(总共253份;90.51%)正确分类的实例与交叉验证(表6（a） ）及77(共86人;；89.53%)正确分类实例时，使用66%的数据进行训练，其余数据用于测试分类器(表6(b))。这是分类的最佳预测结果显示图像的类型类。与 ，交叉验证的分类正确率为86.56%（66%训练集的分类正确率为87.21%） ，交叉验证时该比例为89.72%(66%训练集的88.37%)。

仅使用脑电数据特征的方法获得了次优结果随机森林分类算法通过交叉验证，获得的分类准确率为85.38%，当使用训练集中66%的数据时，准确率为83.72%。

结果分析表明，我们能以最佳的准确度确定90.51%（89.53%)对应于每个给定实例所属的图像(A或B，无论它是排在第一个还是第二个)(即，参与者在回答问题之前正在查看的图像)。在图像类型的情况下，仅使用基于脑电图数据的特征而不使用脑电特征的效果最好持续时间特性。在类似的研究中[25]，通过使用从8名参与者收集的脑电图数据，作者能够成功地从一幅广阔区域的图像中对图像片段进行分类，准确率为78-95%。在Kawakami等人的另一项研究中[26，参与者随机观看来自101个不同类别的图像。推荐的算法表明，仅使用脑电数据就可以正确检测图像类，准确率为52-74%。在报纸上[27，作者测试了简单的颜色斑块、简单的视觉形状及其名称的脑电波表征的不变性。通过使用开发的方法，他们能够正确识别60%到75%的测试样本脑电波。一般的结论是，简单的形状，如圆圈和单一颜色显示产生的脑电波与口头名称产生的脑电波惊人地相似。我们的研究结果证实了基于脑电图数据可以区分不同的图像，而且准确率更高。

5.1.3。答案的正确性

在这种情况下，一个实例可以属于以下三个类之一:查看图像、正确答案(true)或错误答案(false)。我们没有使用持续时间因为观看图像的时间间隔(60秒)比回答问题的时间间隔要长得多。还应该注意的是，我们处理的是不平衡的数据集(即，属于不同类的实例数量有显著差异)。因此，属于查看图像是23，属于正确的答案是156人，而错误答案实例是在74年。

考虑到这一点，我们使用答案的正确性属性作为类。可以说，使用 -最近邻分类器, ，和欧几里得距离函数作为搜索算法，我们有更多的正确的分类在两个类:图像和真实(表7)，而对于所有其他使用的分类算法，只有一个类的正确分类多于错误分类（真）。这个 -最近邻分类器61.66%使用交叉验证和61.63%用66%的训练集正确分类实例。

5.2。定性分析

在使用三个不同的类别进行分类尝试后，我们分析了每个类别的情绪状态特征的变化。

5.2.1.图像的显示顺序

在分析图像显示顺序的脑电图数据时，我们试图通过比较所有参与者在两个可能类别(第一和第二)中每个类别的特征平均值来确定个体特征与类别之间的关系。然后，我们选择平均值差异最大的特征，并将其按照属于同一情绪状态进行分组(表)8）.

从结果可以看出，在不同的班级中变化最大的前六个特征与情绪状态压力和放松有关。此外，在类的情况下，应力和松弛特征（应力平均值/最大值除外）的值较高（平均值）第一个，这意味着当参与者第一次在没有观众的情况下做测试时，压力和放松都比第二次在有观众的情况下做测试时更大。其原因需要进一步分析。这证实了其他论文的结论[28- - - - - -30]观众在场与压力水平（血压和心率）之间存在着很强的相关性。

5.2.2。图像类型

就图像类型类中，我们使用相同的方法确定单个特征与部分中的类之间的关系5.2.1．我们根据这两类特征所处的情绪状态，将其平均值差异最大的特征进行分组(表)9）.

结果表明压力是与被试所观看的图像类型相关变化最大的情绪状态。平均而言，当参与者观看图像A时，它比观看图像B时更高，无论这幅图像是连续显示的第一幅还是第二幅。其原因将是我们今后工作的主题。

5.2.3。答案的正确性

如本节所述5．1.3.在……的情况下答案的正确性，实例可以属于这三个类中的一个。虽然我们使用了相同的方法来计算每个类的每个单独特性的平均值，但在本例中，我们进行了两次单独的比较。第一个比较是在班级之间查看图像，一方面，和错误的和正确的答案类，另一方面(表10)，第二个比较是错误的和正确的回答类(表11）.

表中的结果10显示出在压力，订婚，放松,焦点当参与者从观看图像切换到回答问题时。例如，当用户在观看图片时，最大应力值平均高出32.28%。

当比较错误和正确答案的平均情绪特征值时，唯一显著的差异是在放松，在回答正确的问题中(平均水平)更高。

6.结论

在本研究中，我们在进行电子视觉短期工作记忆测试的同时，利用脑电设备收集关于人类行为的数据。共有12名受试者参加了实验。在测试开始时，向受试者展示一幅图像1分钟，并附有足够的说明，以尽可能多地记住细节。第一组参与者在没有观众的孤立环境中被呈现图像A作为第一个图像，图像B作为有观众的第二个图像。第二组受试者呈现的图像顺序相反。

六种情绪状态(兴趣、投入、兴奋、紧张、放松和专注)的价值被用于三类不同的分类尝试:显示图像的顺序，图像类型,答案的正确性．从分类结果可以得出几个结论。首先，分类结果表明，利用参与者的情绪状态和问题持续时间间隔，我们可以确定最佳的准确率为90.12%，即参与者在回答问题时所看到的图像的顺序。由于第二幅图像显示在观众面前，这意味着我们可以确定参与者是否在观众面前回答问题，准确率为90.12%。其次，通过对参与者情绪状态的定量分析，我们能够以90.51%的准确率确定参与者在回答问题之前正在观看哪张图像(图像A或图像B，无论它是连续第一张还是第二张)。

使用定性分析，通过比较参与者情绪状态的总体变化，我们能够得出结论，当参与者第一次（没有观众）进行测试时，与第二次（有观众）相比，压力和放松（平均）更高。此外，与图像B相比，参与者观看图像A时的压力（平均值）更高。此外，当参与者从观看图像切换到回答问题时，压力、参与度、放松和专注度显著降低，放松值（平均值）更高对于正确回答的问题。

在未来的工作中，我们计划处理在分析这些结果期间出现的一些问题。首先，与第二次测试（有观众）相比，第一次测试（没有观众）时平均压力和放松值升高的原因有一个问题。第二，当参与者观看图像时测量的较高平均压力水平也需要进一步分析。使用提出的分类方法，我们无法得到显着的结果时，试图找到之间的相关性脑电数据和正确的答案。我们未来工作的目标之一是找到一种方法，通过使用EEG数据以及可能来自其他传感器的数据来预测测试结果（即正确答案的数量）。

数据可用性

用于支持本研究结果的收集数据可向相应作者索取。

信息披露

这项研究是由贝尔格莱德Singidunum大学的作者雇佣的。

的利益冲突

作者声明他们没有利益冲突。

参考文献

1. a .巴德利，《情景缓冲:工作记忆的新组成部分?》认知科学的发展趋势，第4卷，第4期。11，页417-423,2000。视图:出版商网站|谷歌学者
2. R. Luria, P. Sessa, A. Gotler, P. Jolicoeur，和R. Dell'Acqua，《简单和复杂物体的视觉短期记忆能力》，认知神经科学杂志第22卷第2期3，页496 - 512,2010。视图:出版商网站|谷歌学者
3. N. Cowan, E. M. Elliott, J. Scott Saults等人，“关于注意力能力:它的估计及其在工作记忆和认知能力中的作用，”认知心理学第51卷第1期1，页42-100,2005。视图:出版商网站|谷歌学者
4. A.D.Baddeley和G.J.Hitch，“工作记忆”，在学习心理学与动机， g.h. Bower, Ed.， 47-90页，学术出版社，纽约，1974。视图:谷歌学者
5. a·d·巴德利工作记忆，牛津大学出版社，纽约，1986年。
6. T. P. Alloway和R. G. Alloway，《研究工作记忆和智商对学术成就的预测作用》，《实验儿童心理学杂志》，第106卷，第2期。1，页20-29,2010。视图:出版商网站|谷歌学者
7. t . n .汤博内存伪装测试：TOMM，多元卫生系统，北托纳旺达，纽约，1996年。
8. M. R. Asato, J. A. Sweeney, B. Luna，“TOL性能发展中的认知过程”，神经心理学，第44卷，第12期，第2259-2269页，2006年。视图:出版商网站|谷歌学者
9. A. Jevremovic, S. Arsic, M. Antonijevic, A. Ioannou，和N. Garcia，“人机交互监控和分析平台-威斯康星州卡片分类测试应用”，在HealthyIoT 2018-第五届EAI医疗物联网技术国际会议，葡萄牙吉马拉斯，2018年11月。视图:谷歌学者
10. H. Ekanayake，“P300和Emotiv EPOC: Emotiv EPOC捕捉真实的脑电图吗?”2011年第1-8页，http://neurofeedback.visaduma.info/emotivresearch.htm．视图:谷歌学者
11. S. Debener, F. Minow, R. Emkes, K. Gandras和M. de Vos，“在散步时使用低成本、小型、无线的脑电图仪怎么样?”心理生理学，第49卷，第49期。11, pp. 1617-1621, 2012。视图:出版商网站|谷歌学者
12. P. S. Inventado, R. Legaspi, M. Suarez，和M. Numao，“从对反馈的评估预测学生的情绪”，技术促进学习的研究与实践，第6卷，第2期2, pp. 107-133, 2011。视图:谷歌学者
13. P.Bobrov、A.Frolov、C.Cantor、I.Fedulova、M.Bakhnyan和A.Zhavoronkov，“基于视觉图像生成的脑-机接口，”《公共科学图书馆•综合》，第6卷，第2期第6条e20674, 2011。视图:出版商网站|谷歌学者
14. M.K.Petersen、C.Stahlhut、A.Stopczynski、J.E.Larsen和L.K.Hansen，“智能手机变得情绪化：读心术图像和重建神经源。”计算机科学课堂讲稿，第6975卷，第2期，第578-587页，2011年。视图:出版商网站|谷歌学者
15. E. T. Esfahani和V. Sundararajan，“使用脑-机接口来检测人类在人机交互中的满意度，”国际仿人机器人杂志，第8卷，第2期1, pp. 87-101, 2011。视图:出版商网站|谷歌学者
16. M. Antonijevic, G. Shimic, A. Jevremovic, M. Veinovic, and S. Arsic，“脑电图数据在电子评估中的应用潜力”，电子工程学报，第15卷，第5期。3, pp. 339-351, 2018。视图:出版商网站|谷歌学者
17. “压力诱导和视觉工作记忆表现:情绪和非情绪刺激的影响”，J. Fathabadi，生物技术和健康科学，第4卷，第4期。2、2017。视图:出版商网站|谷歌学者
18. S.Vogel和L.Schwabe，“压力下的学习和记忆：对课堂的影响，”NPJ学习科学， vol. 1, no. 11、2016年第16011条。视图:出版商网站|谷歌学者
19. S. Bona和J. Silvanto，“视觉短期记忆的准确性和自信并不密切相关:行为和神经分裂，”《公共科学图书馆•综合》，第9卷，第5期。3, article e90808, 2014。视图:出版商网站|谷歌学者
20. Z.Mohamed、M.El-Halaby、T.Said、D.Shawky和A.Badawi，“利用脑电图表征集中注意力和工作记忆，”传感器，第18卷，第11号，第3743条，2018年。视图:出版商网站|谷歌学者
21. Emotiv，“全球社区的神经科技”，https://www.emotiv.com．视图:谷歌学者
22. “先进的脑电图技术——由科学支持，”https://www.emotiv.com/the-science/．视图:谷歌学者
23. F. Sivrikaya和B. Yener，“传感器网络中的时间同步:一项调查”，IEEE网络第18卷第2期4，页45-50,2004。视图:出版商网站|谷歌学者
24. D.L.Mills，“互联网时间同步：网络时间协议，”IEEE通讯汇刊第39卷第3期10，第1482-1493页，1991。视图:出版商网站|谷歌学者
25. N. Bigdely-Shamlo, A. Vankov, R. R. Ramirez和S. Makeig，“基于大脑活动的图像快速序列视觉呈现分类”，IEEE神经系统与康复工程汇刊，第16卷，第5期。5，页432-441,2008。视图:出版商网站|谷歌学者
26. T. Kawakami, T. Ogawa，和M. Haseyama，“基于脑电图和视觉特征的决策级融合的新图像分类”，在2014年IEEE声学、语音和信号处理国际会议（ICASSP），第5874-5878页，意大利佛罗伦萨，2014年5月。视图:出版商网站|谷歌学者
27. P.Suppes、B.Han、J.Epelboim和Z.-L.Lu，“简单视觉图像及其名称的脑电波表示不变性，”美国国家科学院院刊，第96卷，第2期25，第14658-14663页，1999。视图:出版商网站|谷歌学者
28. S. Taylor, T. Seeman, N. Eisenberger, T. Kozanian, a . Moore，和W. Moons，《支持或不支持的观众对压力的生理和心理反应的影响》，人格与社会心理学杂志第98卷第1期1，页47-56,2010。视图:出版商网站|谷歌学者
29. N. Bolger和D. Amarel，《社会支持可见度对压力适应的影响:实验证据》人格与社会心理学杂志，第92卷，第2期3，页458-475,2007。视图:出版商网站|谷歌学者
30. N. Bolger, A. Zuckerman, R. C. Kessler，《无形的支持和压力的调整》人格与社会心理学杂志，第79卷，第5期。6，页953-961,2000。视图:出版商网站|谷歌学者

版权

版权所有©2020 Milos Antonijevic等。这是一篇发布在知识共享署名许可协议，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。