文摘

识别脑电图(EEG)行动的目的是识别脑电图行动的人想做的事情。这个项目的意义是帮助有困难的人在运动。他们的行动的想法被脑电图,然后机器人的手可以帮助他们完成动作。本文比较实验,使用OpenBCI收集脑电图行动思想在静态操作和动态行动和使用EEG识别模型Conv1D-GRU训练和识别作用,分别。实验结果表明,大脑波浪作用的想法更容易识别静态状态。脑电波行动理念识别的准确性在动态仅为72.27%,而脑波行动理念识别的准确性在静态是99.98%。实验结果证实,行动的想法会很大的帮助行动不便的人。

1。介绍

蛋行动的想法记录大脑活动时,人类大脑发出一些行动的想法。当人类大脑的工作方式,它会产生自发的电生理活动,一个大数量的神经元同步产生突触后电位,和潜力的数量形式脑电图。因此,脑电图记录海浪在大脑活动的变化,这是一般反映了大脑神经细胞的电生理活动在大脑皮层或头皮表面的1]。

目前,很少有研究脑电图行动理念识别。没有合适的文献结合脑电图和CNKI中行动的想法。没有在IEEE Xplore数字图书馆搜索结果脑电图和行动的想法。有7期刊和15会议与脑电图和IEEE Xplore数字图书馆搜索行动,主要集中在脑电图解码(2- - - - - -8]。其中,文献1和文献2研究听觉的脑电图行为,文学5研究相机运动皮层的影响,文献3和文学7研究脑电图解码的行动,和文学4研究意义部分的EEG信号的抑制。

本文的识别脑电图行动的想法,可以填补这一缺口在当前脑电图的研究。脑电图行动理念识别是一种非侵入性的人机界面,可以应用于人们有限的运动。通过收购那些人的脑电图,我们可以确定他们想要完成什么行动,然后控制机械手完成动作。因此,脑电图行动理念识别具有非常重要的应用价值。

我们工作的主要贡献总结如下:(1)本文提供了一种方法,脑电图实验行动的想法。它还提供完整的操作过程和预防措施由OpenBCI EEG信号的采集。(2)摘要Conv1D-GRU模型,它可以直接处理原始脑电图信号并自动提取EEG信号的特性。此外,该模型还具有记忆功能,能够处理时间序列数据。(3)实验结果表明,Conv1D-GRU模型可以直接训练和测试原始脑电图信号。证明行动概念的应用将会很大的帮助那些不改变他们的行为。

2。相关工作

脑电图是特征提取和分类识别。等传统分类器,然而,SVM(支持向量机)、决策树、贝叶斯网络,依靠手工特征提取,这很难提高分类的准确性。深层神经网络可以自动学习功能直接从原始的脑电图信号(9]。

EEG信号是一维波形数据;它应该使用Conv1D处理功能自动提取。

脑电图数据是一种时间序列数据,需要使用反馈网络的深入学习。反馈网络RNN LSTM,格勒乌模型,RNN的容易梯度消失或梯度爆炸。格勒乌是LSTM的一个变种。用更少的参数格勒乌LSTM简化了结构。格勒乌很容易和过度拟合问题比LSTM轻一点。

基于上面的蛋数据和深度学习模型的特点,本文设计一个脑电图识别模型基于Conv1D Conv1D_GRU和格勒乌,这不仅可以自动提取EEG信号的特性也记住先前的信息和应用内存计算当前的输出。

本文中使用的实验设备是一个16通道OpenBCI采集设备,它收集原始脑电图信号。在每一次,每个通道的数据保存为记录,和所有数据之间用逗号分隔。根据记录数据的特点,很容易转换成CSV格式的数据。

因为CNN网络自动特征提取的优势,但CNN通常指2 d CNN,图像分类。然而,收集的EEG信号OpenBCI是一维波形数据;因此,本文运用Conv1D处理EEG信号的自动特征提取(10,11]。

2.1。一维卷积神经网络

Conv1D是一维卷积操作,主要处理时间序列数据所示如下方程: 在哪里序列的输出n帧的序列,N的长度是卷积内核,f(米)是米卷积核,g (n−米)是n−米帧的序列。

Conv1D需要三维输入数据如下: Batch_大小数据样本的数量在一次训练。C_在是输入信号的通道的数量。l_在是输入宽度。最终的输出也是三维参数如下: Batch_大小数据样本的数量在一次训练。C_出定义了用于扫描的卷积核的数量。l_出是输出宽度。的l_出计算显示了以下方程: 在哪里l的表示l_在,k每个卷积核的大小,p补充的层数是0,年代是卷积一步。一般来说,p是0,然后呢l_出计算下列方程:

在脑电图,l_在长时间的输入;l_出长时间的输出和脑电图的Conv1D如图1。

在图1,卷积的输入有许多特点。因此,有必要通过时间序列选择不同的运营商幻灯片。在每个时间序列的卷积算子的卷积,长度T′生成的序列所示以下方程: 在哪里T是输入宽度的时候,k是每个卷积核的大小,年代是卷积一步。

2.2。封闭的复发性神经网络单元

当前流行的神经网络主要是前馈网络、内存网络和网络图。

在前馈网络,每个神经元属于一个不同的层。每一层的神经元可以早些时候层神经元的信号和输出信号的下一层(12]。在整个网络没有反馈;主要用于图像领域。常见的多层感知器和卷积神经网络模型。

反馈网络,神经元不仅可以接收信息的其他神经元,而且自己的历史信息。与前馈网络相比,反馈网络中神经元有记忆功能,在不同的时间有不同的州。输出不仅与当前网络输入和重量也与前面的输入有关。主要用于领域的时间序列数据和文本数据。常见的时间递归神经网络递归神经网络(RNN),长期短期记忆(LSTM)和格勒乌13- - - - - -16]。

的输入前馈网络和内存网络可以表示为向量或向量序列,这是很难处理的数据图结构,所以图网络出现了。常见的算法之下,因知识和MPNN [17- - - - - -19]。

EEG信号序列数据。因此,本文使用的反馈网络。RNN容易梯度的问题消失或梯度爆炸;因此,LSTM派生,格勒乌LSTM的变体。在许多情况下,格勒乌和LSTM有相同的优秀的效果(20.,21),但格勒乌LSTM简化了结构;它有更少的参数。即格勒乌相对容易训练和有更少的过拟合问题。

图2显示了格勒乌的网络结构。整个格勒乌网络这样一个网络,不断循环t。为了更好地描述之间的关系前方和后方的时刻,这两个格勒乌时间画在图2。左边是网络单元t−1和右边是网络单位时间t。的输出t−1时间网络单元作为输入的t时间网络单元和格勒乌网络使自己的历史信息。控制周期单位将不清楚之前的信息随着时间的推移;它将保留相关信息并将其传输到下一个单元;因此,它使用的所有信息来避免梯度消失的问题。

从图可以看出2中,有两个门格勒乌网络,更新和复位登机口,z_t和r_t。

2.2.1。更新门

的时候t的计算公式更新门z_t所示如下方程:

在(7),X_t代表时间步的输入向量T。W^(z)和U^(z)权重矩阵。h_t1的信息是吗t−1时间步。更新门补充道X_t和h_t−1当他们是线性转换的。然后,添加结果发送到乙状结肠激活函数压缩0 - 1。更新门可以决定复制过去的所有信息以减少梯度消失的风险。更新门的价值决定了状态信息从先前的当前时间的时间。

2.2.2。重设门

重设门r_t控制多少信息之前的状态写入当前候选集h_t。的计算公式r_t所示如下方程: 的计算r_t类似的z_t。重置门补充道X_t和h_{t - 1}当他们是线性转换的。然后,添加结果发送到乙状结肠激活函数。

2.2.3。新信息

新的内存的内容h′_t将利用过去的信息存储的重置。的计算表达式h′_t所示如下方程: ⊙代表两个向量的乘积和操作⊙决定了先前的信息被保留或被遗忘。因为rt是一个向量由0到1,r_t产品U(h′)h t−1,rt将控制门孔的大小。例如,rt元素对应元素的价值h(t−1)= 0;这意味着元素的信息h(t−1)将完全遗忘了。

X_t增加了⊙的结果,和添加结果放入双曲正切激活函数(双曲正切)。tanh压缩−1和1之间的值,以调整神经网络的输出。

2.2.4。当前时间步的最后记忆

最后的记忆h_t当前时间步将转移到t+ 1时间步单元。的计算公式h_t所示如下方程:

在最后的记忆中保存的信息是在前面的时间步。 在当前时间是新的信息。h_t是最后的内存信息,也是最终的输出控制周期单元。格勒乌保存重要的特性与各种门功能,确保他们不会丢失在长期的传播。

3所示。设计脑电图分类模型的情感

脑电图信号是一维波形数据和时间动态。这是一个时间序列在不同的时间点收集的数据。波形的变化随着时间的推移,和记录的时间点有关的记录后时间点。卷积神经网络具有的功能自动特征提取,和格勒乌网络的优点是时间序列处理。因此,本文设计了脑电图情感分类模型基于Conv1D Conv1D_GRU格勒乌,如图3。

在Conv1D_GRU,输入数据是五种一维16通道脑电图信号,输入数据特性两个Conv1D卷积操作后可以完全提取。在两个表列出Conv1D的参数1。为了避免梯度消失,BN(批正常化)层添加两Conv1D之后。BN抑制梯度消失。数据经过BN层后,乙状结肠和双曲正切激发函数可用于网络。同时,BN正则化函数,使控制过度拟合不依赖于辍学。

格勒乌三层;参数在格勒乌列在表中2。第一层和第二层返回所有隐藏的最后一层,第三层返回的隐藏状态的最后一步最后一层。最后,致密层执行发送格勒乌完全连接神经网络输出,和multiclassification进行将softmax激发函数。

4所示。实验

个体的生命活动会产生生物电与不同的能量。脑电图是记录大脑活动的方法使用电生理指标;的普遍反映是大脑神经细胞的电生理活动在大脑皮层或头皮表面。人类的大脑是进行生命活动。不同的活动会发出不同频率的脑电图。

4.1。介绍脑电信号采集的实验仪器

目前,最方便的和具有成本效益的,大脑脑电信号采集设备的电极帽。有三种电极衍生品:8通道16通道,32频道。这个实验是基于16通道脑电极帽。

一套完整的脑电信号采集装置包括电极帽,OpenBCI董事会和wi - fi盾牌,干电池,大脑计算机接口开放BCI_GUI(开源的脑-机接口图形用户界面)。

根据电极电极应放置点。实验中16个电极的位置如图4。

在图4,代表了人类大脑的电极的位置,在位置1和2在人类大脑的前额上,可以放置在头发的刘海,和位置3和4在人类的大脑,剩下的电极分布在人类的大脑。wi - fi连接的盾牌,OpenBCI主板,OpenBCI扩展板图所示5。

在图5红板是wi - fi的盾牌,大脑计算机接口。它的功能是与OpenBCI_ GUI在电脑通过路由器。白板是OpenBCI主板的底部,顶部白板是OpenBCI扩展板。他们是用于收集脑电图帽的频道信息。

两个OpenBCI董事会需要将sbr2销连接,然后连接耳夹。偏差销连接到另一个耳夹。当收集信号,必须夹在耳朵,耳夹在每只耳朵,无论左派和右派的联盟。16个电极频道根据针电极帽连接如图5。1 - 8的主要OpenBCI连接电极,9 - 16和扩展OpenBCI连接电极。

4.2。脑电图信息采集

4.2.1。准备收购前注意事项

(我)wi - fi保护电力的供应应该使用4 v-6v干燥的电池,因为干电池可以减少电磁干扰。笔记本电脑应该由电池供电,路由器应该只用于收购。(2)电池应该取代当信号是不稳定的。(3)实验人员需要保持皮肤的干燥和清洁,因为皮肤油脂会破坏的检测功能电极,电极应直接接触皮肤。(iv)在收购的过程中,人的身体需要保持稳定,减少不必要的动作,特别是禁止猛烈摇晃。

4.2.2。电信号采集实验

wi - fi盾牌和OpenBCI_GUI相同连接到路由器,然后运行OpenBCI_HUB软件在电脑上传输数据。OpenBCI_HUB是软件的桥梁,保证wi - fi盾牌和OpenBCI_ GUI连接和沟通。

在OpenBCI_ GUI中,选择“搜索wi - fi的盾牌。“连接成功后,会弹出一个界面显示每个电极脑电图波形采集的通道。在实验中,OpenBCI_GUI显示16个通道的波形变化随着时间的推移和实时波形振幅介于0到60赫兹。

有两组实验。一个是手的某些姿势,但手在收集过程中不移动;另一组的手做了一个动态的行动。

数据6- - - - - -15显示五个行动的脑电图的想法相同的人。每个操作想法的强度是不同的。静态动作概念和动态行为的脑电图想法收集,分别。在静态时行动的想法,把你的手放在对象做一个姿势,但它不会改变。这取决于你的大脑去想象你在做什么。做动态行动的想法时,手一直在做一种行动,如推、拉,敲门,把握和剪切。

我们可以看到数据6和7通道1的信号电压,4频道,频道8,通道16图7远比图吗6。在图6的电压通道12和通道15远比图7。这表明,掌握动作的想法在动态信号强。

我们可以看到数据8和9在图,信号电压9高于图吗8。这表明,推动行动的想法在动态信号强。

在数据10和11,信号电压差在相应的通道非常小。它只表明信号的打击行动思想是两个国家之间的细微差别。

我们可以看到数据12和13的信号电压通道,通道,通道,通道12日15频道,频道在图1613远比图吗12。在图12,只有电压通道在图3是远远超过13。这表明,把行动的想法在动态信号强。

在数据14和15通道的信号电压3在图15远比图吗14。但在图4频道的信号电压14远比图吗15。它只表明信号的打击行动思想是两个国家之间的细微差别。

本文所有实验都是在相同的环境中使用相同的设备。此外,OpenBCI_GUI,截止频率为50 Hz过滤噪音大于50赫兹。

从数据6来15,我们可以看到,行动的力量在动态高于静态状态。这表明大脑力量采取行动时更大。在动态脑电图的变化更明显,每个频道的波动大于静态。

4.2.3。脑电图数据处理

当检测完成后,电脑保存检测数据以TXT文件数据的软件。我们需要做五种行动理念脑电图实验;每个时间段只检测一个行动的想法,标志着开始和结束时间。TXT文件有两个,一个TXT文件是行动的想法在静态和动态中的其他TXT文件是行动的想法。有太多的记录在每个TXT。由于有限的个人电脑的性能,我们需要选择培训和测试记录的一部分。数据处理方法如下:(1)随机选择1024条记录的想法根据时间段,因为只有一个运动的想法是在一段时间内收集。(2)有培训共有5120条记录,因为有一个TXT中五种行动的想法。(3)随机选择256条记录的想法根据时间的记录。有1280条记录被选中进行测试。(4)培训记录和测试记录用行动想法标记类型。(5)扰乱秩序的所有记录,以防止机器学习在拟合以下样品。

5。模型训练和预测

5.1。模型训练和预测结果

的训练过程中的数据Conv1D_GRU模型如图16。

在图16,培训记录直接分为巴赫,然后发送到Conv1D网络自动提取功能。然后,提取的特征被发送到格勒乌网络找到时间特性之间的关系。最后,结果被发送到完整的连接层得到诊断结果。诊断结果之间的误差和真正的标签是通过损失函数计算,和亚当算法用于提高精度损失。在培训的过程中,如果不再是减少损失,让训练停止,因为这意味着模型训练。

经过50轮培训,培训结果如图17- - - - - -20.。

测试样本的预测精度模型是静态和动态的72.27%,99.98%和代码截图所示的数字21和22。

5.2。实验分析

它可以看到从数据之间的比较17和18行动的损失率主意脑电图在静态低于动态。当网络收敛,没有波动的行动理念脑电图在静态状态,这表明该模型具有良好的鲁棒性。

比较数据19和20.,可以看出行动想法脑电图在静态的准确性高于动态。

与数据21和22,它可以看到行动的损失率主意脑电图预测静态动态比这小得多。换句话说,在静态模型的预测准确率远远高于动态。

实验结果表明,Conv1D_格勒乌模型可以识别动作的想法脑电图和具有较高的识别率,当人们保持双手一动不动。

6。结论

五种手行动脑电图被OpenBCI收集。手的状态可分为两种情况:一个是中国,手仍然保持;另一个是手一直在做某种动作。脑电图是一维时间序列数据。为了更准确地提取脑电图的特点,我们需要使用深度学习算法。根据脑电图信号的特点,提出了一种Conv1D_GRU模型。Conv1D用于提取EEG信号的特点。格勒乌分析时间特征。最初的脑电图数据收集和发送到Conv1D_GRU模型训练;结果表明,手做实验时应仍保持行动的脑电图。

这项工作的优势是找到行动的想法脑电图的实现方法。当收集行动想法脑电图实验,人们应该保持身体不动,只想象的所有部分的大脑。此外,提出了处理脑电图深度学习模型。

这项工作的缺点是,脑电图帽用于收集数据很难穿,它需要很长时间来收集数据。

目前,很少有研究和应用的识别行动的想法。下一步是深入研究行动想法脑电图的特点及应用。

数据可用性

数据和模型用于支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这部分工作是支持特色创新下的广东省教育部拨款2018 ktscx343和2020 ktscx401。