文摘

本研究的目的是建立一个线性解码模型,揭示运动信息和小城镇之间的关系(眼电图)数据在线控制光标不断闪烁和眼睛追求运动。首先,一个眨眼检测方法提出了拒绝自愿单眨眼或double-blink来自小城镇的信息。这时,一个线性解码模型开发的时间序列预测的位置注视,和模型参数校准的RLS(递归最小二乘)算法;此外,解码精度的评估是评估通过交叉验证过程。此外,分段处理,增量控制和在线校准提出了实现在线控制。最后,技术应用于意志和在线控制光标的多个预定义的目标。实验结果表明,眨眼检测算法执行的自愿眨眼检出率。通过结合眨眼的优点和光滑的追求运动,眼睛的运动信息解码与良好的平均皮尔逊相关系数,所有信噪比率大于。这部小说系统允许人们成功和经济上控制光标在线的命中率。

1。介绍

最近,有各种各样的应用生物电的人类随着人机交互的发展(人机交互)1]。小城镇(眼电图),这是最简单的生物电子信号,记录通过皮肤电极放置在眼睛周围的皮肤检测的眼球运动静止的主题通过测量电压差。由于高信噪比(信噪比),此次被正确地应用于医疗康复领域和研究引起了广泛的关注,由于伟大的应用前景2,3]。

大量的主要领域的研究人员EOG-based HCI专注于两种不同的方法。第一个研究模式识别(4,5]。有两种主要类型的眼球运动,即扫视和追求平稳运动。第一个是快速眼球运动,调整中央与目标,但第二个是慢得多追踪眼睛运动旨在使窝一个移动的目标,这意味着它将眼睛追随移动的视觉目标(6- - - - - -9]。然而,有很多限制在复杂控制模式识别的信息。然后,一些研究者设计了一些预定义的序列跳阅增加控制模式(10]。因此,线性眼跳眼睛模型和眨眼分析了利用小波变换和模糊逻辑分类不同的眼部运动实时11]。第二个研究模型之间相互关系的眼球运动和小城镇。Lv等人发现小城镇之间的关系信息和眨眼或眼球运动分类不同类型的眼球运动分为四个命令控制计算机或其他工具(12]。巴里亚等人提出了一个先进的模型基于小波变换和神经网络来确定眼球运动和位置的记录此次[13]。但不同的是,Tokushige等人在一个随机位置打开5°,10°20°,或30°水平向左或向右(14]。因此,该系统能够检测运动角度但不能提高解码小城镇轨迹的准确性。然而,线性模型设计和建造使用眼睛扫视角度和小城镇基于线性拟合他et al。(15),而Estrany等人使用多元线性回归建立了一个类似的模型(16,17]。Estrany et al .,研究的比例和偏移参数的调整,多通道小城镇可以转化成光标位置(18]。Tecce等人代表一个移动的注视点在电脑上显示选择字母通过控制游标与眼球运动(19]。然而,转换系统是实质性的复杂性,受试者被要求花很长的训练时间进行大量的实验设置参数。

然后,很少有调查真实映射小城镇之间的关系和眼睛直接固定位置信息。此外,还存在一些问题,仍关心在线控制在当前的研究中,例如,一个大范围的个体差异,噪音,和基线工件。因此,观察对象运动信息是否可以从连续解码小城镇直接和高效的在线控制是一个开放的问题,如果它是可能的,将会有一个小说主题和光标之间的实时交互控制系统基于眼动方便。这是我们研究的起点。因此本研究提出了一种时间序列解码模型使用线性滤波预测对象在小城镇的时域运动信息。模型参数可以由一个简单的校准过程。然后,一系列的处理方法提出了生产在线自由解码和在线控制光标。

2。材料和方法

2.1。参与者

五个科目(男性和女性,年龄从来)的西安交通大学没有参与这项研究的相关疾病。他们提供书面知情同意和实验协议由西安人类主体审查委员会前的实验。

2.2。实验条件和程序

2.2.1。实验条件

两个实验进行了大脑计算机接口实验室一个固定的时间在正常工作时间。受试者被要求坐在前面英寸平面屏幕分辨率为1920像素1200像素,用他们的眼睛直接看屏幕的水平中心提出了在一个黑色的地面。一个Neuroscan NuAmps表达系统(Compumedics有限公司,维多利亚,澳大利亚),收集了各种各样的多通道神经生理学信号如脑电图、心电图,小城镇,肌电图,是用来记录此次的采样率赫兹。此外,陷波滤波器通常用来移除赫兹。

两对皮肤电极放置在眼睛周围的两端。一对电极排列记录的小城镇右水平(人力资源)和左水平(HL)位置,分别,另一对是放置在左眼的小城镇,并用来记录上垂直(VU)和下分别垂直(VD)的位置。此外,此次录音地线是附着在额头和乳突在右耳后面选择参比电极,如图1(一)。HEOG和VEOG可以通过水平和垂直方向的电极。两个通道之间的不同的值在每个方向计算基于两对电极的小城镇 在哪里是HEOG(水平小城镇);是VEOG(垂直小城镇);,,,人力资源收集的小城镇的皮肤电极(HEOR),霍奇金淋巴瘤(HEOL), VU (VEOU),并分别VD (VEOD)。

2.2.2。实验的程序

所有科目都指示跟踪圆形光标,他们的眼睛,无论是否移动或静态,用他们的身体(特别是头上)自然不动,他们的眼睛闪烁。但有时没有一个移动的目标,指导眼睛移动在线光标控制。眼睛快速移动时,眼球运动可能是扫视,然后眼睛慢慢地移动;眼球运动可能追求平稳运动。所以眼部运动可称为眼追求运动,这是一个混合的两种方法在本研究中。受试者带分钟熟悉实验过程。实验包括标定和在线控制光标。第一个图中可以看到1 (b)顺利,参与者跟踪的圆形光标移动在屏幕上预定义的曲线和小城镇记录同步。在图1 (c)三叶草螺旋模式,模式,和星状模式旨在评估评估解码精度。每个模式执行五次为每个主题。第二个图所示7(一):在线控制光标主题使用眼睛追求运动没有任何旅行轨迹。黑色界面分为八个目标区域在屏幕边缘和一个缓冲区的中心。红色的圆形光标在接口初始化中心。主题控制网络和改变光标位置基于眼追求运动一个接一个。当光标八个目标的地区之一,该地区就变成黄色,标志着结束的审判。然后,光标可以重置为中心的屏幕上使用一个眨眼,同时设置一个主题的视觉焦点回到中心开始下一个试验。研究对象控制光标达到预定义的目标领域一个接一个;打次,命中率是同时记录计算。

2.2.3。信号采集

进一步分析前的预处理是第一步。自此次记录了直流放大器、直流偏移和漂流可以人为地同时发生。直流偏置是一个常数和稳定的抵消从零电压、直流漂移时逐步转变可能发生在整个记录。偏移量和漂移可以合并成一个基线。很少有基线去除方法对小城镇文学。为了避免不必要的直流漂移问题,许多研究人员采用AC-coupled放大或流程使用高通滤波的信号。然而,这种方法也消除了直流分量的小城镇。因此,我们不能完全观察逐渐改变的信息。在这里,一个低阶多项式拟合方法(20.),低阶多项式表示的缓慢变化信号,用于处理离线此次数据。多项式阶高并不意味着高质量但可能允许我们从此次获取更详细的信息。在离线除基线,由于数据的长度,多项式订单。减去基线从原来的小城镇在每个通道允许信号从0开始。

如上所述,此次包含来自不同来源的噪音。三种方法被广泛用于战斗:低通滤波,小波变换基于阈值(21),和中值滤波4]。的中值滤波三种方法工作得足够好工件被拒绝。有不同的扫描模式时,滤波器边缘陡峭,保留此次振幅和防止引入任何人工信号有效。此外,中值滤波器完全在时域进行,有利于在线控制。考虑到上述所有,中值滤波器女士窗口大小采用降噪小城镇。

2.3。眨眼检测的方法

一个眨眼的同事与一个伟大的活动从人类的眼睛但不包括观察物体的运动信息。因此,一个眨眼,需要首先处理,影响了小城镇在垂直方向的峰值脉冲。自愿和非自愿眨眼眨眼活动期间出现;自愿眨眼可用于控制,而非自愿眨眼需要删除的不可控性。一般规则是一种无意识的眨眼幅度低于自愿眨眼,因为其规模较小的运动。我们的实验统计结果还表明,不同类型的眨眼通常是分布在不同的电压范围。有鉴于此,我们提出一个新的眨眼检测方法。在小城镇的去除低频组件之后,该方法首先执行阈值处理两次获得自愿和非自愿的位置眨眼。

眨眼检测过程如图2;原始此次数据的低频所提取的维离散小波分解在10-detail级别使用四阶Daubechies作为母小波。后重建大规模的低频近似,这种趋势变得清晰图2(一个)。第一个阈值处理执行。在图2 (b),如果大于阈值的信号,它将被设置为;否则它将被设置为。然后,信号成为广场信号如图2 (c)。因此,执行第二阈值处理坏了高峰值,也就是说,。如果该值大于阈值,眨眼就被定义为自愿眨了眨眼。否则,它被定义为一种无意识的眨了眨眼。提高控制效率和复杂性,必须计算相邻单自愿眨眼之间的距离。如果小于眨眼的间隔,两个快速连续自愿将作为double-blink眨眼。这两个眨眼将被删除,以确保只有单一眨眼保存在它。第一个位置的两个眨眼将被定义为double-blink位置和将被保存。到目前为止,眨眼位置检测;与此同时,自愿单身,double-blinks分离,如图2 (d)。

一般来说,一个眨眼的时间范围从100年到400年[女士22]。去除的影响闪烁信号,我们估计的精确眨眼间隔和执行线性插值补偿间隔。对于无意识的眨眼和自愿单身眨眼,我们采取的区域女士之前女士在眨眼的位置形成精确的眨眼时间间隔。double-blinks,我们把区域女士在double-blink位置女士在double-blink间隔。通过线性插入相同数量的点估计眨眼的间隔,blink-removed垂直小城镇可以生产。

2.4。线性解码模型

2.4.1。线性解码模型的建设

许多研究人员已经成功地估计人类或动物的肢体运动学参数从近年来神经动作电位。利用生物电信号从皮肤解码运动信息形成身体的神经活动,意图或肢体位置反馈的主题可以与任务的特性,可以构建和神经解码模型。使用最广泛的模型之一是线性解码模型(23- - - - - -25),使用多元线性回归或维纳滤波器,使用加权线性组合的神经活动在当前解码时间点之前建立线性解码模型。

大多数小城镇研究只考虑信号从当前时间点,忽视了时间序列的影响。因此,线性解码模型说明了从此次提取运动信息。线性模型描述如下: 在哪里,是一组两个方向(水平和垂直方向)通过解码轨迹从此次时间吗分开;是落后的数量或模型的顺序;在这里是10;,是一组预处理和blink-removed小城镇在两个方向上的时间吗分别;,是一组系数;,是拦截的集合(的价值和当和);,在两个方向上的残余错误。

2.4.2。基于RLS算法的参数标定

上面的线性解码模型是一个阶AR模型(自回归模型)和通过此次数据的参数校准。一个自适应滤波器,它通常用于系统辨识,可以修改和更新的参数满足性能要求。此外,小城镇是时变和nonrepetitive,因此,自适应滤波算法可以用来训练参数。RLS算法快速收敛著称。执行校准在水平和垂直两个方向。RLS算法的输入和理想的输出是小城镇和真正的移动对象轨迹,分别。该算法秩序等于模型秩序。RLS算法的细节可以看到相关文献[26,27]。培训完成后,可以确定模型参数。

2.4.3。线性解码模型的评估

线性解码模型的评估,三种试验模式是为了测试解码精度反映了解码性能或阻止单个模式导致过度训练,在这个普遍适应性退化。对于个别主题,三个小城镇平均每个模式的数据集到一个数据集获得更稳定的训练数据集,用于采用交叉验证法确定眨眼移除和预处理后的模型参数。然后,交叉验证执行交叉学科和交叉模式测试解码模型的准确性。分别为每个主题,RLS算法,用于培训的小城镇数据在一个模式和期望的轨迹,非常有助于选择最合适的预测模型。然后,解码模型用于解码运动轨迹使用三个小城镇里的一个数据集的其他两种模式。因此,每个模式是用来训练一次,测试第六位。

的解码性能训练模型是由信噪比的统计分析和评估(皮尔森相关系数)已知对象之间的位置和物体的重建从此次25]。信噪比被定义为小城镇的力量比噪音能力,也就是说,小城镇的振幅平方的比值的振幅噪音。因此,信噪比可以计算从以下方程: 在哪里小城镇的振幅;是预测信号和实际值之间的差别的;)是轨迹坐标的方差;预测的均方误差信号;)之间的比例),;

的)转换为分贝(dB)的规模,这意味着噪音信号出现在重建的轨迹。例如,一个重建的小城镇轨迹小于的信噪比,这意味着微弱信号解码能力表明一个嘈杂的重建。然后,信噪比大于,这是强烈的信号解码能力,代表高质量重建小城镇解码轨迹。

此外,可以被定义为一个线性的强度之间的关系已知的轨迹和训练有素的输出模型的自适应RLS算法。的公式显示如下: 在哪里是实际的轨迹坐标之后,眼睛凝视对象;模型的预测输出;和的标准偏差吗和分别;值范围从吗来。

从(4),我们可以推断的价值接近;这意味着尽可能多的实际之间的相关性和解码轨迹,和值接近;它提出了一种逆关系,但当达到的价值,这表明缺乏相关性。

2.5。在线控制光标

2.5.1。在线处理

的程序采集系统提供在线阅读记录数据;然后实时控制是通过自主研发的在线处理和控制算法,所以程序读取一个样本在每个时间点和保存数据块在水平和垂直方向。采样频率是赫兹,每一秒样本块,所以点是包含在一个样本块为每个通道。在进行在线控制,有几个问题与解码和控制。首先,由于主体的个体差异,解码和控制不满意的影响不同的主题和不同的条件。其次,检测方法是有效的只有当眨眼活动成功地识别,特别是对double-blinks。第三,上述方法基于低阶多项式拟合适合的离线处理的数据集,不是为短数据集的在线处理基线移除。在线校准的措施,分段处理和增量控制需要采取来解决这些问题。

整个在线处理过程如图3;这个项目获得此次数据读取和更新。如果对象是首次运行控制程序或需要重新调整,校准过程可以执行和模型参数也更新。之后,启动控制程序。它首先执行眨眼检测。经过长时间运行,如果程序中断,用户可以通过double-blinking重启校准过程。如果没有double-blink,系统判断是否有一个自愿的眨眼。如果有,屏幕光标复位为中心;同时,受试者眼睛也必须回到中心执行下一个控制运动。如果不是,中值滤波去噪后,解码过程继续控制光标位置,所以分段处理和增量控制仍然需要进行。 The control results can be fed back in real-time via viewing the screen of PC based on eye movement decoding for a single-trial, so subject performs the next movement by smooth pursuit movements.

2.5.2。在线校准

开始前控制或当系统需要进行调整,校准对话框弹出,显示校准过程和系统开始保存此次responsefile中的数据。同时三种。受试者最初面对屏幕的中心,没有头部运动。如果有秒的停止,光标在屏幕上慢慢地移动沿着预定义轨迹,和主题必须顺利跟随光标动作流畅的追求。轨迹完成时,有另一个秒,自动校准对话框消失,此次数据停止储蓄。然后,线性模型的参数由RLS算法解决并保存。

2.5.3。分段处理

每次眨眼应该在每个分段数据进行网络分段处理。因此,如图4(一),眨眼2和眨眼3展览两部分的数据,特别是一个double-blink眨眼是一个亚节,另一个是下一个。这种情况往往导致大麻烦被正确检测到。因此,应采取一系列措施提高检测精度。然后,在图4 (b)系统总是保存最新的块同样分为三个部分,也就是说,每个分段十个街区。但每次新样本块在下次阅读秒。每三部分是检测和解码输出控制中间分段的结果。之后,程序继续读取和更新数据到另一个新的读接下来的处理子模块。控制结果不断此次数据的解码,没有任何损失。

也许方便减少输出和控制频率;然后,中间分段上平均解码立场是这个时间点作为输出。结果表明,两个分段连续输出之间的间隔小于年代,控制不到的时间延迟年代,和延时控制输出大约是0.8秒,这是更新的时间样本块。

2.5.4。增量控制

直接解码方法是在绝对坐标,所以很容易积累错误,没有任何调整或灵活性。因此,增量控制来消除积累误差,也就是说相对坐标的控制采用基于相对坐标在线控制光标。在图5,最初,受试者必须盯着屏幕中心如前所述,不斜视。圆形光标控制也是初始化中心的屏幕上。前面的输出位置本节中减去从当前一个相对变化或相对坐标。系统更新新的光标位置根据当前位置和相对坐标的变化。第一个输出位置减去从本身;也就是说,它仍然停留在屏幕的中心。减少错误,如果相对位置的变化超出了预设的阈值,它被设置为阈值。人类的眼睛坐标也必须被转换为屏幕坐标控制光标。有一个小错误时,主题仍控制着光标通过追求平稳运动。一旦误差较大,这个话题已经自愿单身眨眼重置参考点保持一致在注视点坐标和控制坐标,所以积累的错误可以被消除。 Furthermore, if the error is excessive, the system needs recalibrating. The online drift correction efficiently eliminates the impact of baseline drift and improves the control flexibility.

3所示。实验结果

3.1。眨眼检测

根据实验数据,当阈值被设置为80μV,眨眼很容易被检测到。然而,阈值对检测结果有很大的影响分离自愿和非自愿的眨眼。眨眼此次数据用于训练的阈值。我们设置值从到700年μV每价值观的价值和获得值。此次数据用于训练持续了约分钟,包含眨眼。最优阈值是515μV根据ROC曲线。阈值是用于处理另一个持续的数据集分钟,包含眨眼。眨眼检测的准确率,错误的检测和丢失的检测。

因为错误检测的反应可能会导致巨大的潜在的安全问题,而失踪的检测控制没有影响。在真正的人机交互,从而更好的提高最优阈值适当减少错误的检测。在此基础上,最后选择阈值增加到540μ诉新阈值的影响检测结果的测试数据错误的检测和丢失的检测的准确率。所以阈值设置为540μV最终减少错误的检测。

3.2。线性解码

最好的价值是主题和最值是主题平均值和标准偏差的信噪比;那么五个科目的平均值如表所示1。在所有科目的水平数据信噪比最低平均是,对于最小的是平均是。所有科目,在垂直数据信噪比最低的平均是,对于最小的是平均是。总的来说,整个主题相关性值更高的水平比垂直方向的。所有这些数据证实与平均解码性能良好和高信噪比()。

图6(一)显示了最好和最糟糕的重建的轨迹维空间对所有解码结果。很容易看到,解码轨迹保留理想轨迹的运动信息,和简单的拟合优度比较高的模式。所有受试者的解码轨迹进行了分析统计,和平均轨迹及其标准差图所示6 (b)。之间的误差均值解码轨迹和理想的轨迹模式,平均毫米(最大毫米)和毫米(最大毫米)在水平方向和垂直方向,分别。因此,解码模型可以用于一些简单和连续控制,如一个简单的接口与PC上的光标。

垂直方向的小城镇解码精度不如水平,特别是对大规模追求平稳运动。主要原因是垂直小城镇更容易受到影响等来源的EMG皱眉或其他的面部表情,这与不同程度发生随机。实验表明,即使是轻微的皱眉或面部表情可以导致大信号变化。此外,此次眨眼倾斜严重,即使眨眼检测方法,线性插入不能完全弥补这些影响。所有这些因素将会影响处理结果。

3.3。在线的光标控制

此次数据已处理数据块分区基于在线分段处理。程序接收每个样本块女士,每次更新块输出控制的结果,所以位置控制频率可达赫兹基于眼追求运动;即目标位置可以改变每2 s通过眼球运动。然而,目标位置的变化并不直接输出控制,光标进入和出来相应的区域达到控制效果,因此,控制频率低于眼睛位置控制是一种基于追求运动。虽然控制频率略有减少,主体获得当前位置反馈根据光标的位置;因此,每个主题都有大大增加一定的自适应能力。

每个主题控制屏幕上的光标的眼睛追求运动缓慢改变固定的点了一个接一个预定义的目标区域。与此同时,光标移动的轨迹记录和保存。光标控制试验进行了五次为每个主题和实验结果图中可以看到7 (b)。有两种不同的直方图的条件。一个是四个正交目标(上、下、左、右)。每个主题了次次,所以命中率。然后另一个是四个角落目标(左,左,右,和正确的底部)的平均命中率。从两种不同条件的命中率,更容易达到的目标比角落一个正交的方向。最后,整体达到的速度。的四个控制结果为每个主题是随机选择的,和光标移动轨迹的绘制结果呈现在图7 (c)。

4所示。讨论

在这项研究中,受试者被要求执行意志和实时控制光标的接口使用自愿追求单一的眨眼和眼睛的动作。新系统执行与自愿眨眼检出率超过96.88%错误的检测中眨眼;然后眨眼算法的检测灵敏度为93%而错误地分类眨眼在眨眼的佩特森文献[28]。此外,整体的利率达到98%的新系统执行基于线性解码模型类,这可能是一个很好的影响解码的表达和在线控制。因此,Usakli等人将5类最近邻居算法,实时和分类性能是92% (29日]。随后的分类性能增加到95%30.]。响应时间的系统,新系统的时间间隔大约是500 ms连续控制输出基于眼睛运动,追求和延时小于1 s,而正树录像了,,800 ms窗口长度和和200 ms的转变。然后,93.77%的最大精度获得通过使用800 ms窗口和200 ms的转变,也没有提及的时间延迟31日]。所以新系统的时间间隔短于他人。因此saccade-based系统在随机位置打开5°,10°20°,或30°水平向左或向右的小城镇记录任务(14]。所以跳阅强烈有限的空间范围小于一定程度的视角(32]。总之,新系统提取运动信息来预测目标职位从此次维空间。此外,是否有一个引导曲线提示,新技术应用于在线控制光标击中多个预定义的目标更高的命中率比现有的知识我们知道。

从控制的角度结果,眼追求运动的平均位置误差通常是内厘米。然而,一个人的错误可能有点大,这将导致控制不稳定的结果。甚至错误积累的时间增加,所以该方法不能适用于一个精确的控制系统。这也同事小城镇的固有特性;一方面,小城镇是受生理条件和本身有很大的个体差异和不稳定。另一方面,小城镇是与心理活动紧密相关。心理活动是心情不好时,控制的效果将严重负面的心理活动反映了眼睛容易追求运动。

提高控制精度,此次数据需要做一些后处理。因为解码的眼睛凝视对象位置不是很平滑的轨迹往往使控制光标动摇移动时,最好是平均每0.5秒解码光标位置的即时输出解码模型。平均的时间太短,光标移动仍将持续。然后,此次在线控制与高质量是好的,但控制可能会失败,因为电极位置的影响,头部动作,照明条件下,汗水和不同来源的构件(如脑电图和肌电图和眨眼动作33]。所有科目都指示跟踪圆形光标,他们的眼睛,无论是否移动或静态,用他们的身体(尤其是头)自然不动,他们的眼睛闪烁。通过稍微移动磁头的,有经验的用户可以改变人类的眼睛与屏幕之间的相对位置和正确的光标移动错误在某种程度上。因此,它需要一些修正案在眼睛和过渡追求运动改善稳定性的控制结果;同时,最好做一个定性控制而不是定量控制精度高。一般来说,在系统由请校准算法,一个完整的实验可以通过该系统进行了同样的主题。但主题控制系统在线很长一段时间(通常是一个多小时),或对象周围的环境发生一系列变化(汗、导电胶的缺席或蒸发或在一个糟糕的状态),系统需要重新调整,以确保解码的准确性。当受试者操作错误(输入错误的轨迹)或实际解码轨迹与理想的一个明显不一致,新系统有一个依赖的帮助下人机交互和单自愿眨眼的重置校正,避免误差积累的影响。有不可否认的是,受试者重新修正与眨眼经常导致减速控制。只有这个话题已经熟悉眼睛追求运动和系统响应,系统可以更有效的控制。

5。结论

本文提出一种double-threshold-based眨眼检测方法提取自愿单身眨眼和double-blinks。然后,通过时间序列建模,系统集成的优点眨眼控制和光滑的追求控制预测目标的位置与连续线性解码方法维空间。最后,在线校准和控制方案进行生产免费在线控制没有任何引导曲线提示,和技术用于实现多个预定义的屏幕上的目标成功的命中率。

我们的未来的工作是关注网络的优化控制方案,和控制精度的提高。的技术将被投入使用残疾人仍然维持眼球运动来帮助他们有非常有限的外围迁移。

相互竞争的利益

作者声明他们没有利益冲突的手稿。

确认

作者非常感谢金融支持重大研究计划集成项目的中国自然科学基金(批准号91420301)。