文摘

本研究的目的是为了现在的眼电图(小城镇)和表面肌动电流图(表)信号,可以作为人机接口。建立一个有效的替代渠道沟通没有公开演讲和手部运动对提高患者的生活质量很重要患有肌萎缩性脊髓侧索硬化症,肌肉萎缩症或其他疾病。在本文中,我们提出一个EOG-sEMG人机界面系统通信使用交叉流道和平行线通道表面上相同的电极。该系统可以记录小城镇和面肌信号同时作为模式识别的“二重形式”。尽管多达4模式可以识别,处理状态的病人,我们只选择两类运动(左和右)的小城镇和两个类(左眨眼,眨眼)的表很容易实现模拟和监测任务。从仿真结果,我们的系统实现四拍子分类的准确性达95.1%。

1。介绍

眼球运动期间,在角膜和视网膜存在一个潜在的,它的基础是眼电图(小城镇)。小城镇可以建模的偶极子(1),用于医疗系统。几个EOG-based人机界面的研究在文献中找到。例如,一个轮椅控制眼球运动是残疾人和老年人正在开发。眼动信号和传感器信号相结合,方向和加速度控制(2]。表面检测到肌动电流图(表)信号在皮肤表面,产生的电活动的肌肉纤维收缩(3]。肌肉运动可以被分析表。表的重要应用之一是控制人工腿。虽然头部运动,这是一个自然的姿态,可以用来表示一个特定的方向4),重视残疾人不能移动他们的颈部和头部。然而,许多这些人可以使用面部肌肉运动。表是一种研究面部肌肉活动记录从收缩纤维动作电位。表可以用表面电极探测到,易于应用和非侵入性和用户带来任何健康和安全风险。计算机系统也可以用脸面肌电信号控制信号(5,6]。这些计算机系统可以识别面部运动(左右眨眼,眨眼,咬)通过使用面肌电信号传感器。此外,小城镇,脑电图(EEG)和肌电图信号可以实时分类,可以控制移动机器人通过使用人工神经网络分类器(7]。

调查采用的可能性小城镇人机界面,视线角之间的关系,确定一个小城镇。深入研究发现,慢慢改变基线漂移很难估计连续小城镇信号,这漂移只出现在电路中信号的直流(DC)。为了克服这个问题,我们的系统之前提出的使用交流电(AC)的小城镇,以减少信号的基线漂移分割(8- - - - - -10]。在这些论文8- - - - - -10),我们介绍了鼠标光标控制系统使用我们此次技术。眼睛运动类的初始阈值(左,右,和自愿眨眼)经验为每个用户单独决定。两只眼睛运动类(左、右)命令相同的鼠标光标的运动。在这些论文8- - - - - -10),斜向右下方向的眼睛运动是点击的命令处理。此外,自愿眨眼是一个命令点击处理。然而,这些系统有问题,面对面肌信号成为小城镇的噪声信号。

在这项研究中,我们发展一个EOG-sEMG人机界面系统进行交流。我们建议此次设备没有工件从眼睛闪烁的问题。我们应用一种算法使用DC元素的动态变化和模式分类的AC元素。这种分割的信号减少基线漂移。尽管3-electrode方法可以测量垂直和水平组件在小城镇在脑电图测量(被认为是噪音11),我们的小城镇系统仍然使用横跨海峡的使用4电极既能改善小城镇测量的准确性,实现EOG-sEMG同时“二重形式”的过程。此外,横跨海峡的小城镇信号有一个类似的性能plus-channel方法广泛用于此次测量。此外,横渡英吉利海峡的小城镇的电极位置信号的方法有很好的功能,表也可以同时有效地测量。相比与其他论文(12),这是一个有用的价值。

与其他相关研究人机接口帮助残疾人如眼球追踪系统(13),使用图像处理,EOG-sEMG基于我们的提议人机界面具有较强的抗干扰能力等环境灯光和噪音。病人可以使用这种类型的接口,即使没有看见。特别是,ALS患者仍然可以控制他们的眼球和眼睛周围的肌肉甚至在末期,他们根据我们的建议可以使用EOG-sEMG人机界面。虽然图像处理设备被广泛使用,因为直观、更可预测,基于我们的提议EOG-sEMG人机界面仍然为严重的残疾人提供了不错的选择。

在本文中,我们提出一个方法,可以执行面临由记录小城镇和面肌电信号模式识别。为了证明我们的方法的性能,我们尝试3相关实验一步一步。起初,虽然7类可以识别,处理病人的真实状态和初始精度测试,我们只选择两类运动(左和右)的小城镇和两个类(左眨眼,眨眼)的表很容易实现模拟和监测任务。接下来,我们进行了实验使用我们提出的字符输入系统与4类。实验参与者在二十几岁健康男性同意加入我们的实验,没有强迫。从这些实验中,我们表明,我们提出的四拍子识别系统是容易学习和使用。进一步,我们应用提出了简化方法(软件可以做字符输入一次点击(模式识别)严重的残疾人(肌肉萎缩症患者)。

2。测量系统

2.1。横跨海峡的

如图1(a), plus-channel方法被广泛用作记录此次信号最传统的方式在前面研究:水平信号记录通道1 (CH1)和垂直信号记录频道2 (CH2) [8- - - - - -10]。在本文中,为了提高小城镇信号的准确性,提出了一种新的横跨海峡的方法如图1(b),水平和垂直信号可以由两个通道同时记录。这是更容易使用双信号分析数据。

2.2。EOG-sEMG测量系统

在本节中,提出了EOG-EMG测量系统的设计。图2显示了正式方案小城镇和面肌信号的采集和分析通过系统控制和信息的流动。我们建议的系统有四个部分:(1)放大器,(2)过滤器,(3)A / D转换器,和(4)鼠标光标控制系统。具体来说,这意味着系统包括五个电极,A / D转换器,个人电脑和监控(如图2)。四电极表两个渠道的信号是贴在脸上,一个电极是贴在地上的左或右手腕。

2.3。EOG-sEMG传感设备

在本节中,我们显示在这项研究中使用的接口装置。图3显示一个人穿的接口设备。这个接口设备类似于眼镜,固定电极。的信号测量装置使用蓝牙发送到PC。发送的数据在图所示4。测量信号是直流电流两个小城镇通道(2 ch), CH1和CH2,交流电流两个小城镇频道(CH3和CH4)。同时,2 ch面肌电信号的测量信号,这是CH5和互动。我们将展示的细节在以下部分测量数据。

3所示。此次录音系统

在本节中,我们将介绍此次录音系统。我们提出小城镇系统是基于两个流:(1)放大器和低通滤波器(DC元素)和(2)放大器、低通滤波器和高通滤波器(AC元素)。后记录信号幅度(1000次)和生物电势数据采集系统的降噪措施,四种眼球运动(、左、右,向下)是公认的准确和电子降噪也成功。应该注意的是,水平小城镇信号比垂直小城镇的信号。这是因为垂直对准目标比水平更慢跳阅、和向下跳阅是最慢的14]。数据5- - - - - -8显示四个眼球运动(、左、右,向下)是显然不同的。此外,CH1和CH2直流信号,可用于记录的连续运动的眼睛。甲基和CH4是此次的交流信号。因此,甲基和CH4强烈反应只眼球运动。

因为此次信号改变为所有四个眼球运动,我们进口CH1 + CH2,用于垂直信号和CH1−CH2水平信号。在实验中,我们要求每个参与者搬他的眼球跟随下一个序列:center-right-center-left-center-up-center-down-center。这两个新的程序的结果如图所示9。

4所示。摘要信号记录

图2显示了正式方案面肌电信号的采集和分析信号通过系统控制和信息的流动。我们的系统包含这四个组件:(1)表面电极,(2)放大器,高通滤波器(3),(4)个人电脑面肌信号分类。面肌电信号来表面电极探测到的信号放大和过滤数据采集前降低噪音的工件,提高光谱组件包含信息的数据分析。两个渠道面肌信号可以用来识别面部运动。的噪音消除直流水平和60赫兹电力线路,使用高通滤波器。高通滤波器的截止频率是66.7赫兹。

录音在图10在我们的系统显示应用的降噪措施。因此,三个表的数据类(正确的眨眼,眨眼,和咬)是显然不同的。过滤和放大后(约1000倍),面肌信号数字化,然后转移到个人电脑。测量数据是1 KHz的采样频率在一个乐队从0赫兹到500赫兹。

面肌信号处理的移动平均处理。移动平均处理计算纠正和减重的意思是以前的数据点。然后,移动平均处理后的值确定为“积极的”或“不活跃”基于阈值。的阈值(CH5和互动)根据用户设置。该方法需要设置每个用户的阈值。此外,这个系统没有反应通常的眨眼。图11显示了这个过程的一个图表。

5。模式识别算法

在本节中,我们将介绍我们的提议EOG-sEMG模式识别算法。图12显示我们提出的整体流系统。这个过程包括重复步骤。模式识别包括五类:两类(左和右运动)小城镇和三个类(左右眨眼,眨眼,咬)表。

如果表数据信号处理后超过一个阈值,表数据的模式是由CH1只(右blink-like运动)或CH2(左blink-like运动)或两个(咬或强眨眼)。我们的算法初始化的DC元素小城镇面肌电信号活动完成后。此外,当AC元素的小城镇没有改变(眼睛不动)和面肌不活跃的,我们的算法初始化眼睛正在前面的参考价值(“此次更新”图12)。换句话说,我们的系统确定的眼睛看着前面,因为AC元素是没有改变。在那个时候,我们的系统更新DC元素的参考价值。之后,我们在直流系统使用的数量变化的参考价值。

从实验规则,判断阈值之间的活跃的和不活跃的设置。接下来,当眼睛移动,我们的算法比较CH1 + CH2的变化范围和CH1−CH2。当CH1−CH2较大,我们的算法执行此次的确定过程。当CH1 + CH2较大,我们的算法确定眼睛在垂直方向移动,因为此次数据的垂直方向眨眼睛类似于此次数据模式。此外,我们的实验结果表明,许多人无法轻易控制眼睛的方向。

接下来,我们介绍了小城镇模式识别算法的一个例子小城镇模式识别处理如图13。尽管图9显示所有的眼睛运动可以通过检查值CH1 + CH2 CH1−CH2,行进模式算法仍然需要解决基线转移引起的漂移问题。图的算法步骤13如下:(1)直流和交流元素小城镇超过阈值的正确的方向。确定这是眼睛的正确方向。(2)DC元素继续超过阈值的正确方向和AC元素返回到基线。眼睛的方向仍然是正确的。(3)AC元素大大负方向的变化当眼睛方向回到中心位置。(4)AC和DC元素返回每个元素的基线。然后,更新基线。我们的系统执行的决心的左翼和右翼运动眼睛通过使用这种算法。该算法可以确定方向。这是一个艰难的过程,当只使用交流的元素。

6。实验和结果

提出了系统测试的有效性,我们进行了两个实验:一个是模式识别测试,另一个是一个字符输入测试。

6.1。模式识别实验

首先,我们进行了模式分类实验的两个眼球运动类(左、右)和三个面部表类(正确的眨眼,眨眼,和咬)。每个操作的间隔3秒(如图14)。每个参与者执行每只眼睛运动9倍。此外,我们测试了我们提出的系统是否可以拒绝正常眨眼。我们进行正常眨眼拒绝测试30次。实验八个健康男性的参与者都是我们实验室的数量在二十几岁给了他们同意参与这个实验。

6.2。模式识别实验结果

模式识别实验结果如表所示1和最后一行显示了每个模式的绩效评估(PE) 5点统治下(正确的5点,拒绝2点,和小姐0分)。拒绝意味着输入模式没有反应。小姐意味着输入模式是错误的响应。从实验中,小城镇模式识别(左、右)提出的系统是可靠的。从这些实验结果,我们提出了系统显示了良好的性能在四类的识别(左右,左,右眨眼,眨眼)。的平均识别率为95.1%,反对率为1.4%,平均和平均错过率只有3.5%,平均PE 4.79 5。

然而,面肌咬模式识别不如预期。一个原因是,有些人的麻烦咬合的不规则导致背离他们的脸颊。这种咬人行为通常被认为是左右眨了眨眼。另一个原因是,我们使用一个阈值优化方法区分正常眨眼,和正常眨眼拒绝测试成功率97% (232/240)。在这种方法下,咬行为不能通过阈值将被拒绝一样正常眨眼。

6.3。字符输入实验

接下来,我们进行了字符输入实验使用四类(右(小城镇),左(小城镇),右眨眼(表)和左眨眼(表))。字母的句子输入软件,丰盛的梯子(6),如图15。我们使用了四的选择方法。我们分配四种模式如下:右(小城镇)命令选择右下区域。左(小城镇)命令选择左下角区域。正确的眨眼(表)是命令选择更高的正确区域。左眨眼(表)是选择高离开区域的命令。四种模式的用户反复筛选,直到最后模式被选中的字符。控制区间为0.1 s。我们进行了实验的“宫崎骏”输入任务(8个字符:4操作1字符)这是我们大学的名字。实验的参与者九在二十几岁的健康男性谁给了他们同意参与这个实验。实验参与者包括六个人经历有了这个系统。

6.4。字符输入实验结果

我们尝试5试验的“宫崎骏”输入的任务。我们错过的计数和时间直到输入。实验结果如表所示2。从这些实验中,一个试验的平均时间是50.0秒。一个字符的字母的平均输入时间大约是6.3秒(50年代/ 8个字符)在计划的系统。时间最快的参与者,K。米,是4.5 (35.8 s / 8个字符)。此外,如果我们考虑参与者M。F M。年代,R。K曾使用我们提出系统超过100 h为经验和其他6个参与者没有使用我们的系统提出的任何机会缺乏经验,有经验的参与者的平均时间是49.2秒,没有经验的参与者是51.5秒。小姐的没有经验的参与者也低。从这些结果,我们认为我们的提议系统的一个优点是,用户不需要大量的训练。

我们比较我们与小城镇的方法方法的性能和面肌方法。此次方法使用左、右眼部运动只有2区选择方法。面肌方法正确的眨眼,眨眼只有2区选择方法。我们尝试同样的五个实验试验相同的“宫崎骏”输入任务的参与者。这些实验结果如表所示3。可以看出,我们的方法最好的所有三种方法的性能。我们计算为一个操作所需的时间。此次方法1.93 s,面肌方法1.65 s,我们的方法是1.56秒。此外,小姐的面肌方法还不到我们的方法。最决定性的原因之一是,操作的数量(7操作1字符)比4-division大2区选择方法选择方法。

正如我们在本节中提到的,2或4模式可以被我们的提出的系统。所有这些模式可以分配函数和分离,处理用户的状态,所有这些模式可能是受雇于任何组合。在下一节中,我们将讨论我们提出的应用系统严重残疾人只使用1模式。

7所示。实验结果的严重的残疾人

在本文中,我们应用该方法严重的残疾人(肌肉萎缩症患者)。我们得到大学的伦理委员会批准,宫崎骏。实验部分6复杂的操作将导致疲劳的残疾人,所以实验的方式进行,一个字符将与一个单一的点击进入使用小城镇或表。只有一个模式选择小城镇或表模式,可以很容易地使用。在这个字符输入方法,性格是由软件自动选择;用户可以通过点击选择当目标角色已选择的软件。在这个实验中,点击处理是由小城镇或面肌电信号活动的识别。

这个实验有两个主题。为了减少对象的身体状况和环境的影响,我们尝试相同的实验在不同的场合不同的天10倍。连续30分钟在一次实验中用于测试日本字符输入。表4给出了实验结果。从表4,表方法的识别率是99.2%,此次方法的识别率为98.0%。输入时间缓慢健康受试者相比大约1到2秒。因此,残疾人有相同的结果作为健康的使用一个单一的点击。从这些结果,我们可以说,我们的方法是有效的在严重的残疾人。

8。结论

在这项研究中,我们介绍了一个EOG-sEMG设备的人机界面设计,为患有肌萎缩性脊髓侧索硬化症或其他疾病。我们使用交叉流道和平行线通道表面上相同的4电极。该系统可以记录小城镇和面肌信号作为模式识别同时dual-threading。此外,我们提出的方法使用AC和DC元素的小城镇中相应减少了漂移,使连续操作记录眼球运动。实验结果表明,我们提出的方法是有效的四拍子识别(右(小城镇),左(小城镇),右眨眼(表),然后离开了眨眼(表))。特别是,我们的字符输入方法展示了良好的性能实验。错过率只有1.4%。此外,缺乏经验的和有经验的参与者显示的结果差别不大。从这些结果,我们认为我们的提议系统的一个优点是,用户不需要大量的训练。

此外,我们比较我们与小城镇的方法方法和面肌电信号的方法。我们提出了字符输入方法所需的最短时间。我们建议的人机界面可以应用在此次系统中,面肌电信号系统,EOG-sEMG系统。可以使用我们的系统的患者只能控制他们的眼部运动。也可以只使用面肌成功率高的信号,直到用户舒适使用设备。我们提出了人机界面的优点在于,它可以根据使用情况。

我们希望能够与患者患有肌萎缩性脊髓侧索硬化症或其他疾病通过使用我们的系统。在我们未来的工作,我们计划测试许多学科和更严重的残疾人。

相互竞争的利益

这项研究是由SYOWA有限公司

确认

这项研究受到了宫崎骏全州工业支持基金会(R&D)和年轻科学家的无偿援助(B) (23700668) KAKEN。作者感谢Kazuhiko Inami先生和Kazuya Gondou先生。他们感激地承认过去和现在的工作他们的实验室的成员。