文摘
眼睛各自人机接口是用来提供一个交流的方式只对那些可以移动他们的眼睛因受伤或疾病。检测的眼部运动,electrooculography(小城镇)。为高效通信,输入速度是至关重要的。然而,传统小城镇识别方法很难准确地识别快速、按顺序输入的眼部运动,因为相邻的眼部运动相互影响。在本文中,我们提出一种基于隐马尔可夫模型上下文相关的——(嗯)此次建模方法,使用单独的模型相同的眼部运动不同的上下文中。因为相邻的眼部运动的影响是显式地建模,实现了较高的识别精度。此外,我们提出一个方法的用户适应基于user-independent此次调查之间的权衡模型识别精度和user-dependent嗯培训所需数据。实验结果表明,当该上下文相关的摘要,字符错误率(CER)相比显著降低与传统基线user-dependent条件下,从36.0到1.3%。虽然CER再次增加至17.3%时,上下文相关的但user-independent摘要,它可以减少到7.3%通过应用该用户适应方法。
1。介绍
眼睛各自人机接口是用来提供一个交流的方式只对那些可以移动他们的眼睛因受伤或疾病,如肌萎缩性脊髓侧索硬化症(ALS) (1,2]。作为这样的一个系统的一个例子,Ohya等人提出了一个eye-blinking-based软件键盘系统(3),用户可以指定任意列在键盘上,闪烁时水平移动光标到达所需的列。然后,用户同样可以指定任意行闪烁当垂直移动光标到达所需的行。高桥等人报道免提操作系统命令识别系统(4]。在他们的系统中,眨眼和眼部运动映射到命令(例如,前进、左转和右转)控制设备(如电动轮椅和机器人。阿齐兹等人也开发了一种基于运动相似的眼睛轮椅导航系统(5]。
检测的眼部运动,electrooculography(小城镇),这是一种弱生物医学信号被电极眼睛周围的皮肤(6]。识别这些信号的眼部运动,几种方法进行了研究。检测到一个孤立的眼睛运动事件如眨眼、阈值用于确定信号的振幅大于预定义常量(3]。当一个事件或一个命令是由一系列的眼部运动,这样的机制来识别序列是必需的。为此,一些系统(4)使用动态编程——(DP)匹配(7),而另一些(5,8,9)使用隐马尔科夫模型(摘要)10]。与DP-matching相比,摘要使用概率分布和有一个好处,那就是它们可以模拟输入信号的方差,以获得更好的识别性能。
提供一个有效的沟通方法,我们曾提出了一个eye-to-speech形态转换系统(11)使用一个HMM-based小城镇解码器。在此系统中,识别模块识别一系列的眼部运动并将其转换成一个拼音字母或字符序列,然后发送到语音合成器模块合成语音话语。我们已经表明,这个系统成功的几个基本输入功能。然而,系统面临着难以准确识别输入眼睛运动序列。这是因为用户倾向于不断输入多个眼部运动所需的任意话语的发音速度相对较高。因为相邻运动成为融合在一起,它们之间的界限变得不清楚,此次信号失真和识别变得非常困难。
在这项工作中,我们提高HMM-based眼运动识别来实现更高的识别精度连续眼睛运动输入。显式模型的基本思想是使用上下文相关的眼部运动眼运动的上下文信息摘要;这种方法类似于triphone模型用于高性能语音识别系统(12]。通过使用上下文信息,此次的变化信号融合造成的眼部运动也可以显式地建模,使更健壮的识别对这种扭曲。一般来说,摘要必须估计的参数可用于解码。较高的识别精度,一个特定于用户的HMM-based小城镇模型应该被训练使用一组此次收集的数据来自同一用户。然而,如果user-independent模型可以使用只有少量的特定于用户的小城镇的数据,它会更方便用户,因为它将减少所需的努力记录此次数据生成一个定制的小城镇模式。应对这种可能性,我们提出一个方法的用户适应user-independent HMM-based小城镇之间的权衡模型和调查识别准确性和所需数量的user-dependent此次数据。
本文的组织如下。节2概述了小城镇的基础知识。节3,eye-to-speech系统提供的概述。部分4提出了提出了EOG-based眼睛运动识别上下文相关的建模方法和方法的用户适应user-independent HMM-based小城镇模式。部分5和6分别介绍了小城镇数据库和实验装置。部分7讨论了实验结果。最后,部分8为未来的研究提供了结论和建议。
2。Electrooculography(小城镇)
一个电势存在于眼球角膜和视网膜之间,如图1。这种潜在的被称为corneoretinal潜在(CRP)。角膜侧有一个正电荷,视网膜端带有一个负电荷。CRP可以观察到通过此次通过电极附着在眼睛周围的皮肤。此次随不同的眼部运动,因此可以用来确定眼睛的位置。小城镇的大小大约是290到1100V / rad。频率大约是0到30 Hz (6,9]。EOG-based眼睛即使闭着眼睛运动检测功能。据报道,此次信号不会表现出健全的人之间的巨大差异和ALS患者(13]。小城镇探测器非侵入性和简单的比脑电图(EEG) (14因为此次信号的大小和更容易观察。
小城镇的潜在噪声源包括电极之间的电接触条件的变化和皮肤由于comovement模仿肌肉和眼睛,工件由肌电引起的,和输电线路的电磁辐射。前两个噪音是由于肌肉活动,预计对ALS患者变得更小,和第三个噪声是独立于用户。
3所示。Eye-to-Speech系统
图2显示了我们提出的概述eye-to-speech系统[11]。该系统包括三个模块:一个输入模块,识别模块和输出模块。输入模块检测到小城镇信号通过电极附着在眼睛周围的皮肤。此次检测到信号放大和数字化,然后发送到识别模块。识别模块是一个HMM-based解码器和小城镇信号转换成字符序列按照预定义的输入协议。最后,输出模块综合的语音波形识别字符并通过扬声器输出。系统的细节如下。
3.1。此次检测
八个电极用于检测小城镇信号。其中,一个是地线,另一个是一个参比电极,测量电极和其他人。这些电极的位置如图所示3。关于测量电极,连接两个(CH1和互动)高于眼睛,另一个附加以下两个(CH3和CH4)的眼睛,和剩下的两个(CH2和CH5)是连接左右的眼睛。地面电极连接到额头,和参比电极之间的连接的眼睛。
在这项研究中,五种眼部运动也被用来输入所需的字符:“”,“”,“左”,“对,”和“中心。“一个“中心”运动是一直往前看。这些运动都是相对于用户的脸和不受影响的姿势。图4显示了一个示例的一个小城镇信号使用eye-to-speech系统获得的。这个信号对应于一个运动序列组成,中心,中心,中心,中心。可以观察到在这个例子中,记录信号反映生成它的眼球运动。
3.2。小城镇的认可
在eye-to-speech系统中,摘要是用来构建小城镇模型,语音识别译码器(15,16)是用于眼部运动识别。支持实时解码,获得部分输出识别结果的前缀时确定。这意味着即使在很长一段话语输入,识别结果不断输出从一开始就没有等待输入到年底。一个六维特征向量是由小城镇的六通道信号,和一个序列类向量的译码器的输入。
3.3。输入协议
不同字符的数量取决于所使用的语言,但它通常是比许多不同的眼部运动。当字符数大于眼部运动,多运动必须结合来表达一个字符。输入协议的目的是定义一个从眼部运动映射到字符。
在我们的系统中使用的角色是日本的假名,日本音标。假名系统由48个基本特征和两个类似于元音变音的修改痕迹。四眼运动的组合是用来表达这些基本特征和修改标识。作为一个例子,一个输入表中给出了协议的一部分1,/ ga /是派生角色,前四个动作对应一个修改标记,最后四个动作对应的基本字符/卡/。因为困难的认识界限序列组成相同的眼睛运动,连续动作,如“上”之后,“上”(眼睛仍将查找)避免在协议。
4所示。该方法
4.1。此次建模使用上下文相关的摘要
最简单的HMM-based小城镇建模的方法是构造一个嗯为每个运动。然而,我们发现,此次为同一运动信号不同不同的上下文中。例如,一个样本信号从CH1如图5,信号形状对应于第一和第二“中心”运动是完全不同的。第一个形状的梯度增加,而第二个形状是递减的梯度。因此,如果我们要这只眼睛运动模型用一个嗯,不同的特征将混合在同一个模型,准确识别将是困难的。
为了解决这个问题,我们提出了一个上下文相关的眼睛运动嗯,类似于上下文相关的手机模型用于高性能语音识别系统(12]。通过考虑前面的眼睛运动背景下,多个眼运动摘要准备相同的眼睛运动取决于上下文。我们称这种模式为bi-eye运动摘要因为不同”“嗯是准备每一对眼睛运动(p、t),“p”前面的背景和“t”识别目标。同样的,当成功前和眼球运动情况下,多个眼运动摘要准备相同的眼睛运动前和成功上下文对应。我们称这种模式为tri-eye运动摘要因为不同”“嗯是准备每三的眼部运动(p t, s),“p”前面的背景下,“s”是成功的背景下,和“t”识别目标。因为上下文相关的摘要显式模型上下文的影响,预计他们将使更准确的识别上下文独立的摘要。我们把原始上下文无关运动模型作为mono-eye摘要。表2显示了一个示例使用的上下文无关和上下文相关的模型代表一个运动序列。
一个嗯由混合高斯函数表示发射概率和转移概率,和这些概率分布的参数必须从训练数据估计。因为上下文相关的模型参数包含超过环境独立模型,他们需要更多的训练数据准确的参数估计。特别是tri-eye运动摘要需要大量的训练数据,因为tri-eye运动摘要的数量的眼部运动的立方的数量。减少所需的训练数据得到健壮的模型,我们集群相似的模型参数,然后在训练过程中它们之间共享数据。集群参数,decision-tree-based状态捆绑方法(17使用)。图6显示了一个示例集群的过程:一群模型同样的动作在不同的上下文中被放置在决策树的根,和一组预定义的问题然后回答将这些模型直到分裂之前和之后的变化可能小于一个预定义的阈值。通过应用decision-tree-based国家把之间的平衡模型复杂性和估计精度可以调整。
4.2。用户适应
摘要的参数估计使用一组此次训练数据。一般来说,当一个统计模型训练为一个特定的用户使用该用户的数据,它被称为user-dependent模型。相反,当一个模型训练的混合数据从多个人员与目标用户不同,它被称为user-independent模型。图7概述了这两个培训流程。user-dependent模型通常提供识别精度高于user-independent模型因为特定于用户的特点是精确建模。然而,user-independent模型的优点是任何用户都可以使用该模型一旦训练。有可能弥补低识别性能在一定程度上通过应用演讲者适应技术用于语音识别。调查这种可能性,我们建议的应用最大似然线性回归(MLLR) [18)和最大后验(MAP) (19,20.适应技术用于语音识别。这两种技术在提高语音识别性能是非常有效的。
除了HMM参数,HMM-based连续解码器通常拥有一个解码参数被称为一个“插入点球,”,这是用来控制之间的平衡插入和删除错误。在以后的部分详细描述这些错误6。1;简而言之,他们是相关词的数量错误地添加和删除的识别结果,分别。我们猜想,优化为每个用户插入处罚应该是一个有用的方法补偿输入的个体差异的眼睛运动速度。因此,我们建议用户适应方法的一部分,我们为每个用户调优插入损失除了调整HMM参数。
5。数据库
此次数据用于实验记录从五个健康的参与者。四是男性,一个是女性,都二十几岁的。记录系统操作使用电池作为一个独立的系统。Silver-silver氯电极与导电胶和固定在皮肤上使用和磁带。参与者坐在椅子上的记录。采样频率的A / D转换小城镇是100赫兹的信号。所有数据记录参与者的同意后,他们被告知记录过程和记录数据的使用。
5.1。训练数据
参与者被要求移动他们的眼睛在运动序列按照语音指令记录训练数据。一个单位的训练数据被定义为一组22运动序列包括几乎所有可能的组合。序列的长度是4到8个动作(例如,“上,下,上,下,左,中心”),每个单元包含136运动。平均持续时间约为7分钟被要求记录一个单位的训练数据,包括电极的制备和其余的时期。记录50单位/参与者,录音时间分为四个或五个单独的会话,与5到15单位记录。所有电极在每一个会话连接和删除。记录数据的总持续时间达860.7分钟(14.3小时)。
5.2。测试数据
记录测试数据,我们选择了10个词代表所常用的病人。记录之前,参与者被要求记住这些单词,然后相应的运动移动他们的眼睛,依照他们的记忆,记录测试数据。每个单词每个参与者记录的10倍。如果他们的眼部运动是不正确的,他们被要求记录直到所有运动都是正确的。表3总结了测试数据的细节。只有一个参与者需要三个不连续的会议记录;其他人完成他们的记录在一个会话中。总的来说,测试数据从所有参与者达118.1分钟(2.0小时)的数据。
6。实验装置
在这个研究中,我们关注此次识别的性能。摘要mono-eye运动作为基线,和bi -和摘要tri-eye运动提出的方法。进行离线识别实验。真正的时间因素(RTF)小于0.2使用英特尔酷睿i7处理器。
6.1。评价指标
识别性能测量的字符错误率(CER),这是不正确的字符识别结果比总数量的字符引用。连续字符识别中,字符输入序列的总数是未知的,可以确定的三种类型的错误:替代错误,删除和插入错误,错误。替换错误意味着承认不同于真正的字符。删除错误意味着没有输出,尽管存在字符引用在相应的位置。相比之下,一个插入错误意味着一个字符插入位置没有性格的参考。方程(1)使CER的定义。 年代,D,和我的数量替换,删除和插入错误,分别和字符引用的总数。假名识别,使用假名CER。
6.2。嗯培训
摘要的参数估计使用训练集描述的部分5。User-dependent模型除非另有注明,因为更高的识别性能预计从这些模型与user-independent模型。
嗯,四个州被定义为每只眼睛运动从左到右的拓扑。每个国家的排放分布建模为高斯函数与16个组件的混合物。观察特性6-dimensional,相对应的元素来自小城镇测量通道。提出tri-eye运动单位,原模型有364个国家(从理论上讲,有(#州/嗯)(# tri-eye运动模型+ #左bi-eye运动模型+ # bi-eye运动模型)可能的状态,但他们中的一些人没有出现在训练集);这些都是decision-tree-based集群后降至约115。阈值作为聚类过程的终止准则确定基于初步实验。隐马尔可夫模型工具包(HTK) [21)是用于模型训练和适应。
6.3。3培训
为了实现高识别性能,克语言模型(22)被用于结合EOG-based眼睛运动摘要。语言模型的性格克训练使用文本语料库的自发的日本(CSJ) [23),其中包含1240万个假名字符。词汇量的大小是70,等于总数不同的假名字符。的只的订单被选为1、2和3。CMU-Cambridge SLM工具包(24)被用来训练的字符克。
语言模型的性能测量的困惑(25]。这个测量的值可以被解释为一个平均散度的可能性。一个较小的困惑值表示更好的性能。表4显示角色的困惑克。
7所示。结果
7.1。初步的实验
作为一个初步实验,基于阈值和HMM-based方法的识别性能进行了比较。基于阈值的识别,左(CH2)和右的区别(CH5)小城镇信号被用来检测平行眼部运动。垂直的眼部运动检测,之间的差异的平均值CH1和互动- CH3的平均值和CH4曾因为CH1和互动-电极附着在眼睛和CH3和CH4电极连接下面的眼睛。如果由此产生的二维小城镇向量的规范是小于一个预定义的阈值,然后信号被认为是象征“中心”的运动。否则,小城镇向量的内积和四个方向上的单位向量,,,,计算,信号被认为是象征之一的四个方向(左,“”,“”吧,”或“向下”),产生最大的内积。这些决定是在相同的频率采样率,这是100赫兹的实验。然而,结果有时不稳定,吵了。因此,一个投票进行的预滤器应用1000 msec窗口宽度和10毫秒窗口转变,和最常发现运动输出。最后的识别结果是通过合并成一个单一的连续运动事件。HMM-based识别,基于阈值识别的二维向量一样除了六维向量用于比较的目的。摘要使用传统上下文独立的模型,他们user-dependent条件下训练。
表5显示了识别的结果。性能测量的运动识别的错误率,这比字符识别是一项简单的任务,因为每个字符由多个动作的结合。运动的定义错误率CER的相似;然而,单位不是人物,而是五个类型的眼部运动。如表所示,基于阈值法的错误率为46.5%,这是大。这是因为此次信号包含电噪音和构件(如肌肉潜力和失真由于连续的眼球运动。当HMM-based方法是使用相同的二维输入信号,出错率大大减少到23.6%。这是因为摘要考虑分布的观察和健壮的噪音。使用六维输入时,出错率进一步降低到11.9%,表明摘要健壮的识别的优势。
7.2。识别使用上下文相关的摘要克
图8显示了cer获得使用mono - bi和tri-eye运动单位和克不同的订单,0-gram意味着没有使用语言模型。摘要user-dependent,被训练使用所有50个单位的训练数据记录为每个用户。很明显,上下文相关的小城镇模型取得了更好的结果比不顾上下文独立的模型蟋蟀秩序。当克(即不使用。,the 0-gram case), the proposed tri-eye motion unit achieved a significant reduction in relative error rate of 96.4% compared with the mono-eye motion unit, from a CER of 36.0% to a CER of 1.3%. This was because the EOG models were constructed based on different contexts and could clearly distinguish the different characteristics of the EOG signals. The error rate also decreased as the克订单增加无论使用何种类型的小城镇模式。这一发现表明,使用克也可以有助于降低识别错误率。0.9%的错误率最低是tri-eye运动单元与3-gram一起使用。
7.3。用户适应
为用户适应实验,user-independent tri-eye运动小城镇摘要被训练使用训练数据的200辆从四个五个参与者,包括适应的目标用户。适应结果user-independent HMM-based小城镇模型到目标用户,培训目标用户的数据被用作MLLR适应数据和地图适应。调查的变化与适应不同数量的数据,识别错误率适应性进行随机选择使用不同的训练数据的子集,选择大量适应数据分别为0.2,0.3,0.5,1.0,2.0,和5.0单位。为了确保可靠的结果,每个条件的实验重复10次使用独立适应采样数据。实验也重复每五个参与者作为适应目标。因此,50 ()在总为每个条件进行了改编,结果是平均的。
图9显示了用户适应结果评估的测试数据。语言模型,3-gram模型使用。在图中,“不适应”代表user-independent模式不适应的结果。因为小城镇在用户不同的信号,如不同振幅和不同速度的眼睛运动,的CER user-independent模型(17.3%)显著高于user-dependent模型。当适应了使用MLLR或地图技术,大大减少出错率。这是因为特定用户的倾向被并入原user-independent模型通过这种适应。也观察到越来越多的错误率降低适应数据使用。地图比MLLR适应适应更有利,导致类似或更好的识别性能。
结合地图适应的结果插入点球调优也显示在图,贴上“地图+ Ins。”见,进一步改善与地图相比实现了适应孤独。5个单位适应数据使用时,的cer MLLR,地图,和地图+ Ins-based适应性是11.8,8.0和7.3%,分别。这些值对应于相对减少而17.3%的CER user-independent模型31.8,53.8和57.8%,分别。
8。结论和未来的工作
眼睛各自人机接口基于小城镇提供一个重要的通信通道只对那些可以移动他们的眼睛因受伤或疾病,如肌萎缩性侧索硬化症。建立一个健壮的通信通道,可以传输不仅简单的迹象也随意的话语,精确的小城镇识别序列的眼部运动是必需的。然而,很难达到很好的识别精度使用传统的基于阈值的方法或HMM-based方法使用上下文独立的模型,因为信号大大扭曲了的环境影响相邻的眼部运动。
在本文中,我们提出了一个上下文相关的嗯建模方法,使用单独的摘要同样的眼睛运动在不同的上下文中。更具体地说,我们提出bi-eye运动条件的摘要前面的眼睛运动条件的上下文和摘要tri-eye运动前和成功的眼睛运动环境。HMM参数,这些参数对混合高斯模型的代表发射概率分布和过渡,从训练数据估计。上下文相关的模型的参数的数量大于与上下文无关的模型。特别是摘要tri-eye运动的参数的数量成正比的眼部运动的立方数,和准确的参数估计从数量有限的训练数据变得非常困难。为了解决这个问题,decision-tree-based状态聚类应用于平衡模型复杂性和参数估计的准确性。因为此次信号因人而异,HMM-based小城镇user-dependent条件下模型训练。然而,这将是有用的也可能采用user-independent模型和训练只有少量的特定于用户的数据。调查这种可能性,各种方法用户适应也被评估。
实验结果表明,该识别性能测量的假名CER大大降低与传统环境独立mono-eye运动HMM方法相比,从36.0到1.3%,当该上下文相关的tri-eye运动HMM-based方法是使用。这个结果对应于一个相对CER减少96.4%。当这种方法结合3-gram-based语言模型,CER进一步降低到0.9%,高度精确的小城镇识别序列的眼部运动。在用户适应实验,结果表明,结合地图适应调优插入惩罚是最有效的方法。与此适应的方法,相对CER减少57.8%,从17.3至7.3%,达到与user-independent模型。
一个可能的困难当我们的方法应用于真实的最终用户是许多组合能够产生不同的字符可能很难在短时间内学习。为了解决这个问题,我们已经开发出一种协议的建议方法,产生一个容易可学的协议为每个用户定制的基于减少字符表(26]。另一个困难可能是如果眼部运动影响疾病的发展阶段,小城镇信号偏离分布建模的嗯,和它导致退化的识别性能。对于这个问题,应用程序的用户适应预计将用于更新嗯根据患者疾病的恶化。
未来的工作包括制造便携式硬件系统实施提出eye-to-speech ALS患者沟通技术和试验验证技术和研究这个群体之间的可用性问题。
相互竞争的利益
作者宣称没有利益冲突有关的出版。