基于BCI和FES的脑卒中虚拟现实康复治疗

抽象的

近年来，通过使用虚拟现实环境和脑计算机接口系统和功能性电刺激器提供的设施，辅助技术和中风康复方法得到了增强。本文提出了一种基于这些革命性技术的脑卒中康复治疗系统。通过使用虚拟现实设备Oculus Rift，该系统将患者带入虚拟场景，虚拟治疗师协调练习，以恢复大脑功能。电刺激器帮助患者进行康复训练，脑计算机接口系统和眼电描记器用于确定训练是否正确执行。从技术角度看，对健康人的实验室测试导致了系统验证。临床试验正在进行中，但临床试验的初步结果突出了患者满意度良好，能够快速适应提出的治疗方案，每个用户康复进展迅速。

1.介绍

世界卫生组织报告的全球统计数据突出显示中风是死亡的第三个主要原因，每年约有1500万人遭受脑卒中[1］．其中，500万被永久禁用需要长时间援助，只有500万被认为在恢复后被视为社会整合。从中风中恢复是一个难以长的过程，需要耐心，承诺和访问各种辅助技术和特殊设备。康复是恢复的重要组成部分，并帮助患者保持能力或获得损失的能力，以便变得更加独立。考虑到中风后安装的抑郁症，患者从高效和快速的康复计划中受益非常重要，然后恢复社区生活[2］．在过去的十年中，许多研究小组都专注于电动机，认知或言语恢复后，如Johns Hopkins Institute的中风中心[3.， ENIGMA-Stroke Recovery‎[4，或由欧盟第七框架计划资助的StrokeBack联盟‎[5］．重要的信息和通信技术公司对可集成到康复系统的技术和设备的发展作出了重大贡献。例如,用kinect中风恢复是一个基于微软Kinect技术构建中风后运动恢复的交互家庭康复系统的研究项目‎[6］．

在过去的几年里，虚拟现实(VR)应用程序的开发得到了推动，因为虚拟现实头盔的价格降至1000美元以下，使它们成为大众市场产品‎[7］．VR仍然尤其用于军事训练或视频游戏，以提供一些现实感和与虚拟环境的互动对其用户[8］．现在越来越多的医生和临床医学家对VR头盔和增强现实(AR)在改善大脑神经可塑性，用于神经康复和运动/精神障碍的治疗方面的潜力进行了探索‎[9］．但是，考虑到使用的干预和方法的多样性，没有证据表明，与特定类型的障碍的其他传统疗法相比，vr治疗可以是有效的[10］．这并不意味着VR的潜力被高估了，结果也不是人们所期望的那样。虚拟现实治疗必须与其他形式的康复技术相辅相成，如机器人治疗、脑计算机接口(BCI)和功能电刺激(FES)治疗，然而传统治疗提供了更有针对性的方法‎[11］．

SaeboVR是一个虚拟康复系统，专注于日常生活活动，并使用屏幕上出现的虚拟助手来教育和促进性能，提供实时反馈[12］．神经技术公司Mindmaze介绍了MindMotion Pro，用于将虚拟现实的物理和认知运动游戏纳入中风康复计划的3D虚拟环境疗法，将虚拟现实的物理和认知运动游戏纳入其中[13］．在纽约动态神经肌肉康复中，基于VR的Caren（计算机辅助康复环境）目前用于治疗患者的卒中和后脑损伤[14］．EVREST Multicentre在中风康复中使用VR练习的卓越结果[15］．

运动想象(MI)是一种长期应用于脑卒中后康复的技术。它的一个主要问题是，没有一个客观的方法来确定用户是否在执行预期的运动想象。基于mi的bci可以量化运动想象和输出信号，这些信号可用于控制外部设备，如轮椅、神经假肢或计算机。FES与基于mi的脑梗死联合治疗成为一种很有前途的脑卒中康复技术。在这种情况下，传统的脑卒中后康复治疗中，MI被用来诱导闭环反馈，而不是提供交流。这种方法被称为配对刺激(PS)，因为它将每个用户的运动想象与刺激和反馈配对，如激活功能性电刺激器(FES)、虚拟形象运动和/或听觉反馈‎[16］．近期多组研究表明，MI可以记录患者在临床环境中，用于控制实时反馈，同时支持PS可以提高康复治疗效果的假说‎[17- - - - - -21］．

在最近的一项研究中，Irimia等人‎[22通过在三名中风患者身上测试一个结合基于mi的脑机接口和神经刺激器的系统，证明了结合运动想象、棒反馈和真实手部运动的有效性。在每一个疗程中，患者必须想象120个左手动作和120个右手动作。视觉反馈以屏幕上的延伸条的形式提供。在对正确想象进行分类的实验中，FES被激活，以诱导相应的手张开。所有患者的控制精度都很高，运动功能也有改善。在后来的一项研究中，Cho等人‎[23]展示了两名患者使用第一人称化身反馈进行BCI训练的结果。研究后，两名患者均报告运动功能改善，上肢Fugl-Meyer评估量表得分均有改善。即使这两项研究中出现的患者数量很低，他们也支持这种系统可能会给中风患者的康复过程带来额外的好处。

2.通用系统架构

本文介绍的BCI-FES技术是一个更复杂的中风康复系统的一部分，称为traee‎[24，如图所示1．刺激设备，监视设备，VR耳机和运行软件的计算机是Travee系统的主模块。刺激设备帮助患者执行练习，并且监控设备用于根据所提出的场景确定练习是否正确执行。实际上，Travee系统必须被视为软件内核，允许使用一系列USB可连接设备定义一系列康复练习。这种方法非常有用，因为它为患者提供了根据他的需求和连接之后购买，借用或租用上述设备的选项，治疗师可以选择合适的练习。

TRAVEE系统是基于一个新的和有前途的康复概念这意味着增强/放大反馈的运动肢体受损,可以成功地应用尤其是在早期阶段的康复治疗以关闭循环可能触发的镜像神经元‎25］．这些镜像神经元是学习的中介，间接地控制着大脑的可塑性，这种技术被称为中风康复的镜像疗法‎[26］．尽管与其他标准技术相比，镜子治疗的优势相比，一些缺点是显而易见的：难以向患者解释镜子如何帮助他：单调，患者的病情和位置，缺乏具有挑战性的任务，等等。[27］．用虚拟现实头盔代替实体镜子，患者就拥有了闭合触发镜像神经元回路所需的同样视觉反馈，而且没有上述镜像疗法的缺点。一旦患者沉浸在虚拟世界中，他就不再是一个残疾人，这对患者的自尊有很好的影响。在TRAVEE项目中，使用惯性运动单元、带有传感器的手套、带有肌电传感器的Myo臂带和Oculus Rift头戴式设备的虚拟现实系统的开发取得了令人鼓舞的结果‎[28］．一个替代实现的系统包含一个用于监测患者四肢运动的Leap Motion设备，一个VR头戴器，以及一个附在患者手臂上的触觉模块，这些也提供了比标准治疗方法更好的效果‎[29］．

3.材料和方法

本研究中，BCI-FES TRAVEE子系统由FES作为刺激装置，BCI和EOG (electrooculture, EOG)系统作为监测装置，Oculus Rift作为VR头戴设备，以及一台笔记本电脑组成，图2．

康复训练的重点是手和手指的屈伸(图3.)．病人坐在轮椅或普通的椅子上。如图所示，将FES电极安装在双手伸肌上3.启动FES软件模块，以确定FES参数(电流脉冲的强度和时间:上升、前端和下降)。然后，安装EEG电极和脑电图头盔，验证信号的正确采集。在连接虚拟现实头盔之前，治疗师坐在患者面前，通过向患者展示以下内容来解释他将看到什么:虚拟治疗师会像图中那样举起手3.(治疗师的左手就是病人的右手);一个大箭头会出现在屏幕的左上方或右上方，这取决于虚拟治疗师的适应症，患者也会听到来自左边或右边的声音。经过解释后，VR头戴装置被安装在上面(图4)， EOG系统被校准，恢复训练可能开始，但在真正的治疗师告诉患者他可以在两种观点中选择之前:图中显示的是正面视图(虚拟治疗师位于患者的前面)或镜像视图(虚拟治疗师位于患者的左边，镜子在他们的前面，就像在一个舞蹈室)5．

在EOG校准时，在VR系统显示的白色背景中，不同位置出现红色点的时间为2.5秒，红色点出现的时间顺序为:中、右上、中、左上、中、左下、中、右下、中。用户必须盯着每个位置的点。该标定方法对于精确计算注视点(眼动)具有重要意义。

为了根据患者想象的运动提供VR和FES反馈，必须创建一组空间过滤器和分类器‎[22］．首先，我们要记录4次训练数据。每次试验由20次左右mi试验组成，顺序随机。我们使用‎[]中提出的试验时间过程和信号处理算法[22］．每次试验持续8秒。在第二秒，一声beep通知用户即将到来的提示。在第二个3，提示出现，并标记用户开始想象虚拟治疗师所示动作的时刻，直到试验结束。在记录测试数据时，从第4.25秒开始，用户看到由线索移动所指示的虚拟手，与此同时，神经刺激器诱导患者相应的手张开。在创建空间过滤器和分类器后，我们将记录更多的2次运行，只有当分类结果正确时，VR和FES反馈才会在每次试验的4.25秒到8秒之间提供给患者。在最后2次试验中，我们将每个分类结果样本与给出的线索进行比较，计算该会话的控制错误率过程。除了第一个会话，在记录4次列车数据运行时，只有当该会话的控制错误率小于20%时，我们才使用该患者前一个会话中计算的空间滤波器和分类器集。

4. EEG和EOG录制

BCI-FES子系统包括一个16通道的生物信号放大器(g.s bamp, g.c ec medical engineering GmbH)和一个8通道的神经刺激器(MOTIONSTIM8, KRAUTH+TIMMERMANN GmbH)。根据10-20国际系统采集感觉运动区以上12个位置的脑电图信号，如图所示6(一)．最后四个通道用于差异模式以记录垂直和水平EOG。数字6 (b)呈现受试者头部的EOG电极位置。EEG和EOG数据在256 Hz上采样，缺口滤波，以排除50 Hz噪声。EEG数据是8到30 Hz的带通滤波，然后馈送到使用公共空间模式（CSP）方法进行空间滤波的处理算法[30.，31.]和线性判别分析（LDA）分类[22，32.］．EOG数据用移动平均滤波器进行过滤，以计算最后128个样本的平均值。

为了获取Eog信号，使用相同的EEG器件，但是来自GTEC-G.USBAMP的所有EEG电极，其中4个用于EOG信号。在从治疗师的训练/恢复会话期间，患者需要持续的动力和注意力，是必要的。事实上，经过一段时间，患者不再关注，睡着了，或者正在寻找/思考别的东西。通过使用基于电胶（EOG）的眼睛跟踪，系统能够确定患者是否集中并警告患者，如果他不是。数字7介绍了实现算法的输出，用于检测在他面前图像上的图像的凝视点。数字7（a）图中显示了处理后的HEOG和VEOG7（b）基于Heog和veog显示凝视点的运动。

5.技术和临床测试

脑电信号的在线信号处理和分类采用g.tec医疗工程有限公司提供的公共空间模式2类BCI Simulink模型，离线数据分析采用g.BSanalyze软件。对于EOG处理，我们开发了一个Simulink模块，包含一个算法，处理EOG信号和输出-注视与VR系统上显示的图像中心点相关的归一化坐标。整个系统首先在3名健康人身上测试，然后根据他们的建议进行微调，以获得较高的准确度和良好的重复性系数。所有三个健康的人都实现了较低的控制错误率，与Ortner和他的同事在‎上提出的相同[33.］．

在开始在临床环境中对患者进行测试之前，这项研究得到了罗马尼亚布加勒斯特国家康复、物理医学和balne气候学研究所机构审查委员会的批准，每位患者都签署了知情同意书，并在研究开始前获得了发布视频和照片的授权。纳入本研究的患者一般临床表现为发热、意识清醒、时空取向、心肺平衡，无消化或肾尿主诉，伴有卒中后中枢神经运动综合征。在所有患者中，三分之一是女性，三分之二是男性，年龄在52岁到79岁之间。纳入标准为神经系统状态稳定;稳定的意识状态;显著且持续的神经运动缺陷;至少有下列两种残疾:行动能力、自助能力、沟通能力、括约肌控制能力、吞咽能力;足够的认知功能来允许学习;沟通能力; sufficient physical exercise tolerance.

临床试验正在进行中，到目前为止，拟议的系统已在7名患者身上进行了测试。每个人都进行了三次训练，并且他们都能够在整个系统中实现较低的控制错误率。表格1介绍每位患者的平均和最小控制错误率。平均错误率计算为从第4.25秒到最后2次运行的第8次之间每个时间点的平均错误率。数字8表示受试者S6 (session 8)中控制错误率最低时的及时错误率，第二节6.8的红色圆圈表示。

除受试者S3和S4外，所有患者在至少一个疗程中出现的控制率均低于20%。研究的这个时候,还为时过早,使评估的病人康复的结果,但是,根据他们的反馈每个会话后,虚拟现实系统使他们保持关注他们必须执行的任务,他们认为一切都像一个互动游戏。事实是，他们在认知上参与了这项任务，而不是有一个被动或无聊的态度，显然带来了额外的好处，康复过程的结果。

一开始，患者很难理解如何集中精力想象自己受损肢体的运动作为康复训练的一部分。对于那些受教育程度较低的人来说，不清楚这种专注于肢体运动的努力对他们有什么帮助。这是观察到的，特别是当系统使用只有BCI模块没有VR。他们所要做的指示信息非常贫乏(只有一个简单的声音和一个指示左或右的箭头)。同时，病人周围的活动很容易从想象运动中干扰到他。患者需要大约5次训练来学习如何想象动作并获得良好的神经反馈。通过添加VR，培训课程的数量将减少到1个或2个(很少)。

Analyzing the questionnaires, it was concluded that the average user satisfaction was around 3, the answers being highly influenced by the patients’ understanding of the rehabilitation therapy because most of them expected to recover themselves based on the therapist’s activity and not to be consciously involved in the rehabilitation process. That depends also on the education degree. However, the overall patients’ impression was that they felt and saw an encouraging improvement in recovering after using the proposed system.

在接下来的几个月里，我们计划组织两组患者:试验组和对照组。测试组将进行多达25次的系统训练，而对照组将只进行经典的康复治疗。当研究结束后，将组间的结果进行比较，并对结果进行统计分析，看实验组的功能改善是否在统计学上明显高于对照组。

6.结论

本文介绍了一种用于脑卒中康复的BCI-FES系统。除了刺激装置外，BCI和EOG系统还监督锻炼的进行，患者的承诺和Oculus Rift头戴设备有助于患者沉浸在VR中。通过使用这个系统，病人不会被真实的环境或他周围的事件分心。他沉浸在虚拟现实中，虚拟治疗师告诉他如何进行每一项锻炼，每次都会显示一个红色的大箭头。病人大部分时间都在集中注意力，但如果他失去了注意力，眼球追踪系统会检测到并给出警告。

通过在辅助技术良好知识的健康人身上测试系统的系统来验证技术性能。健康的人实现了低控制错误率，可与文献中报道的那些相当。

临床测试正在进行中，但初步的测试非常令人鼓舞，关于每位患者的快速住宿和满足感。这种组合VR和BCI和FES设施的方法可以有效地加快康复期并提高用户的乐观主义和运动欲望和恢复丢失的技能。通过BCI和VR涉及大脑，该系统证明比标准技术更有效。

临床测试持续几个月，有相当数量的受试者，但一旦完成这些测试，将分析李克特问卷和所有受试者的技术文件。

的利益冲突

提交人声明有关本文的出版物没有利益冲突。

致谢

该研究得到了罗马尼亚国家科研机构(UEFISCDI) 2014项目1/2014的支持。

参考文献

1. 中风统计，互联网冲程中心，http://www.strokecenter.org/patients/about-stroke/stroke-statistics/，最后一次访问2017年9月。
2. 在中风后恢复：患者和家庭指南，http://www.strokecenter.org/wp-content/uploads/2011/08/Recovering-Aftera-Stroke.pdf，最后一次访问2017年9月。
3. 约翰霍普金斯研究所-中风中心，http://www.hopkinsmedicine.org/neurology_neurosurgery/centers_clinics/cerebrovascular/stroke/．
4. ENIGMA-Stroke复苏,http://enigma.ini.usc.edu/ongoing/enigma-stroke-recovery/，最后一次访问2017年9月。
5. 行程项目，http://www.strokeback.eu/project.html，最后一次访问2017年9月。
6. 9月份Kinect的出现促进了中风的恢复，http://www.microsoft.com/en-us/research/blog/stroke-recovery-gets-a-boost-from-kinect/．
7. T.布拉德肖，《金融时报》，“虚拟现实技术开始面向大众市场。”https：//www.ft.com/content/f8087e6e-8c66-11e6-8aa5-f79f5696c731上次访问．视图:谷歌学术搜索
8. A.乐乐，“虚拟现实及其军事用途，”环境智能与人性化计算杂志，卷。4，不。1，pp。17-26，2013。视图:出版商网站|谷歌学术搜索
9. K. Laver, S. George, S. Thomas, J. E. Deutsch和M. Crotty，“中风康复的虚拟现实:Cochrane评论的删节版”，欧洲物理和康复医学杂志，卷。51，不。4，pp。497-506,2015。视图:谷歌学术搜索
10. B. H. Dobkin和A. Dorsch，“中风康复治疗的新证据。”目前动脉粥样硬化报告，第15卷，第2期。6, p. 331, 2013。视图:出版商网站|谷歌学术搜索
11. W.-P。Teo, M. Muthalib, S. Yamin等人，“虚拟现实、神经调节和神经成像的结合是否为神经康复提供了一个全面的平台?-文学的叙事性回顾，"人类神经科学前沿，第10卷，第3号284年,2016年。视图:出版商网站|谷歌学术搜索
12. 虚拟现实对中风康复的好处，http://www.saebo.com/benefits-virtual-reality-stroke-rehabilitation/，最后一次访问2017年9月。
13. L. Panjwani，虚拟现实疗法旨在帮助中风患者恢复9月份最后访问，http://www.rdmag.com/article/2017/08/virtual-reality-therapy-designed-help-stroke-patients-recover．
14. 在纽约州的中风康复中虚拟现实，https://nydnrehab.com/treatment-methods/neurorehab/virtual-reality-in-stroke-rehabilitation/．
15. 加拿大中风结果研究，sorcan.ca/current-projects/。
16. N. Sabathiel, D. C. Irimia, B. Z. Allison, C. Guger，和G. Edlinger，“与脑-机接口配对的联合刺激:中风康复的新范式”计算机科学课堂讲稿(包括人工智能子系列课堂讲稿及生物信息学课堂讲稿):前言，卷。9743，pp。261-272,2016。视图:出版商网站|谷歌学术搜索
17. K.K.Ang，C. Guan，K.S.G.Chua等，“关于中风患者使用脑电图的电动机图像脑界面的大临床研究，”临床脑电图与神经科学，卷。42，不。4，pp。253-258,2011。视图:出版商网站|谷歌学术搜索
18. F. PICHIORRI，F.VICO FALLANI，F. CINCOTTI等，“SENSOSIMOTOR基于节奏的脑电电脑界面训练：对电机皮质响应的影响，”神经工程杂志第8卷第2期。2、文章ID 025020, 2011。视图:出版商网站|谷歌学术搜索
19. R. Ortner, D. C. Irimia, J. Scharinger和C. Guger，“中风康复中基于运动想象的脑-机接口”Stud Health technology Inform，第181卷，319-323页，2012。视图:谷歌学术搜索
20. S. R. Soekadar，N.Birbaumer，M.W.Slutzky和L.G.Cohen，中风中神经嗜睡的脑机界面，“疾病的神经生物学，第83卷，第172-179页，2015。视图:出版商网站|谷歌学术搜索
21. A. Remsik, B. Young, R. Vermilyea等人，“脑-计算机接口疗法修复中风后远端上肢运动功能的进展和未来影响的综述，”医疗器械专家评审，卷。13，不。5，pp.445-454,2016。视图:出版商网站|谷歌学术搜索
22. D. C. Irimia, M. S. Poboroniuc, R. Ortner, B. Z. Allison, C. Guger，“用于脑卒中后康复的bci控制FES系统测试的初步结果”2017年9月18日- 22日，第七届格拉茨脑机接口会议奥地利格拉茨，2017年。视图:谷歌学术搜索
23. W. Cho，A. Heininger，R. Xu等，“血珠手术康复基于非侵入性脑电脑界面的化身和电气刺激，”国际体育与康复杂志，第05卷，不。2017年04。视图:出版商网站|谷歌学术搜索
24. TRAVEE，神经运动恢复增强反馈虚拟治疗师，http://travee.upb.ro/， 2017年9月最后一次就诊。
25. D. Cinteza，《现代康复概念-中枢神经系统(镜像系统)》，Balneo-Research杂志，卷。2012年3月3日。视图:谷歌学术搜索
26. M. E. Michielsen，R. W.卖，J.N.Van der Geest等，“慢性中风患者镜子治疗后的运动恢复和皮质重组：II期随机对照试验”神经康复与神经修复第25卷，没有。3，页223-233,2011。视图:出版商网站|谷歌学术搜索
27. T. Muzaffar, R. K. Wadhwa, B. Diganta, N. la以色列和SY。Kothari，“镜像疗法对中风上肢康复的评价”第24卷（3）：63-9，第24卷，第63页，2013年9月。视图:谷歌学术搜索
28. R. G.Lupu，F. Ungureanu和A. Stan，“职业追查后的虚拟现实系统”第20届系统理论，控制和计算国际会议的诉讼程序，ICSTCC 2016年300-305页，罗马尼亚，2016年10月。视图:出版商网站|谷歌学术搜索
29. R. G. Lupu, N. Botezatu, F. Ungureanu, D. Ignat和A. Moldoveanu，“基于虚拟现实的中风康复使用跳跃运动”，在第20届系统理论，控制和计算国际会议的诉讼程序，ICSTCC 2016年295-299页，罗马尼亚，2016年10月。视图:出版商网站|谷歌学术搜索
30. J.Müller-Gerking，G.Pfurtscheller和H.Flyvbjerg，“设计最佳空间过滤器，用于运动任务中的单次试用EEG分类，”临床神经生理学，卷。110，没有。5，PP。787-798，1999。视图:出版商网站|谷歌学术搜索
31. B. Blankertz，R. Tomioka，S.Lemm，M. Kawanabe和K.-r.Müller，“优化适用于强大的EEG单试 - 试验分析的空间过滤器，”IEEE信号处理杂志第25卷，没有。1, 41-56页，2008。视图:出版商网站|谷歌学术搜索
32. S. Lemm, B. Blankertz, T. Dickhaus和k - r。Müller，“大脑成像的机器学习入门”，neuroimage.，第56卷，第56期。2, pp. 387-399, 2011。视图:出版商网站|谷歌学术搜索
33. R. Ortner，J.Scharinger，A. Lechner和C. Guger，“有多少人可以使用常见的空间模式来控制基于BCI的电机图像？”在第七届国际IEEE / MEBS关于神经工程会议的诉讼程序（NER '15），pp.202-205，2015年4月。视图:出版商网站|谷歌学术搜索

版权

版权所有©2018 Robert Gabriel Lupu等人。这是一篇开放获取的文章创意公共归因许可证如果正确引用了原始工作，则允许在任何媒体中的不受限制使用，分发和再现。