文摘

触觉感知、触觉的主要传感通道脑机接口(BCI)是一个复杂的过程。表面摩擦在触觉感知起着至关重要的作用。本研究旨在研究触觉P300 BCI的表面摩擦性能的影响。两种古怪的范式设计,silk-stim范式(SSP)和linen-stim范式(LSP),丝绸和亚麻布包裹在目标振动马达,分别。在这两种范式,干扰振动器被包裹在棉花。这个实验结果表明,LSP可能诱发更强的与事件相关电位(erp),取得了较高的分类精度和信息传输速率(ITR)而SSP。研究结果表明,高表面摩擦可以实现高性能的触觉BCI。这项工作提供了一个新的研究方向,是一个可行的基础上对未来的触觉P300 BCI,视觉障碍患者可能受益。

1。介绍

脑机接口(BCI)是一种新的通信和控制技术,建立了人类大脑和外部设备之间的交互不参与正常的神经通路。迄今为止,BCI医疗康复中表现出巨大的应用价值(如中风患者(1)和肌萎缩性脊髓侧索硬化症(ALS) (2]),辅助控制(如电脑打字3],光标控制[4),和轮椅导航(5]),生活娱乐(如游戏互动(6和智能家居7])。常用的大脑活动模式在当前BCI系统包括汽车图像(MI) [8- - - - - -11),稳态视觉诱发电位(SSVEP) [12,13),和与事件相关电位(erp) [14,15]。

P300潜力,ERP的常用组件,通常是相关的心理和认知功能,通常是由那些古怪的范例,在目标刺激是一个小概率事件的发生(16]。似乎在刺激后250 - 500 ms发生和有明显积极的振幅17]。早期P300-based bci主要是通过视觉刺激唤起。例如,最经典的视觉P300-based引入BCI Farwell和Donchin于1988年(18]。他们用一个6×6矩阵展示26个字母和10位数提供视觉刺激。受试者被告知凝视目标字符和默数的目标字符的数量。之后,希尔et al。19首次提出一个auditory-based BCI允许主题做出二选一的决定与空间信息的提示。然而,视觉和听觉好像不适用的患者视力或听力障碍。因此,研究应该关注tactile-based BCI的开发视觉和听觉障碍的患者。第一个tactile-based BCI系统,这和Van推出了Erp (20.]。他们把vibrotactile刺激器在不同位置的腰,指示的主题集中在振动器来完成指定的任务目标选择。他们的研究证明了tactile-based BCI的有效性。他们的工作后,研究人员试图触觉刺激适用于身体的其他部位,如头(21],手指[22),胸部(23),(24),和脸颊25]。此外,研究已经进行的影响因素,如触觉刺激的数量(26),刺激频率(27),和刺激发病异步(20.),对触觉BCI系统。同时,触觉BCI系统验证病人,并取得了一些研究成果。考夫曼et al。28]发达four-choice BCI范式基于不同形式的闭锁综合症患者。他们的研究结果表明,该触觉方式比其他模式(视觉和听觉)。Silvoni et al。29日]调查样本的触觉ERP和分类精度ALS患者和没有发现显著差异之间的精度ALS患者和健康的参与者,证明触觉BCI患者疾病的可行性。最近,Murovec et al。30.]演示交流由触觉BCI系统的潜在意识障碍患者。

触觉传感是一个全面的感觉受体形成的皮肤刺激反应(31日]。作为主要的触觉传感通道BCI,触觉感知是一个复杂的过程,与表面特征密切相关的联系32]。触觉感知摩擦起着重要的作用,摩擦产生的变形可以刺激感官受体在皮肤皮肤扫描织物的表面(33,34]。ERP技术已经应用于研究小说和触觉感知之间的关系。erp诱发的指尖摩擦表面纹理和摩擦系数的影响,和响应灵敏度摩擦刺激(有很强的关系35]。

然而,没有研究了皮肤摩擦触觉BCI的效果。在这项研究中,我们研究了皮肤摩擦触觉BCI的影响。采用古怪的范式设计实验,和五个振动器固定在主体的左手掌,手掌,腹部、左脚踝、右脚踝。基于不同的面料提供不同的感官,在这项研究中,我们设计了两个范例即silk-stim范式(SSP)和linen-stim范式(LSP)。我们还比较了两种范式及其引发的ERP功能BCI的性能。

2。材料和方法

2.1。主题

十右手健康受试者,包括5个男人和五个女人(标记为S1-S10), 23-28岁(平均24.7±1.42),参加了我们的实验。所有科目都有完整的触觉和没有触觉障碍史(自我)。每次实验前,受试者最初经历振动器的振动,然后我们开始实验只有当受试者报告说,他们可以从每个位置识别振动。实验给出了上海徐汇中心医院伦理委员会的批准7月10日,2020年,每个主题实验前应签署书面同意。每次实验之前,我们给了受试者的详细描述任务,并告诉他们,他们可以在任何时候终止实验期间如果他们感到任何不适。

2.2。刺激生成和数据记录

摘要触觉刺激被vibrotactile刺激器提供(g.VIBROstims)由g。STIMbox (g。tec医学工程GmbH,奥地利)。振动电机是包装在不同的面料给受试者不同粗糙的感觉。我们使用的面料来提供不同的触觉,因为他们是最常见的一个得分的材料。扩大分歧的面料选择,并确保受试者可以明显察觉到他们之间的差异。在这项研究中使用的面料是丝绸(图1(一)(图),棉花1 (b))和亚麻(图1 (c))。表1显示了纱线支数、warp-weft密度和织物的表面密度。刺激的持续时间和刺激之间的时间间隔,分别设定在200年和400年[女士36]。

(一)
(一)
(b)
(b)
(c)
(c)
图1
刺激器与不同面料:丝绸、棉花(b)和(c)亚麻。
表1
纱线支数、warp-weft密度和表面密度的织物样品。

脑电图(EEG)信号采集,由一个电极帽(g.EEGcap)和过滤和放大的脑电图放大器(g.USBamp)。放大器设置采样率为256 Hz,从0.1到30 Hz带通滤波器和陷波滤波器50赫兹。14频道选择依照国际10 - 20电极放置系统Fz, FC1, FC2, C3, C4、Cz, CP3, CP1, CP2, CP4, P3, Pz、P4, Oz(图2)。参考电极和地面的额头(FPz)和正确的乳突(A)。电极阻抗保持低于10 kΩ在实验。


图2
的配置选择电极位置从10 - 20系统。
2.3。实验设计

我们采用调查的常用的古怪的范例。我们固定的5个振动器在这个问题上的左手掌,手掌,腹部、左脚踝、右脚踝。在实验期间,只有刺激传递到左或右手掌可以指定为目标,而其他人则视为干扰刺激,目的是减少目标刺激的概率。在[37),下一个目标刺激小概率事件的概率,诱导P300信号的振幅就越大。两个范例在这项研究中(图设计的3(一个)),即SSP和LSP,丝绸和亚麻布包裹在目标振动电机,分别。保持一致性的干扰刺激,我们选择与粗糙度之间的丝绸和棉亚麻的干扰刺激两个范例。因此,在这两种范式,干扰振动器是裹着棉花。

(一)
(一)
(b)
(b)
图3
实验设计。(一)两个范式设计;(b)实验的流程图。

在实验中,受试者被要求放松的坐在椅子上,把他们的手放在椅子的左和右手臂。他们被要求保持他们的眼睛向前,而不是看他们的刺激身体的位置。两个范例实验的顺序是随机的对每一个主题。对于每个模式,主题是指示执行离线会话训练和构建一个分类模型,然后执行在线会话测试当前范式的性能。图3 (b)显示了过程的实验协议。离线会话包含三分,每个运行包括五个街区。在每个块,左边的刺激或右手掌被选为目标和重点。目标在一块是相同的,并表示2 s的主题由振动信号在每个数据块的开始。一块由10个试验。在每个试验中,五个振动器,其中一个是目标,和其他四个是不属预定目标的,振实无重复伪随机的顺序。这个话题被秘密指示集中在目标刺激计数的数量目标的振动。两个运行时,受试者有5分钟的休息。离线会话的三分后,分类模型可以建立基于离线数据。至于网上会话,包括20块(每种类型的目标测试10倍),但试验在每个块的数量是不同的。 The online real-time feedback could be presented every time a block recognition was completed. When recognizing classification results for each block, the adaptive strategy developed in our earlier work was applied [38]。系统输出结果在两个连续的结果是相同的每一块识别,从而大大减少试验的次数和时间。

2.4。特征提取和分类

我们选择100 ms prestimulus和800 ms poststimulus数据段(总共900 ms)基于标签我们在实验中进行特征提取和分类。100 ms刺激发病前的数据被用于基线校正之后的数据。三阶巴特沃斯滤波器的带通从0.1赫兹到30 Hz应用于筛选原始脑电图数据。减少大幅度EEG的异常值引起的眼眨眼睛,眼球运动,肌肉活动,或主题活动,我们应用Winsorizing方法过滤构件与振幅小于10百分点和超过90百分位数的振幅分布(39]。然后,数据是从256 Hz downsampled 36赫兹通过选择每7th消除样本维数的诅咒。因此,特征向量的14×29(14频道和29个采样点)是用于分类器。

分类算法是BCI系统的核心。一个简单而有效的算法经常被用于P300-based BCI系统Fisher线性判别分析法(FLDA) [40,41]。FLDA是一个基准的方法来确定最优分离超平面之间的两个类(42]。然而,随着输入特征的数量增加,FLDA的分类性能会恶化如果训练样本不足(43]。逐步线性判别分析(SWLDA) FLDA的延伸,这减少了特征空间通过选择适当的特征(44]。SWLDA自动特征提取的优点,但它不能保证收敛的模型43]。另一个广泛使用的线性分类算法是贝叶斯线性判别分析(BLDA) [39),它结合了FLDA算法和贝叶斯回归迭代。它可以有效地解决数据过度拟合的问题。是一种有效的分类算法,BLDA已经应用在许多P300-based BCI研究[45,46]。因此,我们应用BLDA算法在这个研究。BLDA的实现非常简单,因为它是完全自动的,不需要用户干预调整hyperparameters。基本BLDA分类规则如下: 在哪里 表示水平叠加矩阵的特征向量, 表示一个向量包含回归目标, 表示的权向量BLDA分类器和取决于hyperparameters 和 。Hyperparameters 和 可以自动估计和迭代通过证据的过程。 的特性和数量吗 是一个 维对角矩阵。

对于一个新的输入向量 , 在哪里 可用于输出P300-based BCI的决策。在我们的研究中,当执行在线分类,五个特征向量从五个刺激位置被输入到分类器来计算他们属于目标的概率。然后,最大的概率被确认为分类的结果。

2.5。数据分析和统计

在这项研究中,我们采用了分类精度(ACC)和信息传输速率(ITR)来评估我们的BCI性能模式。ACC被定义为目标的数量的比例正确分类的分类器的总人数目标测试。ITR表示每分钟系统能够传输的比特数,它可以评估如下(20.]: 在哪里 表示可能的决策和数量 代表了时间的审判。这项工作的价值 是5。

我们采用了统计分析调查统计差异这两个范例在所有科目。我们考虑使用非参数统计方法分析由于样本量相对较小(n= 10)。的Wilcoxon符号秩测试是用来评估提出的统计差异模式。一个 值小于0.05可以被视为一个重要的区别。影响的大小和科恩的计算d的结果Wilcoxon符号秩检验。应用SPSS软件执行Wilcoxon符号秩检验和G 电力应用软件来计算效果和统计的力量Wilcoxon符号秩检验。

3所示。结果

3.1。erp

图4显示了大平均erp从刺激开始之前的100 ms 800毫秒后10科目超过14电极两个范例。在图中,实线是对目标刺激,不属预定目标的和破灭的。也引起类似的ERP成分在两种范式,但没有明显的区别在ERP振幅之间的两个图的范例。


图4
大平均ERP两种范例的反应刺激前10个科目对面100 ms发病后800毫秒超过14电极。

图5(一个)说明了意味着P300幅值在不同的电极在10。P300的振幅计算,我们寻找EEG数据的峰值女士在250年和500年之间在目标刺激发病。P300幅值被定义为ERP振幅峰值点的平均值±25[女士47]。值得注意的是,所有电极在太阳能发电的P300振幅明显大于SSP (Oz除外)。观察目标之间的歧视和不属预定目标的两个范例,我们采用平方值量化目标和不属预定目标的差异。刺激前的数据段女士从100年开始到800年提取后,女士和目标,不属预定目标的erp分离作为输入下列计算得到的平方值: 在哪里 和 每个类的表示的数量特征(目标和不属预定目标的,职责)。 是标签的类(“1”代表的目标样本和“0”不属预定目标的)然后呢 代表样本的值。图5 (b)显示了100 ms的平方值地图签署之前刺激发病后800毫秒10科目超过14下电极两个范例。在图中,颜色越深,越明显的两个类之间的歧视。图还显示了目标之间的差异和不属预定目标的LSP的条件比在SSP条件,尤其是对P300组件。

(一)
(一)
(b)
(b)
图5
(a) P300振幅在不同电极两个范例10主题和(b)签署了r平方值地图从刺激开始之前的100 ms 800毫秒后10科目超过14电极两种范例的。
3.2。离线和在线BCI的性能

图6显示的是离线两种范例的表演。图6(一)描绘了离线准确性和原始比特率平均为10,15倍交叉验证计算,在1 - 10试验。从图可以看出,太阳能发电产生更好的离线的表演,也就是说,ACC和ITR高于SSP。图6 (b)介绍了实验离线ACC的10个主题两个范例。从图,实验的准确性LSP有点高于SSP,但没有发现显著差异。

(一)
(一)
(b)
(b)
图6
离线表演两个范例。(a)准确性和原始比特率平均10 - 10试验对象重叠。为每个主题(b)的实验精度。

图7显示了不同时间窗的贡献离线准确性。图中描述了每个参与者的离线精度不同250 ms时代之前的P300从刺激开始女士(0 - 250),在女士(250 - 500),(500 - 750 ms)。结果表明,青年和中年时期发挥了关键作用在离线模式分类。

(一)
(一)
(b)
(b)
图7
贡献不同时间窗口的每个主题的线下精度两个范例。

表2详细列出了网络性能的10个主题。我们应用三大股指,ACC, ITR,平均数量的试验(AVT)来描述网络性能。的表也显示了结果Wilcoxon符号秩检验。从表中,ACC和ITR的LSP明显高于SSP ( ),而没有发现显著差异在AVT之间使用两个范例。

表2
在线分类性能。

4所示。讨论

我们的研究主要目的是探讨在触觉BCI表面摩擦的影响。面料具有不同粗糙度是用来产生不同的触觉传感。我们比较的ERP功能和BCI性能两个范式,即SSP LSP,刺激器用丝绸或亚麻,分别被指定为目标。在这两种范式,刺激器与棉花包裹被称为干扰刺激。离线和在线结果表明,太阳能发电获得更高的分类精度和ITR SSP。

先前的研究已经表明,触觉古怪的范式可以诱导可辨认的P300成分(20.,25]。我们也发现了类似的P300成分在两种范式在我们的研究中(图4)。中央后回负责两国身体部位和体细胞的系统集成信息,对触觉刺激和大脑的反应通常是集中在中部和后部脑回(48]。图5 (b)表明,P300成分诱导在中央后回在这两种范式,而P300的目标和不属预定目标的特性区别LSP条件比在SSP更加突出。作为一项研究表示,积极组件(LPC)的ERP晚期受到表面摩擦的影响,和小说导致LPC的高振幅49]。类似的发现在这项研究中被发现。图5(一个)说明这个P300振幅的电极LSP条件在SSP比那些条件。我们的研究结果证实,大脑信号的振幅响应潜力(ERP)是影响皮肤摩擦系数,和高摩擦能引起大的P300振幅。从图4,我们还可以发现一个明显的负波(N1) 150毫秒左右,反映occipitotemporal皮层的活动刺激后150 - 250毫秒左右(50]。N1 ERP反映早注意分配,从而促进进一步刺激的知觉加工和分类51]。可以看出,SSP N1诱导强于太阳能发电;换句话说,SSP可能唤起更关注过程前有效刺激分类。其原因可能是linen-wrapped振动器的振动强度略低于用振动器。然而,从图7,N1的差异对分类没有很大的影响。

在离线分类精度和信息传输速率(图6(一)),太阳能发电表现出更高的分类和ITR三试验后而SSP。从图6 (b)精度的实验显示,两种模式之间无显著差异。结果表明,触觉BCI上表面摩擦性能的影响是基于大量试验平均水平,和高的优势成为明显的摩擦试验的数量逐渐增加。至于在线性能,结果列在表中2表明,太阳能发电实现在线分类准确性和信息传输速率显著高于SSP ( )。因此,太阳能发电比SSP实现更高的性能,它可以推断出,高表面摩擦可以实现高触觉BCI的性能。触觉感知是一个复杂的感觉和不同的科目有不同的灵敏度的粗糙度联系(31日]。因此,对于一些科目粗糙度敏感性较低,如S4、S6和S9(见图6 (b)),不同面料的区别可能并不可观。

我们的研究结果证实触觉BCI系统之间的相关性和皮肤摩擦,可以有利于研究触觉,触觉刺激材料、仿生皮肤。然而,在我们的研究存在一些局限性。考虑到只有健康受试者参加了我们的实验,得出相同的结论是否可以达到残疾人是不确定的。因此,在未来的研究中,我们将进一步验证表面摩擦对患者的影响,如患有肌萎缩性侧索硬化症、中风和意识障碍。

5。结论

在目前的工作中,我们探索的影响不同的皮肤摩擦tactile-based BCI系统。结果表明,太阳能发电产生更好的分类精度和ITR而SSP。ERP的结果分析表明,P300振幅受到摩擦的影响。高摩擦会导致大量P300振幅。未来的工作应该关注其他刺激器的表面性质的影响,如疙瘩和表面纹理,触感BCI的性能。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是国家重点支持的研究和发展项目(2017 yfb13003002)。这项工作也支持的部分资金来自中国国家自然科学基金(批准号。61573142,61573142,91420302),该项目引进人才的学科大学(111工程)(格兰特B17017),和“曙光”项目由上海市教育委员会和上海教育发展基金会(格兰特19 sg25)。这项工作也由俄罗斯联邦教育部和科学(格兰特14.756.31.0001)和波兰国家科学中心(UMO-2016/20 / W / NZG / 00354)。