文摘

手势识别基于表面肌电图(表)中扮演一个重要的角色在生物医学和康复领域的工程。最近,有一个显著的进步在手势识别使用高密度表面肌电图(HD-sEMG)记录的传感器阵列。另一方面,健壮的手势识别使用多通道表记录的稀疏放置传感器仍然是一个重大的挑战。在多视图的背景下深入学习,提出了一种分层视图池网络(HVPN)框架,使多通道sEMG-based手势识别通过学习不仅视图相关特征还观点深深的分层次汇集多视图的功能空间。广泛intrasubject和主体评估进行了大规模的非侵入式自适应假肢(NinaPro)数据库,全面评估我们的提议HVPN框架。结果表明,当使用200 ms滑动窗口的部分数据,提出HVPN框架能够实现intrasubject手势识别精度为88.4%,85.8%,68.2%,72.9%,和90.3%,主体手势识别精度为84.9%,82.0%,65.6%,70.2%,和88.9%的前五subdatabases NinaPro,分别表现了最先进的方法。

1。介绍

作为一种非侵入性的方法建立肌肉和设备之间的联系,表面(表)为基础的神经肌电图界面,也被称为肌肉计算机接口(MCI),已被广泛研究在过去的十年。表面肌电图记录的生物医学信号是一种非侵入式电极放置在人类皮肤(1];的时空的叠加运动单位动作电位(MUAP)生成的所有活跃的运动单位(亩)内不同深度记录区(2]。面肌电信号记录从主题的前臂肌肉活动措施他/她的手的动作,因此,可用于手势识别。到目前为止,sEMG-based手势识别技术已经广泛应用于康复工程(3- - - - - -5和人机交互6- - - - - -8]。

从信号的角度记录,有两种类型的面肌电信号的信号:(1)高密度面肌(HD-sEMG) [9- - - - - -11)信号记录电极阵列,由几十个,甚至几百个电极排列成一个网格;(2)多通道面肌信号(12,13由几个稀疏位于电极记录。等mci的机器人假肢手和上肢康复机器人,一个关键的挑战是通过面肌电信号精确地识别用户的手势信号来自于他/她的前臂。在过去的五年中,功能学习方法基于卷积神经网络(cnn)在HD-sEMG-based手势识别取得了可喜的成功,也就是说,实现>分类大量的手势识别准确率90% (11),几乎100%在分类识别精度一组小的手势(14,15),因为HD-sEMG信号包含肌肉活动的空间和时间信息16]。相比传统的特性基于浅层学习模型的工程方法,学习方法的主要优势特性是端到端深度学习模型的学习能力使他们能够自动学习代表深特性从原始表信号没有任何手工功能(17]。

另一方面,实现高精度多通道sEMG-based手势识别性能仍然是一个挑战性的任务,因为多通道面肌电信号是嘈杂的,随机的、非平稳的18,容易受到电极转移(16),包含更少的空间比HD-sEMG[肌肉活动信息19]。到目前为止,研究人员已经尝试了各种各样的策略来改善多通道sEMG-based手势识别性能,包括提取更具代表性特性(20.),使用多通道的姿态从多个传感器收集的数据(21),和发展中更复杂的深度学习模型(15]。

近年来,出现了一个趋势结合深度学习模型与工程技术特点,精心设计的时间域(TD) [22),频域(FD) [23),和时频域(TFD) [24)功能在多通道sEMG-based手势识别系统中取得了举世瞩目的成就。例如,翟et al。25)谱图计算表,用它们作为CNN-based手势识别功能,取得了78.7%的手势识别精度识别49手势。胡锦涛et al。(26)提取Phinyomark特性集(23从原始表信号和喂养成一种引起混合卷积神经网络和递归神经网络(CNN-RNN)架构手势识别;他们实现了87%的识别52手势的识别精度。Betthauser et al。27)提出了encoder-decoder时间卷积网络(ED-TCN) sEMG-based连续运动预测;提出ED-TCN模型的输入平均绝对值(飞行器)组成的序列。陈等人。28使用连续小波变换(CWT)来处理他们提出的CNN模型的数据作为输入。

在机器学习中,从数据所描述的多视图学习是指学习不同的中诚信或不同的特性集(29日,30.]。在此基础上,魏et al。31日)提出了一种多视图CNN (MV-CNN)框架,构造图像生成不同面肌功能到多通道面肌的多视图表示。相比之前的作品深度学习模式相结合工程技术与功能,MV-CNN的关键特性之一就是采用“divide-and-aggregation”策略,能够独立学习深度特性从多路表的每个视图。MV-CNN框架显示承诺成功的多通道sEMG-based手势识别,手势识别的准确性通过MV-CNN显著优于最先进的深度学习的方法。

从多视图的角度学习,通常有两种类型的特性,即“视图相关特性”或“私人特性”特别为每个单独的视图和“观点功能”或“公共特性”共享的所有视图(32]。每个视图下的自主学习是学会视图相关的功能(33];另一方面,它无法学习共享信息在不同的视图(34]。MV-CNN框架(31日)并考虑观点学习通过早期融合策略,连接所有视图相关的脑回的最低层的输出CNN分支。然而,从我们的角度来看,早期融合策略用于MV-CNN仍然是一个幼稚的方法基于连接;也忽略了原始输入功能空间的不同的观点。

针对改善多通道sEMG-based手势识别通过更好的学习观点深特性,在这篇文章中,我们提出了一个分层视图池网络(HVPN)框架,观点功能空间在分层次汇集多视图低级特征的观点学习。为了建立更多的歧视观点功能空间,我们提出了一个CNN-based视图池技术命名为特性视图池(FLVP)层,能够学习一个统一的观点从多视图低层特征空间特性。相比MV-CNN [31日),层次视图的应用程序池和FLVP层导致更广泛的(即。,CNN分支)和更深层次的(即。,with more convolutional layers in the view-shared learning branches) network architecture, respectively, thus enabling the learning of more representative view-shared deep features.

本文的其余部分组织如下。部分2制定多视图学习问题,描述了数据库和细节提出HVPN框架。部分3本文介绍了实验并提供实验装置。部分4提出并讨论了实验结果。最后,部分5总结了纸。

2。材料和方法

2.1。问题陈述

据魏et al。31日),基于多视图的问题深入学习手势识别使用多通道可以制定为面肌信号 在哪里 表示多视图表示从不同的看法 - - - - - -通道面肌电信号的信号 , 代表一个深神经网络参数 ,和表示最后的手势分类结果。

之间的关系 和可以制定 在哪里 表示视图构造函数生成多视图表示从原始表的信号。

领域的多视图学习深处,一种常见的方法是建立神经网络 学习从深表示观点,分别,然后使用一个视图聚合网络融合在一起,学会了多视图深表示获得最终的决定 。因此,方程(1)可以写成

2.2。数据库

这个工作的评估进行离线使用多通道面肌信号从可用NinaPro宣传数据库(35]。我们选择5 subdatabases NinaPro,含有多通道面肌信号记录完整和transradial截肢者通过不同类型的电极。这些数据库的详细信息如下:

第一subdatabase(表示NinaProDB1)包含表27日采集的信号完整的主题;每位受试者被要求执行53个手势,包括12个手指运动(运动),17手腕的动作,手的姿势(表示运动B), 23日把握和功能性运动(表示运动C),和其他运动;每个动作重复10次(即。,10试验/姿态)。面肌信号记录下NinaProDB1 10奥托博克13 e200-50电极100 Hz的采样率(13]。大多数现有的研究在这个数据库排除其余运动手势识别(10,26,31日,36),在我们的实验中我们也排除其余的运动性能比较的方便。

第二subdatabase(表示NinaProDB2)包含面肌电信号采集的信号40完整的主题;每个实验对象被要求执行50手势,包括练习NinaProDB1 B和C, 9力模式(表示运动D),和其他运动;每个动作重复6次(即。6试验/动作)。面肌信号记录下NinaProDB2 12 Delsys Trigno无线电极2000 Hz的采样率(13]。

第三subdatabase(表示NinaProDB3)包含面肌电信号采集的信号11 transradial截肢者;每位受试者被要求执行完全相同的50个手势的NinaProDB2;每个动作重复6次(即。6试验/动作)。面肌信号记录下NinaProDB3 12 Delsys Trigno无线电极2000 Hz的采样率(13]。NinaPro的作者根据数据库,NinaProDB3面肌电信号记录过程中,三个截肢科目只执行动作的一部分由于疲劳或疼痛,两截断话题,电极的数量减少到10由于空间不足(13]。确保模型的训练和测试可以完成,我们省略了这些科目的数据后使用的实验配置魏et al。31日]。

第四subdatabase(表示NinaProDB4)包含面肌电信号采集的信号10完整的主题;每个实验对象被要求执行完全相同的53个手势的NinaProDB1;每个动作重复6次(即。6试验/动作)。面肌信号记录下NinaProDB4 Cometa波+无线表系统12电极,和采样率为2000 Hz (37]。检查数据之后,我们发现两个科目(即。,subject 4 and subject 6) did not complete all hand movements; their data were omitted in our experiments.

第五subdatabase(表示NinaProDB5)包含面肌电信号采集的信号10完整的主题;每个实验对象被要求执行完全相同的53个手势的NinaProDB1;每个动作重复6次(即。6试验/动作)。在[实验配置37(即),我们选择41手势。,Exercise B and C plus rest movement) from all 53 gestures in NinaProDB5 for classification. The sEMG signals in NinaProDB5 were recorded by two Thalmic Myo armbands at a sampling rate of 200 Hz; each Myo armband contains 8 sEMG electrodes [37]。

2.3。数据预处理和视图建设

由于内存限制的硬件,对于NinaProDB2-DB4实验,我们downsampled面肌信号从2000赫兹到100赫兹以下实验中使用的配置(31日]。

多视图学习,认为建设通常定义为一代的多个视图从原始数据的单一视图(38]。考虑到公平的性能比较,本文认为施工过程一模一样,在MV-CNN框架(31日]。结果,三种不同观点的多通道表,表示 , ,和 ,由图像的离散小波包变换系数(DWPTC),离散小波变换系数(DWTC)和第一Phinyomark的特性集(Phin_FS1)从原始表中提取信号,分别。

一代的特征图像,我们跟着江提出的图像生成算法和阴39),描述的算法1。

虽然上述三个观点的多通道表最歧视的观点被证明是手势识别在31日),他们的建设仍然需要大量的计算时间和资源,以及他们的高维导致神经网络参数的数量的增加,让我们考虑手势识别精度和计算复杂度之间的权衡。因此,在本文中,我们还评价了“两个视图”配置,选择两个最歧视的视图(例如,和 ,由图像DWPTC和DWTC resp)。这三个视图的多通道面肌电信号,用它们作为输入的HVPN框架。评估在“两个视图”配置的细节将在本文的以下部分。

提取面肌功能视图建设期间,滑动窗口是用来分割多路表。早期研究MCI指出,实时MCI系统的响应时间应该保持低于300毫秒以避免延时被用户(40,41]。出于这个原因,滑动窗口长度设置为200 ms的大部分实验,和窗口增量将10 ms除了NinaProDB5实验使用的滑动窗口长度200 ms。NinaProDB5实验使用200 ms滑动窗口,我们跟着使用的实验配置Pizzolato et al。37和魏et al。31日),设置窗口增量为100 ms。

假设图像表示视图的面肌功能维度和一个表通道尺寸 ,的 (分别为宽度、高度、深度= 1)特性的空间首先变成了吗 (分别为深度、宽度和高度)特征空间之前输入的神经网络架构HVPN手势识别。转换是根据实验结果提出了(15), (分别为深度、宽度和高度)显著优于面肌图像 (分别为深度、宽度和高度)面肌图像作为输入端到端的CNN的手势识别使用10-channel面肌20-frame信号分段的滑动窗口。

2.4。HVPN框架

我们提出的图HVPN框架与多路表的所有三个视图如图1。HVPN的深度学习架构可分为三个部分:视图相关cnn,层次视图池cnn和聚合网络。HVPN的“两个视图”配置中,有两个视图相关CNN分支视图相关深度学习功能和 ,分别和其他部分几乎一样见图1。以下部分描述的详细的网络体系结构和hyperparameter配置部分。

2.5。视图相关美国有线电视新闻网

视图建设后,我们建立了三个视图相关CNN分支视图相关深度学习功能 , ,和 ,分别。如图1CNN,所有视图相关分支共享相同的网络体系结构,但不分享他们的重量。每个视图相关的网络体系结构是基于CNN分支GengNet [10),已广泛应用于sEMG-based手势识别(15,31日,42]。具体来说,每个视图的图像输入两个卷积层64 33过滤器(步幅= 1),紧随其后的是两个本地连接(LC)层与64年11过滤器(步幅= 1)和一个完全连接(FC)隐藏层有1024个单位。对于每个CNN分支,我们应用批量标准化和ReLU非线性函数在每一层和辍学层添加到FC层最后LC层,防止过度拟合。每个CNN的输入也是通过批量标准化规范化。

2.6。层次视图池cnn

层次视图池CNN是由两个CNN分支,即一级视图池CNN(表示L1-VPCNN)和第二级视图池CNN(表示L2-VPCNN);每个人都开始于一个FLVP层,用于学习观点从多视图低层特征空间特性。如图2,FLVP层首先将输入特征图从不同的视图,然后学一个统一的特征空间的连接特征图1与64年1卷积层过滤器。FLVP层在我们提出HVPN框架扮演两个重要角色:(1)每个人都学习一个统一的特征空间共享的所有视图连接多视图的低级功能观点学习;(2)与广泛使用视图池技术基于简单element-wise最大(43)或平均(44)的操作,每个FLVP层可以保证其相应的层次视图池CNN分支是足够深学习代表特性。

假设我们有 , , ,和多视图学习的低级功能卷积层底部的三个视图相关CNN分支 ,分别。层次视图池过程FLVP层可以制定如下。

1级视图池:

2 nd-level视图池: 在哪里表示部件级串联操作,——表示了特征空间后水平池,在L表示FLVP层 - - - - - -VPCNN,表示它的参数。

L1-VPCNN和L2-VPCNN执行剩余的部分观点学习和 ,分别。他们共享相同的网络体系结构,这是由一个卷积层有64 33过滤器(步幅= 1),紧随其后的是两层LC 64 11过滤器(步幅= 1)和一个FC隐藏层1024单元。

2.7。视图中聚合网络

视图聚合网络用于如下:(1)所有视图相关的融合CNN分支和层次视图池CNN分支和(2)最终姿态分类。如图1,视图聚合网络采用两步视图中聚合策略。具体地说,它将输出视图相关深三个视图相关CNN分支在一起学习的特性。然后,连接视图相关特性和学习的观点深功能L1-VPCNN L2-VPCNN输入三个分支机构,分别。每个分支与512年由一个FC层隐藏的单位和一个分类器模块,和每个分类器模块由一层G-way FC和姿态softmax分类器分类。HVPN的顶部,以聪明元素求和操作总结将softmax分数预测的所有三个分类器模块在一起形成最终的分类结果。

2.8。评价指标和方法

实验在这项研究中,我们计算每个主题的手势识别精度的评价指标,定义为

本文的评价方法可以分为intrasubject评价和主体评价。一般来说,在intrasubject评估、深度学习模型训练数据的一部分从一个话题转的不重叠的部分数据和测试相同的主题,而在主体评估、深度学习模型通常是训练数据从一个或一组对象和测试数据从另一组对象。

公平性能比较,我们采用了相同的intrasubject和主体评价方案是最常用在现有研究NinaPro数据库(10,13,26,31日,36,42),如下所述。

Intrasubject评估。intrasubject评价,我们跟着NinaPro小组提出的评价方案13]。具体来说,对于每一个主题,大约2/3的姿态试验作为训练集;剩下的动作试验构成了测试集。最后一个手势识别精度是通过实现精度平均得到所有科目。动作的选择试验训练和测试是基于文献[13,37]。

主体评价。为主体的评价,我们跟着leave-one-subject-out交叉验证(LOSOCV)方案中使用文献[31日,36,42]。具体来说,在每个折交叉验证的数据从一个主题作为测试集,剩下的数据对象作为训练集,最后手势识别的准确性评价获得的平均实现精度折叠。

规范的评价方法在不同的展示在表面肌电信号数据库1。

2.9。深度域适应主体评价

(即在主体评估,培训。(即,源域)和测试。,target domain) data comes from two nonoverlapping groups of subjects; thus, there exist distribution mismatch and domain shift across the source target domain caused by electrode shifts, changes in arm position, muscle fatigue, skin condition [45),和主题之间的个体差异46),可显著降低模型的分类性能(47]。

减少负面影响的分布不匹配和域转移对分类性能,许多现有的基于深度学习的方法(31日,42,48]在这一领域应用的一种新颖的无监督深度域适应技术命名多流道AdaBN (MS-AdaBN) [42]。MS-AdaBN技术使用一个多流道网络增量更新批规范化与校准网络训练过程的统计数据。

在这部作品中,MS-AdaBN也是实现深度域LOSOCV适应,因为我们的初步实验NinaProDB1透露,LOSOCV精度通过我们提出的模型没有深度域适应远离实际应用(例如,30%)。类似的结果通过MV-CNN和魏等报道。31日]。

选择培训、校准和测试数据,我们跟着MS-AdaBN配置完全相同,在以前的作品(31日,42]。它应该作为MS-AdaBN提到需要一个相对大量的标定数据,它可能不是最好的解决方案域上下文中的适应多通道sEMG-based手势识别。然而,MS-AdaBN不是这个工作的贡献,我们使用它在我们的实验中,因为我们想确保一个公平的比较LOSOCV精度之间我们的方法和前面提出的MV-CNN [31日),这是一个多视图深度学习的框架,也为域采用MS-AdaBN适应。

3所示。实验

所有实验进行离线(即。,not real-time) on a DevMax401 workstation with NVIDIA GeForce GTX1080Ti GPU. The proposed HVPN framework was trained using the stochastic gradient descent (SGD) optimizer with 28 epochs. For all experiments, the batch size was set to 1000, and a learning rate decay strategy was adopted during training to improve convergence, which initialized the learning rate at 0.1 and divided it by 10 after 16 and 24 epochs. For all layers with dropout, the dropout rate was set to 0.65 during training.

3.1。层次视图池策略的评价

评价层次结构视图的池策略可以分为两个步骤。首先,我们进行一个消融研究来验证FLVP层的有效性。第二,我们进行了烧蚀研究验证的有效性提出了分层视图池cnn。所有这些消融实验研究滑动窗口长度设置为200 ms。

在第一步的评估、标准HVPN是首先与它的两个变体相比,即HVPN-maxpool和HVPN-avgpool(即五个数据库。NinaProDB1-DB5)。HVPN-maxpool, FLVP层L2-VPCNN取代视图基于element-wise池最大,而在L2-VPCNN HVPN-avgpool FLVP层被视图池基于element-wise平均所取代。同时,FLVP层L1-VPCNN HVPN-maxpool和HVPN-avgpool保留,因为L1-VPCNN的输入特性空间有不同的大小,使它不可能执行element-wise最大或平均操作。

在第二步的评价,提出HVPN与深层神经网络架构如下:VS-L1VP:深网络相当于HVPN L2-VPCNN。VS-L2VP:深网络相当于HVPN L1-VPCNN。VS-ONLY:深网络,只有由视图相关的cnn,紧随其后的是一个连接操作融合他们的输出在一起,一层FC 512隐藏单位和分类器模块。

VS-L1VP图解插图,VS-L2VP, VS-ONLY描绘在图3。相比HVPN包含池CNN的等级观念,只有一个视图池VS-L1VP CNN,以及VS-L2VP观点学习。

3.2。与相关的工作

手势识别精度通过拟议中的HVPN框架,以及手势识别精度通过拟议中的HVPN框架与“两个视图”配置(表示HVPN-2-view),进一步与相关工作(即五个数据库。NinaProDB1-DB5)。在这种比较公平的目的,在各种机器学习方法,提出了sEMG-based NinaPro手势识别和测试,我们只考虑那些符合下列要求:(1)他们的报道手势识别精度是通过使用完全相同的intrasubject或主体节中描述手势识别方案2;(2)输入机器学习模型的工程特性,不是原始表的信号。

为了防止过度拟合,pretraining策略相比,被广泛使用的方法(26,31日)也采用了这项工作。具体来说,对于每一个实验,pretrained模型首先使用所有可用的训练数据训练;然后,每个主题的手势识别模型被pretrained模型初始化。所有层的辍学生,辍学率在pretraining阶段设置为0.5。

intrasubject手势识别精度的比较,我们评估了手势识别精度达到50毫秒,100毫秒,150毫秒,200毫秒滑动窗口。此外,手势识别精度通过多数投票200 ms windows在每个试验也在列标记为“审判。“比较LOSOCV(即。,intersubject gesture recognition) accuracy, we only evaluated the gesture recognition accuracy achieved with 200 ms sliding windows.

4所示。结果与讨论

4.1。多通道sEMG-Based手势识别增强层次视图池

表2介绍了intrasubject和LOSOCV精度达到标准HVPN, HVPN-maxpool, HVPN-avgpool五数据库。提出HVPN框架实现了intrasubject手势识别精度为86.8%,84.4%,68.2%,70.8%,和88.6% NinaProDB1, DB2, DB4, DB4, DB5跑车,分别,取得LOSOCV精度为83.1%,79.0%,65.6%,67.0%,和87.1% NinaProDB1, DB2, DB4, DB4,分别和DB5跑车。手势识别精度通过HVPN高于通过HVPN-maxpool和HVPN-avgpool实验,表明FLVP层可以实现手势识别精度比传统观点池方法基于element-wise最大或平均操作。然而,当评估NinaProDB1, DB2, DB4,和DB4 FLVP层带来的性能提升是微妙的(即。,从+ 0.2% + 0.4% element-wise马克斯或平均池)。这可能是由于这一事实HVPN-maxpool和HVPN-avgpool我们只更换FLVP层与传统观点L2-VPCNN池、原始HVPN非常相似。

表3介绍了intrasubject LOSOCV精度通过HVPN, VS-L1VP VS-L2VP, VS-ONLY五个数据库(即。NinaProDB1-DB5)。根据实验结果表3,深池cnn(即神经网络架构视图。,HVPN, VS-L1VP, and VS-L2VP) significantly outperformed VS-ONLY, indicating that combining view-specific learning with view-shared learning is better than performing view-specific learning alone in the context of multiview deep learning for multichannel sEMG-based gesture recognition. Moreover, the intrasubject and LOSOCV accuracy achieved by HVPN was higher than that achieved by VS-L1VP and VS-L2VP on all databases, which proves the effectiveness of our proposed hierarchical view pooling strategy in improving gesture recognition accuracy.

4.2。与基于Intrasubject评估相关工作

表4介绍了intrasubject手势识别精度通过各种方法在第一个五subdatabases NinaPro。在这些方法中,提出的方法在13,36,37肤浅的学习框架,提出的方法在25- - - - - -27,49,50)单一视图深度学习框架,和方法(31日(即)是一种多视图深度学习框架。MV-CNN)。所有上述方法non-end-to-end方法使用工程面肌功能作为其输入,和他们使用完全相同的intrasubject评价方案,用于我们的工作。

实验结果表4证明当使用多通道的所有三个观点表作为输入,提出HVPN达到intrasubject手势识别精度为88.4%,85.8%,68.2%,72.9%,和90.3% NinaProDB1, DB2, DB4, DB4, DB5跑车,分别与200 ms的滑动窗口长度的表现不仅肤浅的学习框架(13,36,37)但是也深度学习框架(25,26,31日,49,50)是近年来提出了sEMG-based手势识别。

MV-CNN相比,也是一个多视图深度学习框架,实验结果表明:(1)使用相同的输入时,姿态精度通过MV-CNN明显不如通过HVPN在所有数据库;(2)当输入视图HVPN的数量减少到两个(即。,表示HVPN-2-view表4),它仍然表现MV-CNN框架(即在大多数的数据库。,NinaPro DB2, DB3, DB4, and DB5), and their gesture recognition accuracy on NinaProDB1 was almost the same. For example, when the sliding window length was set to 200 ms, the HVPN-2-view achieved the intrasubject gesture recognition accuracy of 88.1%, 85.0%, 67.9%, 72.1%, and 90.1% on NinaPro DB1, DB2, DB3, DB4, and DB5, respectively. By comparison, the intrasubject gesture recognition accuracy achieved by MV-CNN on NinaPro DB1, DB2, DB3, DB4, and DB5 was 88.2%, 83.7%, 64.3%, 54.3%, and 90.0%, respectively. These results indicate that compared to MV-CNN, the HVPN framework can achieve better or similar intrasubject gesture recognition accuracy using less input data.

我们还发现,intrasubject手势识别准确性上通过MV-CNN NinaPro DB4远远低于通过浅学习方法(即。,随机森林37])。相比之下,我们的提议HVPN达到intrasubject手势识别的准确性72.9% NinaPro DB4, 200 ms的滑动窗口长度,显著优于两MV-CNN [31日)和随机forests-based法(37]。

4.3。与MV-CNN基于主体评价

很少有研究在这一领域的LOSOCV精度提出了识别的手势在任何NinaPro subdatabases,考虑评价方法和域的不同的应对策略,在本节中,我们关注与MV-CNN框架(31日],它使用完全相同的主体评价方案和领域适应气候变化技术作为我们提出HVPN框架。

LOSOCV精度通过MV-CNN和我们提出HVPN框架五个数据库提出了表5。MV-CNN框架实现LOSOCV精度为84.3%,80.1%,55.5%,52.6%,和87.2% NinaProDB1, DB2, DB4, DB4, DB5跑车,分别与滑动窗口长度为200 ms。相比之下,HVPN框架实现LOSOCV精度为84.9%,82.0%,65.6%,70.2%,和88.9% NinaPro DB1、DB2、DB4, DB4, DB5跑车,分别与200 ms的滑动窗口长度显著优于MV-CNN。类似于intrasubject评估的结果,LOSOCV精度通过HVPN框架与配置(即“两个视图”。,表示HVPN-2-view表5)也表现在所有数据库,通过MV-CNN框架表明HVPN框架可以实现LOSOCV精度比MV-CNN用更少的输入数据。

5。结论

本文提出并实现了一个分层视图池网络(HVPN)框架,不仅提高了多通道sEMG-based手势识别的视图相关学习在每个视图还观点学习在特征空间中从多视图分层次汇集低级特性。

烧蚀研究进行(即五多通道表数据库。,NinaPro DB1–DB5) to validate the effectiveness of the proposed framework. Results show the following: (1) when the FLVP layer in L2-VPCNN was replaced by conventional view pooling based on element-wise max pooling or average pooling, both intrasubject and LOSOCV accuracy degraded; (2) the proposed HVPN outperformed its two simplified variants that have only one view pooling CNN, as well as a deep neural network architecture that only consists of view-specific CNNs, in both intrasubject evaluation and LOSOCV. According to the above results, the effectiveness of the proposed hierarchical view pooling strategy can be proven.

此外,我们进行了性能比较和最先进的方法(即五个数据库。,NinaPro DB1-DB5)。实验结果证明了提出的优越性HVPN框架比其他深度学习和基于肤浅的学习方法。当使用滑动窗口200 ms,提出HVPN实现intrasubject手势识别精度为88.4%,85.8%,68.2%,72.9%,和90.3% NinaPro DB1、DB2、DB4, DB4,分别和DB5跑车。LOSOCV精度上达到NinaPro DB1、DB2 DB4, DB4,并使用200 ms DB5跑车滑动窗口是84.9%,82.0%,65.6%,70.2%,和88.9%,分别。

实验条件的限制,我们只考虑离线实验来验证我们提出HVPN框架。我们未来的工作将集中在在线评估的多视图深度学习框架。此外,在未来,我们将调查计划的框架与硬件系统的集成,如上肢假肢(51,52)和空间机器人(53,54),是由多通道面肌电信号的信号。

数据可用性

多通道表数据支持本研究的发现来自NinaPro数据集,这是公开的http://ninapro.hevs.ch。论文描述了NinaPro数据集引用在相关地方引用的文本内13,37]。处理过的数据和训练有素的深度学习模型用于支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

作者感谢NinaPro团队提供宣传可用表数据库。这部分工作是支持由中国国家自然科学基金批准号。62002171和62002171下,江苏省自然科学基金资助下BK20200464,中国国家重点研发项目下2020 yfc2005302格兰特,和江苏省重点研发项目授予BE2018729之下。