文摘

随着微电子技术和计算机系统的发展,研究基于多通道的运动意图识别传感器引起了学术界的注意。深度学习和其他非线性神经网络模型广泛应用在大型数据集。我们提出一种基于多通道长期和短期的运动意图识别算法时空特性融合。我们将目标数据划分为多个部分,使用一个三维卷积神经网络提取短期时空特性。同一段的三种类型的特点融合在一起并输入到LSTM网络时间序列建模进一步融合特性来获得多通道长期歧视较高的时空特性。根据下肢运动模式识别模型,最小数量的肌肉和肌电图信号特征要求准确地认识到下肢的运动状态决定。这最小化冗余计算的成本模型,保证了实时系统的输出结果。

1。介绍

深度学习的是一种模拟大脑的行为,已广泛应用在大数据。这两个可以连接通过一个框架或一个系统。运动意图识别起着重要的作用在人们的日常生活。它指的是人类活动获得高级信息从原始输入和自动检测各种生理或心理活动,人们在日常生活中执行(1,2]。运动意图识别系统有助于识别人体执行的活动,提供信息反馈,并进行有效的干预。每个源可以称为形态或形式的信息。连续出现的不同类型的传感器对近年来各种智能设备,这些设备被广泛应用于许多领域,如物联网(3- - - - - -5]。大量的多通道传感器数据不断产生,以及如何高效地处理这些数据已经成为一个主要关心的学术界6]。

日常生活活动主要分为两个部分,低级(简单的)活动和高层次的(复杂)的活动(7]。在人体的位置传感器在数据收集也起着重要的作用。错了位置传感器的身体也可能导致不当样本集合。相关学者进行了三个不同的实验,其中四个男性志愿者年龄在23到27进行了一系列特定的姿势和运动(8,9]。志愿者们穿着三轴加速度计的右边臀部和应用模式识别。机器学习神经网络算法发现活动和休眠状态的精度分别为94.1%和97.1%,分别。一些学者使用智能手机来收集数据集包含10人执行简单和复杂的活动10]。简单的活动包括自行车、说谎、上下,跑步,和坐着,而复杂的活动包括扫地、做饭,浇水。然后,他们对收集到的原始数据进行特征提取和使用多层感知器,朴素贝叶斯、深度学习,和其他运动意图识别的机器学习分类器。简单的活动的准确率是93%左右,对于复杂的活动,它是50%。研究人员证明了下肢运动步态与EMG信号产生的大脑通过脑电图接口实验,证明了脑电图信息可以映射人类下肢的运动意图,为改善提供基础的应用neurorehabilitation和脑机接口11- - - - - -13]。相关学者提出的参数优化策略来提高识别相关联的14,15]。分类器的特性集,并为每个阶段窗口大小进行优化。实验招募7健康受试者和胫骨截肢主题和收集6运动模式(5稳态模式,1在被动模式),两个惯性测量单元的运动信号和一个压力传感器放置在一边收集的影响,运用判别分析建立了分类器是结合二次判别分析,和识别率达到90%16]。相关学者使用加速度传感器安装在假肢接受腔计算髋关节角摇摆期间的假肢17,18]。安装的足底压力传感器被用作参考步态周期的检查。基于隐马尔可夫模型,楼上,楼下,preidentified上坡、下坡,平坦的地形。在200个样本的情况下,识别率达到96%。相关学者提出了深深的深模型,CNN和递归神经网络于一体,合并不同传感器的局部交互模式在全球互动,和提取时间关系建模信号,适用于智能手机和嵌入式设备(19,20.]。研究人员优化的初始结构,LSTM相结合,并提出了OI-LSTM模型(21]。模型具有良好的识别效果,模型具有良好的容错。尽管上述研究改进或改善主流CNN和RNN模型、传感器数据和图像数据是不同的,毕竟和有效的图像处理算法的移植传感器数据可能会失败(22]。

根据功能,目标特性是一个三维的视觉空间由多个元素,一个基于多通道融合的运动意图识别方法提出了长期和短期的时空特性。这个方法使用3 d-cnn提取短期碎片和时空特性,同时,使用的组合形状上下文和净获得目标运动轨迹片段的一个强大的表示。具体来说,本文的技术贡献可以概括如下。

首先,本文融合三种类型的特性和输入LSTM网络时间序列建模,以便进一步融合的特性来形成一个更高级的长期目标的时空特性表示样本,和完全连接层用于地图目标样本特征空间分类分类识别。

其次,进行了一系列的实验基础上,下肢的数据集,并确定,随着采样数量的肌肉增加,意图识别的平均精度会增加,但会有不同程度的肌肉冗余为特定肌肉的组合。的意图识别准确性9下肢肌肉和6属性特征作为基准,所需要的最小数量的肌肉保持准确性水平依次确定。

第三,基于费舍尔得分,确定这些肌肉的最好的特征组合,在下肢,验证数据集,提出了最小特征子集仍能保持最初的识别精度水平,这样肌肉和特征选择可以实现冗余的最低水平。

本文的其余部分组织如下:部分2进行多通道传感器面肌电信号的采集和预处理信号。节3,运动意图识别算法基于多通道融合的目的是长期和短期时空特性。部分4给出了实验分析。部分5总结了全文。

2。多通道传感器面肌电信号的采集和预处理信号

2.1。摘要信号采集

2.1.1。摘要信号产生机制

表面肌电图(表)是生物信号伴随肌肉收缩。它是细胞的生物电活动的综合效应对皮肤表面的肌肉和神经纤维。大脑中枢神经系统的最终控制肌肉的收缩。脊髓的神经冲动传输到骨骼肌纤维细胞通过神经细胞突触最后产生肌肉收缩。然而,神经末梢产生的生物信号通常是非常小的,他们还不能引起肌肉收缩,人体无法做出相应的行动。但有一个特殊的肌肉细胞和neurofibrillar细胞之间的叫做乙酰胆碱的物质,可以增强生物的信号。

当人类肌肉处于放松的状态,肌肉细胞活动更少。在人体生理系统,通常有大量的细胞K +离子流出和更少的Na +离子进入细胞,因此细胞的内部潜力是负的,和外部潜在的细胞是正的。但是,当人类中枢神经系统发出相应的动作指令,沿着神经系统会产生动作电位。当潜在的到达肌肉细胞,肌细胞可能会逆转,因为大量的Na +离子进入细胞外的细胞。在内部,内部细胞的潜在积极和外部可能是负的,从而生成一个肌电的信号。

面肌信号可以直接反映肌肉活动的状态和间接表达运动神经系统的意图。它是电化学反应大脑的中枢神经系统发出操作命令肌肉收缩,可通过接触皮肤与电极的表面补丁。

2.1.2。摘要信号采集系统

如图1,面肌电信号的信号采集系统可以分为两个部分:硬件和软件。硬件部分主要包括表面电极单板,信号调节电路、多级电压放大器电路、A / D转换模块、数据采集卡和计算机。软件部分实现了原始面肌电信号的去噪滤波信号,特征提取,模式识别和保留实验数据。

本文主要研究下肢的运动模式在地上行走。通过肌电信号的特征分析在步态周期的每个阶段,不同的阶段在一个步态周期确定。

将表面EMG电极时,选择适当的肌肉的位置。两个电极作为差动输入应放置在腹部肌肉的部分肌肉,防止干扰相邻肌肉。两个电极应安排在根据肌肉纤维的方向平行。面肌电信号的有效价值的增加会增加两个微分电极之间的距离,但当两个电极之间的距离太大,很容易由相邻肌肉干扰信号和差分放大器是一种常见的模式。抑制干扰信号将减少的能力,和两个微分电极之间的距离不应超过2厘米也不太密切的相互联系。其他参比电极应放置在中立的潜力,如没有肌肉。

2.2。摘要信号的预处理

自从EMG信号是微弱的低频信号,很容易受到外部环境的干扰和人体。因此,面肌信号的去噪预处理是非常重要的,它有一个很大的影响步态相位模式识别的准确性。对于非平稳的EMG信号,小波变换可以更好的消除噪声干扰,提高信噪比。

小波变换方法是基于傅里叶变换。当地的变换在时间和频率可以有效地提取信号中的信息。它结合了时域和频域分析方法,充分突出了某些方面的特征信号,并显示状态的信号在时域和频域信号的瞬时条件下,傅里叶变换具有明显的优势。

2.2.1。小波阈值去噪方法

根据小波变换的线性特性,如果有效信号的能量远远大于噪声信号的能量,有效信号对应的小波系数也比噪声信号的小波系数大得多,因此,小波系数小于某个阈值实现去噪可以删除。从这个过程可以看出,选择一个合适的阈值对小波去噪非常重要。

2.2.2。巴特沃斯滤波

有各种各样的外部环境干扰和噪音EMG信号采集的过程。收集EMG信号硬件电路设备,表面电极,电压放大器、滤波器电路,和A / D转换模块有微弱的干扰噪声信号表信号采集的过程中,这些噪声的频率范围从0赫兹到几千赫兹,和这些声音不能完全消除。提高准确性和减少干扰的唯一方法是通过使用高质量的电子元器件。另一种类型的干扰是干扰电磁场的外部环境,包括无线信号、广播、和移动电话。其中,50 Hz工频干扰信号周围交流电路的最大影响肌电的信号。人类EMG信号的频率主要集中在30赫兹和300赫兹,所以应该设计一个带通滤波器和陷波滤波器消除高、低频率和50 Hz电源频率干扰。

获得表面EMG信号是离散信号,和相应的巴特沃斯滤波器的传递函数

其中,n代表了过滤器的顺序,一个(z)代表输入B(z)代表输出。输出公式转换成时域信号

从上面的公式可以得出相关的过滤信号是电流信号,和历史信号相关历史输出信号。过滤器的顺序和类型(高通、低通和等级)确定参数一个和b在上面的公式。

3所示。基于多通道的运动意图识别算法长期和短期时空特性融合

3.1。卷积神经网络

卷积神经网络(CNN)是一种特殊的前馈神经网络。近年来,它在图像分类方面取得了杰出成就,目标探测、图像描述和其他领域(23- - - - - -25]。与传统深厚的前馈神经网络相比,CNN避免过度(下)拟合的缺陷,造成过度拟合水平之间的联系通过本地连接和重量共享。此外,CNN是专为二维图像。它可以提取图像的空间信息通过图像卷积,这样可以直接输入网络培训没有复杂的预处理。CNN主要由一个卷积层、汇聚层,和完全连接层。其基本结构如图2。

CNN的卷积层是最核心的部分。卷积层中的每个神经元之间的卷积计算相应的卷积内核和几个相邻的神经元在前面的层。最常用的卷积核的大小是3×3或5×5。一般来说,每个卷积层有多个不同的卷积核,这样可以获得不同的特征图谱。重量相同的卷积内核共享不同神经元在前面的层,这样可以减少网络参数和网络复杂性,这使得它更容易通过BP算法训练CNN。随着层次的加深,整个网络可以学习的特征越来越抽象。

假设f(x,y)是当前功能的卷积特性映射的位置f(x,y),然后f(x,y)是由卷积内核和对应的像素特征映射的多个频道在前面的层。它是由卷积计算和相应的偏移值补充道。为了使网络学习输入图像的非线性特性分布,卷积计算获得的结果后,卷积的结果需要输入的非线性激活函数计算。计算方法如下:

其中,代表卷积对应于当前内核的重量特性映射的位置c通道(我,j),米代表了抵消价值,这些都是可学的参数。(x+我)(y+j)代表值的像素卷积的位置(x+我,y+j上一层的地图)的特性。

卷积的参数层分为可学的参数和hyperparameters。可学的参数包括卷积的重量和偏见的价值内核。hyperparameters包括卷积核的大小和卷积的一步操作。获得的特征图谱通过不同的参数设置也不同。特征映射卷积后得到的大小是由输入图像的大小决定的,卷积操作的步幅,卷积核的大小。计算方法是

其中,U_我和V_我输入图像的宽度和高度,U₀和V₀的宽度和高度特性映射得到卷积操作后,F卷积核的大小,是补零参数,D代表卷积步长。

池层可以有效地实现功能聚合,减少空间维度,并减少下一层的参数和计算量,同时保留的主要特性,它不仅加快了计算速度,而且有效地防止过度拟合的问题。池过程可以表示为

后的CNN网络结构,提取输入图像的特性通过多重卷积层和汇聚层,一些完全连接层通常是添加在网络。完全连接层中的每个神经元与神经元在相邻层。本质上是线性变换特性的另一个特征空间矩阵向量乘积。它的功能是进一步的语义信息提取功能,从而获得样品的分布式特性表示,并将其映射到样本标签空间分类或回归。

如果完全连接的上一层一层一层也是一个完全连接,您只需要连接的所有神经元彼此两个完全连接层的多层感知器;如果完全连接的上一层一层一层是一个卷积,卷积内核必须设计一个合理的大小将多通道特性在前面的卷积层映射到一个fixed-dimensional特征向量。最后完全连接层也称为输出层,用于分类或回归,最常用的是软马克斯分类器。通过软Max函数,可以获得每个类别的概率来确定输出。

3.2。三维卷积神经网络

美国有线电视新闻网(2 d-cnn)在识别领域表现良好。一个重要的原因是,其卷积运算和卷积图像是二维的,所以2 d-cnn可以有效地提取图像的空间特性(26- - - - - -28]。然而,当处理视频分类任务,如目标识别、2 d-cnn只能提取独立视频的每一帧的特征。这个方法不能捕捉连续视频帧的运动信息。为了应对这个问题,三维卷积在卷积层执行。与二维卷积相比,三维卷积增加卷积操作时间维度,这样网络可以同时提取的在时间和空间维度。这样一个网络的特点被称为3 d-cnn。输入3 d-cnn立方体叠加形成的多个连续的视频帧。的核心操作是卷积输入连续帧立方体三维卷积核。3 d-cnn的计算公式可以表示为

3 d-cnn的网络结构是一样的2 d-cnn,它主要由输入层、卷积层、汇聚层,和完全连接层。使用的激活函数也是一样的,和网络训练法是相似的。二维卷积的原理图和三维卷积图所示3。

最常用3 d-cnn叫做C3D深度网络,其网络结构如图4。从图可以看出4,C3D由8卷积层(Conv3、Conv4 Conv5都含有两个卷积层一个和b分别),5最大池层和2完全连接层。其中,卷积核的大小用卷积层4×4×4,空间和时间维度和卷积一步是1。网络有点特殊,Conv3 Conv4, Conv5连接池层两个卷积层之后。在五大池层中,只有Pool1核心大小1×1×2,其余的池层核心2×1×2,和宽度是一样的内核。网络的深化,地图的大小特征是变得越来越小,而且有越来越多的渠道。

3.3。基于多通道长期和短期的运动意图识别模型时空特性融合

3.3.1。长网络LSTM短期记忆

长期短期记忆(LSTM)的出现主要是为了解决传统RNN的长期依赖性问题模型。长期依赖意味着当序列太长,RNNs容易梯度消失在训练和梯度爆炸问题。为了有效地解决这个问题的长期依赖,LSTM传统RNN的基础上引入了阈值机制来控制信息的积累速度,可以选择性地忘记一些以前积累的信息是无用的对当前网络状态。与传统RNN相比,LSTM添加一个存储单元和三个“门”结构。输入三个“门”结构是门,忘记门,门输出。

3.3.2。短期的时空特征提取的运动意图

3 d-cnn time-dimensional卷积CNN的基础上补充道,可同时提取运动的时间和空间特性意图获得连续帧间运动信息的视频,这是更适合视频分类任务。因此,我们选择使用3 d-cnn提取短期时空特性的数据。

网络的输入的大小是128×128。5 3 d卷积和最大池操作后,它变成了一个512 -信道特性图4×4×2的大小,然后将它转换成一个512维向量与3 d平均池大小的4×4×2,然后使用一个完全连接层转换。它进一步映射到一个512维的特征向量,最后,一个完全连接层用于样本分类空间和软马克斯层用于目标样本进行分类。软马克斯层网络结构只是集中在训练阶段3 d-cnn。

3.3.3。基于形状上下文和Le净特征提取

首先,您获得的形状上下文中的每个点目标骨点轨迹,结合成骨头的形状上下文特征点轨迹,然后针的形状上下文10骨点与目标运动轨迹形状特征矩阵,最后,矩阵输入勒网作为一个图片来产生一个强大的目标轨迹特性表示。

在本文中,我们项目骨的三维轨迹坐标点在目标样本坐标平面XOY, XOZ, YOZ。我们单独解决这些3点。2 d点的形状上下文可以组合在一起得到的形状上下文的3 d轨迹点。最后的形状上下文特征维度的每个三维轨迹点是108 (3×3×12)。因为每一段有8帧的数据,上有相应的8点三维骨架点的轨迹。的形状上下文8点是垂直拼接成一个8×108矩阵,即骨骼的形状上下文特征点轨迹。最后,10骨骼的形状上下文特征点与目标运动轨迹纵向拼接获得一个80×108的特性矩阵作为目标轨迹的形状上下文特征数据段。

3.3.4。基于LSTM长期时空特征提取和分类

LSTM的功能是对熔融特性进行时序建模序列获得的长期目标的时空特性表示样本。LSTM网络将计算相应的隐层的状态序列H= (h1,h2 . .hT),hT是最后的整个目标样本的长期的时空特征。最后,hT映射到分类空间通过两个完全连接层(输出层神经元的数目是运动意图规范元素的数量目标数据集),和软马克斯分类器是用来运动意图类别进行分类y,即

在这里,h_f代表的神经元状态完全连接层,δ代表了陆重新激活函数,W_f和b_f代表完全连接层的重量和偏见,W_y和b_y表示输出层的重量和偏见,和V代表整个目标。

4所示。实验分析

4.1。EMG-Based行动有识别力的实验分析

本文首先确定选择的角色下肢肌肉歧视EMG信号的实验。运动后人体的下肢多个肌肉的联合部队控制的结果,它是不可能避免的其他肌肉和分析相关某些肌肉分别在一定的运动模式。与此同时,为了选择最大和下肢的肌肉的最佳子集,本文使用穷举方法来验证本文所选的肌肉。当肌肉的数量变化从1到9的子集,每一块肌肉的相应组合数量数据集的测试意图识别的效果。使用纯EMG信号特征作为输入的基本模型,和纯粹的运动信号特征与产生的特征融合的两个数据。的肌肉的数量对分类精度的影响如图5。数据统计数据来自所有实验对象,分类精度是完全基于运动学的信号。它可以看到从图中所示的结果5肌肉的数量有一个直观的对EMG歧视的准确性的影响。随着肌肉的数量增加,运动意图识别波动的准确性。在两组图形,本文深刻的学习方法的准确性明显提高。

图6显示了原始识别数据,走在平坦的地面,楼梯,楼梯下来,坡,坡下由数字1到5。显示的数据是根据当前指数排序集团内部洗牌后,显示的顺序并不是原始的特征序列。

如图7轮廓的可能性最大化算法用来计算最高的两个模型的概率密度点在图像属于确定拐点的平均精度数据图像。深度学习方法本文能保证最大程度的高准确率。此外,融合功能的概率密度得分高于肌电图的功能。

4.2。肌电图特征判别实验基于费舍尔得分

摘要9肌肉通道和6 EMG信号特征选择作为基本数据集,和详尽的功能组合实验是用来确定最佳和最简单的子集EMG信号特性,这将消耗大量的计算。为了降低计算复杂度,使用费舍尔得分滤波器EMG信号特征可以大大降低计算复杂度。

选择特征子集的问题基于传统费舍尔得分是有太多feature-muscle组合。由于每个实验对象的个体差异,每个实验对象的特征子集太不同了。最好的和最简单的子集建立了单个个体只能用于实验对象,费舍尔得分的建立是基于离线数据集建立在这篇文章中,和组成稳定无法保证最好的子集。为了减少上述问题的影响,后费舍尔得分为每个主题建立模型,对数据进行加权,然后总结获得的加权平均费舍尔得分基于所有科目。图8给出了加权平均费舍尔得分基于所有科目,和横坐标代表特定的肌电图的数量特征对应于每一块肌肉。scree-plot曲线由连接得到费舍尔得分在降序排列,轮廓可能性最大化算法用于确定曲线的“拐点”。

4.3。高度相关的评估基于下肢肌肉和特征数据集

上述10-way特性集用于验证意图识别的影响。实验在这种模式下是验证计算的最小数量,可以同时确保准确性和最小化功能冗余。实验也在这一节中使用k倍随机交叉验证方法,我们集k= 5,数据是随机打乱的。

表1和2分别显示最简单的意图识别准确性混淆矩阵的特征深度学习分类器EMG信号和意图识别准确性混淆矩阵的最简单的特征融合信号。

在本文实验中,数据融合对意图识别的影响已得到验证。融合信号的识别精度总是高于相应的EMG信号识别精度。下肢运动的发展意图识别模型基于融合信号可以提高模式识别的准确性和稳定性。深度学习分类器的平均精度的四个肌肉功能子集对应提出满足需求,而且没有显著的统计学差异的结果子集和相应的肌肉配套( )。这表明,选择最简单的功能保证识别精度的稳定性,可以作为信号源下肢运动的意图识别模型。与此同时,由于深学习算法的优越性与其他两种算法相比,基于该算法的运动意图感知模型是有效的。

5。结论

针对手工设计的难度区分手形状特征在传统的方法中,我们使用3 d-cnn提取短期段时空特性。的输入运动意图由整个图像,从而避免目标检测和分割。同时,我们使用的组合形状上下文和Le净提取目标运动轨迹的强大的功能。为了充分利用三种模式的特点,我们采用多通道融合的理念,和输入特性的三种类型LSTM网络时间序列建模,从而进一步整合的特性来形成一个更高级的长期目标的时空特性表示样本。我们使用完全连接层映射目标样本特征空间分类的分类识别。不同的下肢运动模式对应不同的助动策略。有效的助动等通过辅助机器人下肢外骨骼需要判断基于正确的下肢运动模式。由于强烈的EMG信号之间的相关性和运动模式的歧视,是用作信号源的运动模式识别。基于大数据和机器学习算法,一个意图识别模型建立了识别5个常见的下肢运动能力作为一个运动意图感知和预测。我们对比和分析提取的鲁棒特性的并发EMG信号和同步源信号对应于行动,确定最相关的肌肉和功能组合到一个特定的行动基于鲁棒特性提取相应的肌肉和肢体动作的相应情况减少肌肉和功能冗余,提高计算效率。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。