文摘

之前的研究表明,下肢假肢的运动意图识别主要集中在进行步态识别。然而,仿生假肢需要知道下一个开始一个新的运动步态,尤其是在复杂的经营环境。本文即将到来的运动预测计划通过多级分类器融合提出了复杂操作。首先,两种运动状态,包括稳态和瞬态的定义。稳态完成步态识别是回溯,将作为先验知识运动的预测。在稳态识别中,表面肌(表)和惯性传感器融合提高识别的准确性;五个典型的运动模式被随机森林分类器,准确率超过97.8%。瞬态被定义为一个观察期在即将到来的运动的初始阶段,只有面肌信号记录由于滑动窗口长度的限制。LightGBM分类器验证优于其他方法的精度和预测时间瞬态识别。最后,一个简化的HMM模型基于先验知识和观察结果是构造预测即将到来的运动。 The results indicated that the locomotion prediction was over 91% accuracy. The proposed scheme implements the locomotion prediction at the initial stage of each gait and provides critical information for the gait control of lower limb prosthesis.

1。介绍

下肢假肢供电,可以提供主动扭矩截肢者和模仿人类健康腿的运动比被动假肢,已被广泛研究了十年(1- - - - - -4]。发展下肢假肢供电,一个主要的挑战是如何识别当前的运动模式的截肢,进一步确定截肢者的运动意图复杂场景下(5- - - - - -7),实现不同机车的无缝过渡的任务,然后控制下肢假肢使用正确的参数。否则,实际轨迹或下肢假肢的扭矩将偏离预期。例如,实际的地形在楼上,但是接口控制器仍然使用水平行走的控制参数,这将导致对截肢者的不适,甚至跌倒的风险。因此,有必要考虑适合安全运动的控制方法。

因此,几个传感器,特别是肌动电流图和机械传感器,被广泛用于运动检测。表面肌电图(表)信号能充分代表了相应的肌肉组织的行动状态;许多研究人员使用他们作为唯一的控制输入识别人体运动(8- - - - - -12]。黄等。8)使用面肌电信号的信号两个臀肌肉和九残余大腿肌肉实现步态分类阶段。然而,面肌信号容易皮肤出汗、肌肉疲劳和身体疾病的学科。因此,其他研究人员试图确定一组不同的机械传感器可以识别运动模式(13- - - - - -15]。这些机械传感器一般可以分为两组:运动传感器和动态传感器。前者包括角度、速度、加速度等,后者包括用户和假体之间的相互作用力或力矩(或环境)。在[16),传感器系统由加速度计和陀螺仪,分别位于假假脚下桥塔和两个压力传感器。在[17),三个基础上艾莫斯被用于识别不同的运动。虽然机械传感器更容易嵌入在下肢假肢比表,他们正在挑战独自实现发病预测(18]。相比物理数据从假体或声音腿,面肌信号可以直接反映人体的意志控制。很少有研究融合机械信息和面肌信号识别运动模式。根据上面提到的面肌电信号的信号(8),作者添加了一个6自由度加载单元安装在假体套接字更好的识别连续运动模式。人工智能等。19]融合面肌和加速度计信号分类五下肢的运动。此外,年轻的et al。20.)的贡献相比面肌电信号传感器和机械传感器嵌入在动力假肢,发现面肌和惯性传感器获得的识别精度(基础上的惯性测量单元(IMU)位于柄)明显高于其他传感器。这些结果表明,多传感器融合能明显提高分类精度;尤其是面肌电信号传感器和惯性传感器融合是鼓励21,22]。因此,剩下的问题是如何利用传感器来预测即将到来的运动模式,这是必不可少的动力假肢开动人工关节的正确。

在大多数以前的工作,承认运动的目的是通过收集和分析多传感器信号在步态的关键事件,如脚跟接触或脚趾,它表示立场的开始阶段或阶段。与此同时,很多在步态识别研究了模式识别方案。在[23),一个过渡时期约300 - 650 ms报道运动开关的关键事件之前,和支持向量机(SVM)作为分类器。在另一项研究[20.),四个300 ms windows提取关键事件的立场和摆动阶段之前,和一个动态贝叶斯网络(DBN)分类算法来识别运动意图。在[24向前),作者提出了一个预测识别和响应用户的意图,建立了一个自适应表模型,并添加的标签反向估计到转发预测,他们300 ms窗口的数据中提取步态事件提出预测和之前使用DBN和线性判别分析(LDA)前后分类器,分别。然而,这些意图识别的识别方法主要集中在步态或过渡运动已经发生。事实上,当领导的下肢假肢截肢残肢的动作,下一阶段是否体重的立场阶段接受抬腿的摆动阶段,下肢假肢应该知道即将到来的运动之前行动。如果一个截肢者慢慢地或间歇性,它是不准确的预测下一步完全基于先前的步态。

本文意图预案在复杂的环境中通过面肌和惯性传感器融合提出了在步态识别五种运动模式的开始。我们扩展了以前的研究从以下方面:(1)多级分类器融合策略,结合之前的步态信息和当前观测提出了推断截肢者的意图下肢假肢的开关控制。(2)设计预案提供决定每个立场的启蒙阶段和swing阶段。(3)表面从四个大腿肌肉肌电图和惯性传感器位于大腿和小腿都融合识别运动模式。每个传感器在步态识别的贡献进行了研究。(4)模式识别方案,包括两个传统算法和两个集成学习算法,进行了分析。除此之外,一些特征提取和减少维数的方法进行了讨论。

2。实验和数据处理

2.1。试验协议

前面的步态识别实验了健全的学科(17,25)或截肢主题穿着圣餐台(26- - - - - -28]。在这项研究中,我们招募了五20到50岁之间身体健全,和一个31岁的男性主体单方面截肢也招募了。之后的研究伦理批准机密研究涉及人类参与者,协议是通过中国电子科技大学中山学院(项目识别代码是2016 a020220003)。

表面EMG信号记录的关键大腿肌肉:股直肌,大腿外侧肌肉,大腿内侧肌肉,股二头肌,被验证是有效的步态识别(1]。电极植入的位置如图所示1;中心电极间距约3厘米。面肌信号收集来自所有科目的16通道传感器(Myomove)和肌电图上传到处理系统采样频率为1024赫兹。处理系统过滤表信号与梳状滤波器和IIR带通滤波器。前被选中来抵消50 Hz乐队的声音。后者10至500赫兹的信号。惯性传感器包括两个nine-axis艾莫斯(Witmotion司法院- 901)位于大腿和小腿,分别。每个司法院- 901集成三轴陀螺仪,三轴加速度计和三轴地磁调查。的地磁传感器,- 901可以获得更准确的三轴姿态信息基础上IMU通过消除积累误差的方向角。IMU信号收集在200赫兹和动态卡尔曼滤波过滤。

一个压力传感器检测到步态的关键事件。两个压力传感器(FlexiForce-A201),分别在脚跟和第一跖骨的前脚。压力传感器信息处理系统通过采集卡上传,和采样频率为700赫兹。

在收到指令和培训,每位受试者被要求完成5运动模式自然,平均速度。在跑步机上行走测试水平。斜坡上升和斜坡下降收集的帮助下一个跑步机。我们使用跑步机建立一个斜坡坡度约20度。所有受试者被要求走在这三种地形三次,每次一分钟。楼梯提升3步楼梯和楼梯下测试,如图1。每个实验对象被要求上下楼梯的30倍。所有科目都应该休息5分钟之间不同的运动模式,以避免肌肉疲劳的影响实验,确保实验数据的客观性和准确性。

2.2。摘要通过压缩传感信号采集

压缩传感是一个信号采集的框架,可以减少数据存储与传统奈奎斯特采样率远低于。减少数据存储或采样率可以降低电池的能量耗散可穿戴面肌电信号传感器。此外,海量数据问题和通信带宽的紧迫性也可能减轻(9]。

工作(29日)报道,面肌电信号的信号是稀疏的比在时域变换域,和Daubechies小波的基础上可以选择更合适的选择稀疏基相比DCT和Haar小波基(30.]。压缩传感的框架下,以下线性方程是: 在哪里 和 表示undersampled面肌电信号测量和Daubechies面肌信号的稀疏表示的小波基。请注意 会在压缩传感。 和 站的伯努利随机抽样矩阵和Daubechies小波稀疏的基础上,分别 。 代表了从测量误差项发生噪音从稀疏表示和建模误差。

稀疏表示的使用异构解决贝叶斯压缩感知(负担沉重国家)算法,它已经显示出优越的性能比正交匹配追踪(OMP),追求(BP),和贝叶斯压缩感知(BCS)在我们以前的工作31日- - - - - -34]。在负担沉重国家中,所有未知的内容作为随机变量和遵循一定的概率分布。这里的每个元素被认为是iid(相同的独立分布)和假设符合下列零均值高斯分布,和高斯分布的方差的倒数然后由伽马分布;前两层分层分布显示如下: 在哪里是高斯分布的方差和和用户定义的形状和尺度参数γ分布。噪音也限制了一个两层的分层iid分布,当作是哪一个 在哪里噪声方差的倒数和吗和也用来描述伽马分布的形状和尺度参数。

分配的条件分布也与高斯分布如下: 在哪里 , 。后估计是通过寻找maximum-a-posterior (MAP)的解决方案,即表示为 在哪里和表示如下: 在哪里 , 和 , 。为hyperparameters和 ,他们从面肌电信号测量信号通过执行ⅱ型最大似然(ML)或证据的过程。更新公式表示如下: 在哪里 与代表我th对角元素的 , 是我th元素 ,和是我th排 。上述的贝叶斯推理过程的详细推导过程被省略了这里(读者可以参考31日,35,36),在其中的引用)。

在稀疏表示是重建,估计面肌信号然后通过变换后获得。

2.3。数据采集

在本文中,我们定义了两个国家收集传感器数据:稳态和瞬态。稳态指一个完全执行步态。瞬态是一个短暂的过渡时期当受试者开始新的步态。美国依靠分工的步态识别的阶段的压力信号,如图2(一个)。立场阶段开始时,脚触碰地面(即。,heel contact) and terminated at the foot off the ground (i.e., toe off). The swing phase was from toe off to heel contact. Two different frames of the sliding window were designed to process the steady-state and the transient-state information separately. For steady-state recognition, i.e., state backtracking, which was used to identify performed gaits, a sliding window covering a full stride cycle was designed. The steady state was from the heel contact to next heel contact or from the toe off to next toe off, as shown in Figure2 (b)、中、面肌和IMU传感器融合分析执行运动模式。对瞬态数据采集窗口的时间越短,越光滑下肢假肢的控制。因此,50毫秒小滑动窗口只有面肌信号记录在每一个设计初始的脚跟接触和脚趾。三个原因选择50毫秒面肌电信号的信号是(1)面肌信号通常先于机械信号响应运动发作;(2)需要 女士反应人类肌肉动作电位;和(3)由于IMU信号采集频率的限制,只能记录一些数据在50微秒,这对于识别可能导致混乱。在瞬态动力假肢的控制系统也使用前面的步态控制器,这意味着圣餐台的反应慢了至少50 ms比健康的腿。这个延迟时间相对较短的与整个周期相比,这将不会有不利影响的行走状态的圣餐台但能确保下一个状态控制的准确性。

2.4。特征提取

2.4.1。摘要信号的特征提取

考虑到信号处理的及时性,面肌电信号的时域特征提取方法被认为是在这个工作37]。在前期工作12),超过20面肌电信号的特征信号定量比较,和下面的枚举功能优化时域特征的步态识别。(我)斜率改变(SSC)的迹象。SSC特征面肌电信号的频率信息的信号: 在哪里 。我们设置阈值到40 mV。(2)Willison振幅(里面)。里面指的次数的差异表相邻两点之间信号振幅超过预定的阈值和肌肉收缩的程度有关。 的参数由实验比较,优化,得到优化的价值50 mV。(3)波形长度(WL)。波形长度的累积长度波形在给定的时间。 (iv)对数方差(LogVAR)。方差是变量的偏差平方的平均值。然而,面肌信号的平均值接近于零。因此,面肌的方差一般被下面的公式: 为了使方差有更好的正态分布特征,提取的对数方差作为一个新特性,这是定义为LogVAR。

2.4.2。IMU信号的特征提取

multifeature融合方法,提出了提取的特征向量IMU信号。这个方法可以表达下肢的运动特点更全面、有效地提供一个保证更好的训练分类模型。(我)离散小波变换(DWT)。DWT被用来分解过滤艾莫斯数据。小波分解后,高,低频系数提取时域获得更全面和清晰的模式信息,进一步消除噪声的影响。IMU信号小波分解分解为高频和低频近似细节。步态信息的低频分量很重要,包含信号的主要特征,而高频分量信号的细节或差异。大概的值(即。,low frequency part) and detail part(即。,high frequency part) of the decomposed original signal are formulated as 在哪里意味着规模函数系数,提出了小波函数系数,代表的规模分解。通过实验比较,Daubechies 9选择分解加速度和角速度信号,提取特征值的小波变换系数。此外,时域特性,提取低频系数高,包括绝对均值(飞行器)和标准差(STD)。(2)互关联系数。互相关函数可以提取和分析的相关特征不同的周期信号或准周期的信号(38,39]。因此,在人类的运动模式识别的特征参数,不同的运动模式可以表示为不同惯性信号的相关特性。互相关函数描述了两个随机信号之间的相关性 在任何时间。它是由 在哪里和表示序列帧和的平均值是样品的数量。我们计算的相关系数之间的加速度和角速度大腿和小腿的特性。

2.5。功能降低维度

sEGM和IMU信号的特征提取了68年的数据维度。提高特征的描述能力,我们获得更多有价值的信息和降低计算成本的分类算法,和较低的维度应获得的降维。在本文中,被认为是两种常见的降维的方法:主成分分析(PCA)和线性判别分析(LDA)。PCA是最经典的和广泛使用的降维算法在信息融合。主成分分析的基本思想是要保留原始数据的主要特性(数据的协方差结构)和高维特征空间的数据映射到低维特征空间的线性投影。LDA是监督线性降维方法,它考虑了标签的类和促进了歧视降维后的数据。两种方法被证明是有效的生物模式识别(40- - - - - -42]。

3所示。意图识别和运动预测方法

运动预测低动力假肢运动指的是即将到来的人类做出准确的决定基于传感器信息。本文提出了一种多级分类器融合方案预测运动意图如图3。运动预测系统稳态与瞬态识别识别。前者是完成步态的回溯,而后者是一个即将到来的步态的初步鉴定。然后,嗯模型作为决策融合模型旨在融合识别的稳态和瞬态的结果的预测运动模式。

3.1。稳态的认可

为了提高识别精度,稳定状态的识别器是完成基于面肌和惯性信号的融合。各种各样的模式识别分类器已经接近意图。在本文中,我们评估四个分类算法的性能,其中包括支持向量机(SVM),二次判别分析(QDA),光梯度提升机(LightGBM)和随机森林(RF)。支持向量机是基于统计学习理论的机器学习算法。支持向量机的分类性能已被证明是优于LDA在面肌电信号模式识别假腿(23]。QDA LDA的变种,允许非线性分离数据与计算小,效率高。QDA分类分类分类精度高于LDA在膝盖运动的意图。(43]。LightGBM和射频都是集成学习算法训练不同的分类器(弱分类器),然后把这些弱分类器组成一个更可靠的最终分类器(健壮的分类器)。与单一模型学习方法相比,集成学习算法更容易获得高精度和泛化。LightGBM是一个分布式的框架的梯度提高决策树算法(GBDT)。这是微软的团队提出的Guolin柯等人在2017年GBDT计算效率的解决这个问题。与其他传统分类器相比,LightGBM分类器表现良好在步态的精度和预测时间阶段识别基于表(44]。随机森林也是一个传统的分类算法以决策树为基础的学习者。随机森林有很强的抗干扰能力和比支持向量机更适合处理高维数据。随机森林已经验证识别五种下肢的运动比SVM和获得更好的准确性。

3.2。瞬态识别

瞬态被定义为运动的观察期间开关,在下肢假肢检测到即将到来的运动。由于实时要求,提出了一个挑战的识别精度和时间。如果识别时间太长,假肢运动模式将不符合实际的地形行走,这将导致截肢走路不自然。在上面提到的四个分类算法、QDA和LGBM有计算速度快的优势在整体学习一个分类模型,模型中,分别。所有四个瞬态识别的分类器进行了比较和分析。

3.3。运动预测

运动开关响应的实际地形行走,而行人设施的道路或建筑一个极端的规律性。各种地形的转变并不是随机的。一般来说,楼梯的目的通常是平的,没有坡道。同样,斜坡的末端通常是平的,也没有楼梯。因此,有一定概率的人类步态开关,如表所示1。例如,当前步态行走(LW)水平,然后下一个步态行走(LW)水平,斜坡提升(RA),斜坡下降(RD),楼梯提升(SA),或楼梯下(SD)的概率每一个。如果之前的步态是SA,然后下一个步态LW或SA,的概率每一个。

这样,步态识别的目的是变成了一个概率模型建设的问题。下一个步态状态识别过程可以被描述为一个典型隐马尔可夫模型(HMM),并有很强的先验知识。嗯是一个关于时间序列的概率模型。对人类走路,从一个步态转换到另一个步态是一个隐藏的过程,不能直接观察,但是瞬态的观察可以用来推断出步态过渡。摘要一阶嗯是利用回溯步态信息融合和瞬态信息来实现最终的运动预测。

4所示。结果与讨论

4.1。稳态识别性能

四个分类器与PCA和LDA维减少基于sEGM和IMU进行融合。识别评估了使用10倍交叉验证。基于树形结构Parzen贝叶斯方法估计量(TPE)是用来解决射频hyperparameter优化问题和LightGBM分类器。支持向量机和QDA参数优化的网格搜索方法。不同的学科组,包括所有主题和主题除了截肢者(即。,只有健全的科目),进行了比较。实验结果如图所示4。的降维算法,虽然不同的方法有不同的对分类器的影响,LDA更有利于分类器比主成分分析的准确性。RF算法为代表的降维方法的融合性能好。LDA降维后,四个分类器的分类精度都结束了5健全的学科。截肢者的数据主题添加时,精度有所下降 ,但它也结束了 。这意味着是一个健康的人之间的差异在走路的姿势和下肢截肢。一般来说,LDA +射频与分类精度最高,最优组合五和健全的课程所有六个科目。值得注意的是,所有科目的所有以下结果。

的贡献不同的传感器或传感器组合在步态识别的多源信息感知进行了分析。乌兹别克斯坦伊斯兰运动和面肌信号进行比较和分析,分别。结果的误分类主题报告,如图5。稳态的识别,单独使用乌兹别克斯坦伊斯兰运动传感器的效果比单独使用面肌电信号的信号。使用艾莫斯的识别精度在大腿或小腿就从范围来 ;后两者的结合艾莫斯,上面的识别率是大大提高了 。可以得出结论,为提高下肢运动识别的识别,这是非常重要的发现大腿和小腿机械信号同时由于不同的运动。此外,面肌电信号后信号与两个IMU信号相结合,识别利率继续提高 。这意味着对于步态识别的多传感器融合是有益的和有用的。

实际上,不同传感器信号对识别算法有不同的影响。当只使用面肌信号,LDA + LGBM错误率和LDA +射频低于其他人。然而,无论使用传感器信号,LDA +射频方法最低分类错误。从上述结果中,有一个基本关系人类的步态识别方法的选择和使用的传感器检测。

从四个分类混淆矩阵是来自分析错误分类的具体情况。从图可以看出6四个分类器的精度区分五个运动模式的范围 。所有分类器的误分类主要发生在步行和斜坡提升水平。

4.2。瞬态识别性能

收集50 ms面肌4频道的信号(即从脚跟接触。开始,立场阶段)和脚趾(即。,beginning of swing phase) moment, respectively. The features of SSC, WAMP, WL, and LogVAR were extracted for classification recognition. After repeated verification, the feature dimensionality reduction could not significantly improve the classification accuracy. Consequently, classifiers were directly trained by utilizing the features data, which would obviously shorten the data processing time. Using 10-fold cross validation, the average prediction accuracy and prediction time are shown in Table2。无论是在preswing或者prestance LightGBM算法的识别精度高于其他分类器。尽管QDA算法有最短的预测时间,准确性是最低的。基于的梯度单面抽样(高斯)和独家功能捆绑(EFB)技术,LightGBM更快的速度没有降低其准确性。不同类型的运动的平均分类精度在瞬态数据所示7和8。总的来说,斜坡提升运动可以最准确地检测到。向上或下楼梯时,面肌信号在prestance阶段可以更容易,可能是因为肌肉伸展和收缩更明显的在这个阶段。

此外,我们在preswing LightGBM识别的混淆矩阵为例,分析误认的分布。描述的混淆矩阵表3。可以看出,楼梯下降运动最高分类错误在preswing阶段,并被错误地归类为水平的走路,当斜坡提升当楼梯提升。与prestance阶段相比,它更难以检测preswing楼梯下运动。

4.3。结果和缺陷的运动预测

简化的HMM模型的先验知识构造结合稳态和瞬态观测,并定义如下: 在哪里表示隐藏状态的设置,这是指LW的五个州,风湿性关节炎,RD, SA和SD。观察序列,获得瞬态分类器。 ,在哪里代表的初始概率th (1-LW 2-RA,第三盘,4-SA 5-SD)状态。设置为0.2的一个新周期的开始,但重置根据稳态连续步态识别。 是可以生成的状态转移概率矩阵表1。 是状态观测概率矩阵,可以推断出从表吗3。接下来,我们使用维特比算法解决预测问题,嗯。摘要运动预测只取决于状态和瞬时状态之前,所以算法简化为以下两个步骤。步骤1: 步骤2: 在哪里表示状态的数量,观察状态,代表的概率th运动模式,指的是即将到来的步态的价值 ,这是运动预测的最终结果。

通过观察观测值和预测值之间的不一致,我们可以判断观测值是错误的。加上稳定的步态分析的结果,该方法可以有效地减少表的误分类3。最后预测精度如表所示4,它提高了瞬态识别的准确性来 。

此外,由于过渡概率水平走到其他运动模式之间都是平等的 ,水平的预测准确率走路似乎不像其他有用的模式。同样,其他运动转换的概率水平行走 ;如果运动并被错误地归类为水平步行,使用这种方法无法纠正的错误。以上两种情况是该方法的固有缺陷。

5。结论

本文基于稳定的步态识别的多级分类器融合策略和瞬态识别提出了实现人类运动意图和复杂环境下的预测。稳态识别基于惯性和面肌电信号融合步态意图识别之前,以及LDA +射频分级机,生产结束准确性。瞬态识别仅基于50毫秒面肌信号作为即将到来的运动的观察和LightGBM分类器比其他传统方法在精度和预测时间,/ 14.3 prestance阶段女士和准确性精度/ 11.6 ms preswing阶段。一个简化的HMM模型,结合先验知识和观察了预测即将到来的运动了准确性。预测时间可以保证在70 ms,这确保了下肢假肢可以切换运动。本文提出的方法可用于下肢假肢的控制在未来改善截肢者的运动协调。在未来的工作中,我们将考虑更多的应用场景,结合多传感器信息融合技术。

数据可用性

没有数据被用来支持这项研究。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究得到了广东省科技计划项目批准号下2016年a020220003、省级重点平台和主要科研项目批准号下的广东大学2017 ktscx208,科技计划项目批准号下的中山2019 b2066。