文摘

传统的智能假肢的意图识别算法经常使用深度学习技术。然而,深度学习的高准确性为代价的计算和能耗要求。移动边缘计算是一个可行的解决方案来满足高计算和实时执行深度学习算法对移动设备的要求。在本文中,我们考虑多个异构的计算卸载问题边缘服务器智能假肢的场景。首先,我们提出的问题定义和细节设计MEC-based任务卸载深层神经网络模型。考虑到截肢者的流动性,mobility-aware能耗模型和延迟模型提出了。通过部署基于深度学习运动意图识别算法在智能假肢在真实的MEC环境,任务卸载和调度策略的有效性。实验结果表明,该算法总能找到最优任务卸载和调度决策。

1。介绍

据统计,中国残疾人的数量已超过8500万年的2020 (1]。下肢截肢是一个残疾的主要原因;数以百万计的施行截肢者在移动,遭受困难占总数的大约七十残疾人的1]。随着科技的进步,科学家们把精力集中在康复的研究和维护设备,电器和其他辅助残疾人。智能假肢是唯一的办法来补偿或恢复运动功能,这可以使施行截肢者来执行不同的日常活动。

然而,尽管下肢的运动是人类最基本的运动,许多残疾人仍然不同通过假肢,完成一些简单的任务。同时,使用被动假肢可能大大损害走对称和代谢能施行截肢者的效率。因此,使用智能假肢的前提是,一些应该选择合适的传感器和意图识别算法获取运动信息。然后,智能假肢可以根据分析自动校正转矩信号(如生物力学信号,表面肌电信号和面肌)被传感器,使截肢者的移动过程更稳定和自然2]。

如图1智能假肢的分层控制策略由三层:感知层、转换层和执行层。感知层识别截肢和上下文识别运动意图的活动模式。转换层不断调整控制策略的理解人类运动意图。然后,上述控制策略用于驱动智能假肢执行层。显然,随着运动意图识别的有效性影响感知层,意图识别算法具有高性能和低延迟是至关重要的。

不幸的是,传统的意图识别方法通常涉及高复杂度的算法,如模板匹配、卷积神经网络(CNN),传感器融合(3,4]。虽然有许多现有的作品关注减少计算复杂度(5- - - - - -9]。它仍然是难以实现实时意图识别的目的。同时,神经网络模型的计算和通信开销的影响模型大小,带来大量的能源消耗和执行时间。因此,智能假肢,有限的计算能力和电池容量,需要计算密集型和能源资源来提供服务。

最近,移动边缘计算(MEC)已经成为一种很有前途的解决方案支持计算密集型任务。MEC是一种有效的方法来克服挑战通过卸载一些对延迟敏感的任务或计算密集型到附近的边缘服务器通过无线通信10,11]。然后,收到的边缘服务器执行一些计算任务和由低延迟传输其余资源丰富的云基础设施连接。最后,边缘服务器或云服务器传输到移动设备的计算结果。摘要智能假肢可以表示成MEC的移动设备系统。

充分利用移动计算,一个有效的合作智能假肢,边缘服务器,云是一个重要的问题。在本文中,我们专注于解决延迟和能源挑战,中移动处理器共享多个异构边缘服务器。通过部署基于深度学习运动意图识别算法在智能假肢在MEC的环境中,我们将演示的有效性提出任务卸载策略在降低延迟和能源消耗。

本文的结构如下:部分2描述了相关作品的意图识别算法智能假肢和现有的一些研究应用人工智能技术在MEC环境。MEC-based卸载模型和问题定义给出了部分3。提出的算法详细描述部分4。实验结果讨论了部分5。最后,本文的结论提供了部分6。

2。相关工作

运动状态,是由下肢,有一个内在的规律性。一个步态周期包括两个阶段:一个立场阶段和阶段。如图2、swing阶段包括稳态和过渡状态。稳态始于一个脚趾头,以脚跟罢工结束。过渡状态也始于一个脚趾头。然后,脚从平地升起,和过渡状态结束时脚跟先着地的楼梯或斜坡(12]。各种模式识别和机器学习算法用于分析规律,运动模式,和过渡模式在一个步态周期。

黄等。5]提出一种基于neuromuscular-mechanical融合运动意图识别算法。肌(EMG)信号和地面反作用力作为phase-dependent模式分类器的输入数据。在这项研究中,六个运动模式可以识别和五个转变,和识别精度达到95.2%。刘等人。6]研究应用三种不同的自适应模式分类器的有效性基于肌电图和机械传感器表面。各种不同的地形下,该算法预测截肢者的运动意图率为95.8%。近年来,CNN已广泛应用于不同的智能系统,如智能医疗、智能物流、智能农业。苏et al。7)上的惯性测量单元(imu)健康的腿截肢者。他们设计一个CNN结构自动学习功能的传感器信号没有任何先验知识。运动员等。8)提供了一个完整的深度学习模式(深层神经网络,款)电动机意图识别的多级信号。本文介绍了不同频率作为输入的相关特性表示提出了深度学习模型,识别精度可以达到一个高水平(平均99.01%)的性能。Gautam et al。9)提出一个low-complex深度学习sEMG-based运动识别框架。两级管道压缩的方法(输入数据压缩和数据驱动的重量共享)旨在减少记忆,能源消耗和执行时间。

深度学习推理和培训需要大量的计算资源来运行得很快;一个常见的方法是利用云计算(13,14]。然而,发送数据到云推理或培训可能招致额外的排队和从网络传播延迟,不能满足严格的端到端低延迟需求。基于云的意图识别算法需要进一步修改计算上运行受限的设备,如覆盆子π或Arduino。

总之,以往的研究通常使用机械,面肌,或IMU传感器进行数据收集,嵌入式智能假肢或健康的腿。然后,各种机器学习算法,如隐马尔可夫模型,支持向量机,或深度学习,选择分类器识别运动截肢者的意图。特别是deep-learning-based意图识别算法有明显的优势的执行没有任何prefeature提取的数据驱动的特征提取。然而,深入学习算法的高精度和实时实现的智能假肢是以牺牲高计算内存和能源消费需求的培训和推理阶段。

以满足计算需求的深度学习,边缘计算是一个可行的解决方案,满足延迟和能源消耗的挑战。有许多现有的工作集中在应用深度学习技术在MEC的环境。李等人。15]目前coinference深度学习模型框架。减少执行时间,优化CNN分区和基于可用带宽的合理精简和随需应变的方式。李等人。16]提出一种联合准确性和latency-aware执行框架命名JALAD最小化边计算延迟,云计算延迟和传输延迟。高et al。17]提出Edge4Sys系统来减少计算负荷的边缘服务器MEC-based无人机(无人机)交付场景。Tariq et al。18]目前FogNetSim + +环境涵盖网络延迟等方面,传播范围,调度、移动性和异构移动设备。Asad et al。19)提出一个雾模拟框架命名xFogSim支持对延迟敏感的应用程序。它有一个非常有效的任务分配算法,可以选择最好的计算资源根据成本、可用性和延迟。Syed et al。20.]现在雾计算框架来模拟vehicle-assisted计算环境,它允许研究人员将自己的调度策略来模拟现实的环境。表1列出了这些作品的比较。

但是,它不适合直接应用上述作品智能假肢的场景。一个主要挑战是,上述工作不考虑移动设备的移动,这是一个智能假肢的重要属性。第二个挑战是适应高资源需求的深度学习与移动处理器的智能假肢。大多数卸载和调度策略仍然大量数据传输到远程服务器。处理时间的数据深度学习模型很大;移动设备和远程服务器之间的合作应该是受雇于一个真实MEC-based系统来减少能源消耗和延迟。

3所示。MEC-Based任务卸载模型

运动意图识别算法需要迅速处理来检测并返回一个响应。然而,计算任务的复杂性带来很大的负担的移动处理器计算资源和电池容量是有限的。同时,将数据发送到云推理或培训可能招致从网络传播延迟。这种方法不能满足实时要求的应用程序,因为移动网络的不稳定的特征。

在移动计算环境中边缘,边缘设备提供计算能力接近移动设备。不幸的是,这种潜在的解决方案移动计算和移动设备的数据边缘仍有其局限性。而边缘的计算资源是巨大的,他们也有限相比到云上。因此,边缘服务器应该配合移动设备,云,和其他边缘服务器,确保良好的性能。每个任务将在本地处理决定或卸载到云的边缘。

从图可以看出3,我们目前MEC-based任务卸载模型的详细设计的深层神经网络智能假肢的场景。执行过程主要分为以下步骤:(1)传感器数据预处理的移动处理器。我们部署的意图识别算法7在智能假肢是专门为嵌入式设备。(2)CNN模型划分。如图4CNN是划分为层,有些层移动处理器上执行的,和一些层都被边缘或云根据任务卸载和调度策略;(3)当截肢者移动,mobility-aware任务卸载策略(如任务迁移和延迟执行)被认为是保证服务的连续性;(4)计算结果传输到智能假肢。

3.1。系统模型

在本节中,我们考虑多个异构的计算卸载问题在MEC边缘服务器环境。的原始数据预处理的移动处理器,不断卸载边缘服务器和云基于任务卸载策略。我们可以看到在图3,有边缘服务器, ,已被部署在区域吗 。智能假肢(移动设备)使用截肢是走过的区域 ,移动路径可以表示成一组连续的位置坐标, , ,在哪里是th位置坐标的移动路径,和被定义为 - - - - - -协调和 - - - - - -协调的 ,分别。我们假设移动路径是预先确定的,和速度(米/秒)。

边缘服务器可以表示为一个四, ,在哪里 , 是用来表示计算能力,位置坐标,传输带宽,和最大通信范围的 ,分别。对于每个MEC服务器,当移动设备之间的距离超过最大通信范围吗 ,他们不能相互通信。由于截肢者在区域四周散步 ,增加移动设备之间的距离和边缘服务器将降低通信速度。瞬时之间的传输速度可以计算和移动设备 在哪里是瞬时传输速度,之间的距离是和移动设备是信噪比(信噪比)21]。移动设备可以表示为一个三, ,在哪里移动处理器的计算能力,是能源消耗,智能假肢的位置坐标。云服务器由一个二元组, ,在哪里云服务器的计算能力和吗最大数据传输速率。

在计算卸载过程中,任务执行跨越移动设备,边缘服务器,云。原始数据应该被传输到远程服务器,和执行结果将传回到移动设备。这是一个远程执行的利益之间的权衡和数据传输的成本。当本地执行计算任务,执行时间和产生的能源消耗仅移动设备。因此,计算卸载只发生如果任务卸载的时间和能源消耗比本地执行。下面给出相关定义。假设上行传输功率,下行传输功率,闲置的力量,执行的力量移动设备 ,和 ,分别。因此,能耗可以表示为一个四, 。

最重要的一步计算卸载分区,将运动意图识别算法划分为几个部分,可以在不同的平台上进行。如图5据美国有线电视新闻网(CNN)的结构(7),神经网络分割成几个层次。一层,只能计算一个计算资源,被定义为metatask。metatask不能分区,metatasks的集合可以表示为一个有向无环图(DAG), ,在哪里是一组节点, 。 , ,和是用来表示输入数据大小,输出数据大小,频率和CPU周期的任务 ,分别。是一组边缘, ,在哪里前任任务和吗是接班人的任务。拓扑之间的关系可以被描述为不同的任务 。

我们可以看到在图5卷积层和完全连接层是最常用的神经网络层。他们的计算负载可以通过计算 在哪里和被定义为输出特性尺寸和地图吗和输出通道的数量和输入通道。和卷积核的大小。和输入和输出神经元的数量。

总结在这一节中使用的关键符号可以在表中找到2。

3.2。能源消耗和延迟模型

3.2.1之上。当地执行成本

当任务在本地执行,执行所产生的能源消费过程。我们假设是由移动设备完成的任务的总数;总执行时间和能源消耗可以估计

3.2.2。卸载的成本

当任务卸载到云服务器,延迟由传输延迟和执行延迟,和能源消耗由传输能量和执行。假设是总数量的任务卸载到云,和可以通过计算 在哪里 ,和被定义为上行传输延迟、下行传输延迟,分别和执行延迟。和被定义为上行传输能量和下行传输能量。是移动设备的闲置能耗任务由云计算服务器或边缘服务器。

移动设备可以卸载计算边缘时,重要的是要保证服务的连续性。然而,如上示意,增加移动设备之间的距离和边缘服务器将降低通信速度。如果被截肢者的边缘服务器的通信范围,卸载的任务将会失败。如图6存在四种情况:正常卸载,卸载失败,任务迁移和任务延迟执行。

3.2.3。正常卸载

当截肢者在边缘服务器的通信范围,任务可以正常卸载。如图6(一),截肢者从初始位置(用 )结束位置(用 )上行传输过程的任务 。假设 瞬时边缘服务器之间的传输速度吗和移动设备, 它们之间的距离。我们假设瞬时传输速度不变时,移动的距离不超过一米。因此,1米内传输数据的大小可以通过计算 在哪里 可以通过公式计算(1)。

当传输数据的总和(用 )等于输入数据的大小 ,上行传输过程完成。然后,距离 之间的和可以通过计算

因此,移动设备可以估计的结束位置沿预设路径根据初始位置。同样,在下行传输过程的任务 ,传输时间和结束位置可以通过同样的方式计算。

3.2.4。卸载失败

如图6 (b),没有边缘服务器满足通信条件沿着移动路径。任务不能卸载的边缘。

3.2.5。任务延迟执行

如图6 (c),任务不能卸载的边缘服务器上行传输过程。然而,有几个服务器满足通信条件沿着移动路径。“任务延迟执行”是用来等待最近的边缘服务器沿着移动路径。是时间延迟。

3.2.6。任务迁移

如图6 (d),虽然移动设备不能连接到边缘的下行传输过程中,有几个服务器满足通信条件沿着移动路径。计算结果应该从当前边缘服务器迁移到目标边缘服务器,以确保交付的任务执行结果将是成功地回到了移动设备。假设当前的边缘服务器的计算能力和目标边缘服务器和 , 是它们之间的传输速度。然后,这个任务由当前边缘服务器,计算结果迁移到目标边缘服务器。迁移时间 。

总之,当移动设备可以卸载任务边缘,延迟包括了传输延迟(包括上行传输时间和下行传输时间),执行延迟,迁移延迟,延迟执行延迟。假设是总数量的任务卸载到边缘,和可以通过计算 在哪里 , , , ,和被定义为上行传输时间,下行传输时间、执行时间、迁移时间和延迟时间(如果这个任务可以正常卸载, , )。 , ,和可以计算根据移动设备的初始位置和当前边缘服务器。

4所示。提出了算法

减少延迟和能源消耗,我们提出的算法来确定方法执行远程或本地每个任务的最后期限的约束。提出的算法可以分为三个部分如下:(1)CNN-based意图识别算法划分为几层,它可以表示为一个工作流任务。根据工作流程的优先队列,我们构造一个矩阵的任务执行如下: 在哪里是总数量的任务。任务是一个执行向量 , 表示,执行本地或卸载边缘或云,分别。因此,矩阵的任务执行被视为任务调度计划(2)当任务将根据执行向量(卸载到边缘= 1,= 0,= 0),应该选择最优边缘服务器选择优化算法(SOA)基于位置和移动设备的移动路径(3)基于提出的模型部分3,一本小说任务卸载和调度策略(抛)提出了优化整个调度过程从全球观点。毕竟卸载决策、工作流调度是进行所有类型的资源分配在MEC环境

4.1。选择优化算法

在本节中,我们提出一个选择优化算法。一旦任务将卸载的边缘,选择优化算法(SOA算法)用于筛选出最优出售边缘服务器根据能源消耗,位置,移动设备的移动路径和速度。

根据智能假肢的位置和速度,SOA算法筛选出最优出售边缘服务器的最大边缘服务器通信范围之内。SOA的内循环算法是基于贪婪算法。让候选人边缘服务器组的元素数量 ;SOA算法的计算复杂性 。

4.2。任务卸载和调度策略

在本节中,我们提出一个任务卸载和调度策略基于粒子群优化算法(PSO)。

4.2.1。准备健身价值

健身价值旨在评估卸载决定的影响,从而计算出延迟和移动设备的能源消耗。较小的健身价值被认为是降低能源消耗的任务卸载和调度策略。根据能源消耗和延迟模型提出了部分3,我们构造的适应度函数 在哪里能源消费总量,工作流程的延迟,是最后期限的限制。根据人类的运动协调研究,最后期限的约束条件是设置为0.6秒(3]。见公式(11可以计算),健身价值两部分。时的总能量消耗一部分 ,( , );另一部分是在能源消费总量 ,( , )。因此,对不满意的惩罚约束条件被认为是健身价值( , )。惩罚系数设置为10,这是一样的以前的工作(22]。

4.2.2。算法描述

把算法主要包括三个步骤:(1)第一步:初始化任务的调度计划;(2)第二步:迭代过程;(3)第三步:更新最好的任务调度计划。外层循环更新任务调度计划,惯性权重,搜索速度。内循环计算每个任务调度计划的健身价值。让最初的任务调度计划的数量,迭代,任务 , ,和 ,分别。把算法的计算复杂性 。

5。实验结果

在本节中,我们证明了该算法的实现在MEC的环境中。如图7分为两个部分,硬件环境。第一部分是由计算资源。云服务器AlibabaCloud c6a(16核心AMD EPYCTM罗马7 h12, 32 GB内存)。边缘服务器戴尔PowerEdge XE2420(8核心Intel Xeon青铜3204,16 GB内存),如图7(一)。我们可以看到在图7 (b),第二部分是智能假肢和我们用于实验我2.0 (Virtex-7 Xilinx FPGA平台)。发送、接收、空闲和执行权力的移动处理器0.1 W、0.05 W、0.02 W,和0.5 W。

如图7 (c),三艾莫斯(Noitom知觉遗留)放置在大腿,小腿和脚踝的健康的腿。两个边缘服务器部署在一个 区域和移动路径穿过这个区域。

我们现实的应用程序中实现该模型的智能假肢场景意图识别应用程序。我们可以看到在图8截肢者移动到目标时,智能假肢开始记录传感器数据和意图识别计算任务发送到边缘服务器或云服务器根据任务卸载策略。过程如下:(1)任务卸载策略首先分析输入数据和任务根据特征和约束的任务。(2)任务策略基于扔算法生成卸载的决定。(3)当环境改变(如移动路径改变),卸载策略决定卸载再决定根据环境分析器。

在接下来的实验中,我们将讨论该算法的影响,主要关注健身价值的影响,能源消耗,延迟和准确性。

5.1。健身价值

在这个实验中,我们评估算法的性能对云,边缘,移动,LoPRTC [23],Edge4Sys [17在不同的帧数。云、边缘和移动表明工作流执行的云服务器,边缘服务器,分别和移动处理器。图8给出了实验结果。

在图9帧的数量增加,健身价值的策略也在不断增加。扔的健身价值明显低于其他策略。由于健身价值,可以反映任务卸载和调度策略的有效性,实验结果表明,把能找到的卸载和调度决策最后期限的约束下的能耗较低。同时,可以看出移动战略的健身价值总是远高于其他策略。实验结果证明基于手机移动传统意图识别算法会导致能源消费的增长。

5.2。能源消耗和延迟

与云在这个实验中,我们比较抛,边缘,移动,LoPRTC, Edge4Sys能源消耗和延迟。数据10和11显示结果。

我们可以看到在图10,移动策略的能耗远高于其他策略,从而证明实验结果如图8用另一种方式。同时,优势策略的能源消耗一直是最低的。然而,边缘的健身价值策略是高于扔,LoPRTC, Edge4Sys图9。主要原因是边缘策略可能错过最后期限的约束;对不满意的惩罚约束条件导致健身价值的增长。此外,与Edge4Sys相比,LoPRTC,移动,和云,把返回的能源消耗是9.73%,10.01%,71.84%,和15.98%不到这三个策略。实验结果表明,将可以有效地减少期限约束下的能源消耗。

延迟5个不同的策略如图11。可以看出,扔总是最低的延迟。当帧的数量小于100,移动策略是第二低。然而,当帧的数量超过100,Edge4Sys策略是第二低。它很容易注意到,当输入和输出的大小增加,产生的延迟任务传输小于在本地计算。

此外,虽然移动战略的延迟小于云战略和边缘战略,能源消耗比另一个更大的策略,可以看到在图10。主要原因是任务执行的主要能源消费过程;数据传输的大小相对较少的影响最终的结果。同时,云战略和边缘的延迟策略比扔高70.44%和77.73%。这意味着数据预处理可以抛弃无用的信息,这可以节省沟通时间和减少计算负荷。

总之,实验结果表明,它仍然是基于云环境的意图识别算法很难实现实时执行的目的。边缘服务器应配合其他计算资源,确保良好的性能。由于这个原因,建议把总能找到最优任务卸载和调度决策。

5.3。测试精度

在这个实验中,我们比较扔在测试精度与移动策略。图12显示了结果。

在图12帧数量的增加,两种策略都增加的测试精度。移动战略有点更高的准确性。然而,我们可以看到数据9和10的能源消耗和延迟移动战略远高于扔。与移动战略相比,扔可以大大减少能源消耗(71.84%)和延迟(16.16%)一个相对较小的降低为代价的准确性(1.36%),这是在大规模环境中非常实用。

6。结论和未来的工作

在本文中,我们考虑多个异构的计算卸载问题边缘服务器智能假肢的场景。MEC-based任务卸载模型的细节设计和mobility-aware任务调度策略,提出了降低能耗和延时在实际MEC的环境。实验结果表明,该算法表明,提出的算法可以大大减少能源消耗(71.84%)和延迟(16.16%)的一个相对较小的下降(1.36%)的准确性。

在未来,我们将开发更多的智能应用程序,如路径预测和实时调度。此外,在MEC系统与多个计算资源,可靠性有重大影响任务卸载和执行,和小说算法需要卸载任务的可靠的资源。

数据可用性

实验数据支持这个实验分析从以前的研究报告,已被引用,也包含在这篇文章。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是支持的安徽省的关键研究和发展项目,在批准号202004 a05020010;关键项目的青年精英支持计划在安徽大学,在批准号gxyqZD2020043;安徽省高校自然科学基金,批准号下KJ2020A0694。