文摘

提出了一种轻量级的人类行为分类方法对绿色物联网应用程序(物联网)的运动。这种方法将人体运动数据收集的衣物或其他物联网设备与节能技术,通过允许少量的样本训练和增量分类来达到节能的目的。降低模型的复杂度和减少参数估计所需样品的数量,我们提出一个共享隐藏条件随机场(sHCRF)模型。sHCRF模型添加一个shared-classification层结构来减少参数计算。在实验中,sHCRF模型的分类精度在95%以上。本文介绍了一个基于知识的增量学习方法蒸馏。现有分类的新模式抑制了忘记学习新知识,拟合新数据分类的知识。在增量式场景,sHCRF模型的分类精度在70%以上。实验结果表明,该方法可以轻易实现方便、快速自动分类的收购行动。

1。介绍

近年来,智能衣物和移动传感器已经成为人类的日常生活不可或缺的一部分1]随着绿色物联网的发展(物联网)。这些衣物可用于捕捉人体运动数据当人们运动或从事其他日常活动。通过分析和分类捕获的运动数据,它可以用来帮助锻炼和监控人类健康,等等,在分析或分类的结果可以通过运动反馈应用程序,像运动手表和智能跑步机。人类行为识别是计算机理解人类运动的更高级的工作。其中,运动类别是人类行为识别的基础。由于人类运动的复杂性和时间影响,高维运动数据复杂的人类行为的特征分类。人类运动的建模涉及到成千上万的变量之间的关系。研究人员已经提出了基于神经网络的人类行为识别模型(2),如卷积神经网络(CNN) (3递归神经网络(RNN) [],4,图卷积神经(GCN) [5)网络。然而,这些模型需要更多的能量,他们需要大量人工标注的训练样本。训练过程是费时和劳动密集型。我们工作的目的是建设一个轻量级的行动分类方法来达到节能的目的,使该模型少量的训练样本,同时节省了存储和计算开销。概率图形模型有很强的能力模型变量之间的关系基于先验知识,大大降低模型参数,更重要的是,减少所需的样本数据进行参数估计。潜力模型运动轻量级基于概率图形模型。

人类的运动传感器所捕获的数据是时间序列数据,和每一帧代表了人体的姿态在当前时刻。有必要注意时空信息,以准确地描述人类行为的特征分类。隐藏的条件随机场(HCRF)模型,作为一个无向概率图形模型,是一种歧视模型。它可以标签整个样本序列的行为和使用隐藏的状态变量来捕获中间结构。对于动作识别任务,现有的共识是,理想的模型应该是派生和优化的基础上最大化的判别函数。

提出了一种轻量级的人类行为分类方法。我们介绍的姿势基地,姿势变化基础,姿态描述人体运动数据的语义基础。基于获得的特性相对应的传感器收集的数据主要运动学关节。为了降低计算成本的培训,我们提出一个共同的隐藏条件随机场(sHCRF)模型通过设计一个shared-classification层结构,减少了参数的数量。增量学习和分类方法的设计通过引入知识蒸馏。我们的方法的框架如图1。人类运动智能这套不断收集的数据,然后,收集到的数据为特征。特点是发送到sHCRF模型进行训练。模型符合新数据时,模型会增加蒸馏损失的基础上分类损失,所以模型可以抑制忘记拥有知识而学习新的知识分类。训练模型后,将上传到物联网更新分类知识。本文的贡献如下:(1)一个轻量级的人类行为分类方法提出了绿色物联网运动应用程序。该方法是基于概率图形模型中少量的训练样本。与此同时,它可以实现自动蒸馏增量学习和分类的知识(2)人类行为特性设计,包括姿态序列,姿势变化序列,以及语义序列的姿势。他们可以描述人类的姿势之间的时间相关特性和人类的姿势(3)shared-classification层结构介绍了改善HCRF概率图形模型。它减少参数数量和达到更好的分类

2。相关工作

我们的轻量级的行动分类方法是描述人类运动的相关特性,人类行为分类模型,增量学习方法。

2.1。特征表示方法的人体运动数据

人体运动数据包含复杂信息由于许多多维数据。运动的语义运动信息数据不能直接反映。因此,有必要提取数据的特征。提取的运动数据之间的相似性测量特性提供了依据不同的行动。《福布斯》和阜姆港6)使用加权主成分分析(PCA)降维算法来提取运动的特征表示。然而,用这种方法提取的特征之间的对应关系和运动语义不明显。穆勒et al。7)提出了一个索引方法的几何部分人体。31他们定义布尔特性来描述人类姿态的几何关系,确保统一的逻辑相似和人类运动的数值相似。他们的方法具有开创性的意义,但它有复杂功能的定义。梁等。8)使用子空间技术部门代表人类姿态的几何特性。他们定义一组特征向量表示运动数据基于这个方法。这种方法简洁的特性定义人类的姿势。

结合人体的几何特征和子空间划分的方法,运动数据特性本文分为部分描述特定的人体姿势,姿势变化,功能描述主要的姿势。首先从静态和动态角度,最后是建筑模型的相关参数。语义信息在同一基本状态在不同的行为可能有所不同。

2.2。人类行为分类方法

人类行为动作分类方法需要模型运动的时间和空间信息数据。近年来,研究者已经提出了很多行动基于神经网络的分类方法。他们使用的方法包括基于RNN的模型(9],CNN [10,11GCN [],12- - - - - -14),和长时间的短期记忆(LSTM) [15]。概率图形模型是一个流行的解决方案分类问题的行动。概率图形模型划分为一个有向图模型和一个无向图模型。他们都是适合建模序列模型。马等。16)使用隐马尔科夫模型(HMM)认识到人类行为。Samr和尼17)使用Beta-Liouville嗯动作分类方法。温家宝et al。(18)用层次狄利克雷Process-Hidden马尔可夫模型(HDP-HMM)代表action类。这种方法可以自动获得在学习过程中隐状态的数目。使用无向概率图,Vrigkas et al。19]HCRF模型用来认识到人类活动。修改后的隐藏条件随机场(mHCRF)模型基于HCRF模型提出了张和龚20.]。他们的方法优化算法通过引入具体的隐藏状态序列从嗯获得为了防止陷入局部最优。

我们用行动sHCRF模型分类、基于概率图模型。适用于建模序列数据的时间相关,和图形模型支持序列数据输入有不同的长度。

2.3。增量学习方法

目前,在实现类别增量的方法中,增量学习(21)各分类技术方法显示出足够的结果。增量学习是一个系统,不断学习新样本和保存最以前学到的知识。添加新数据时,没有必要重建所有的知识库。只更改造成的新数据更新原有的知识库。增量学习方法更符合人类思维的原则。

基于正则化的增量学习方法通常不需要使用旧数据让模型审查任务。学而不忘(LwF)算法提出的李和Hoiem22)不需要使用一个老的数据任务,可以适应新的数据,同时抑制旧知识的遗忘。LwF算法的主要思想来源于知识蒸馏方法提出的辛顿et al。23),预测新模型新任务类似于旧模式的预测新任务。艾尔et al。24)提出了一个模型,该模型可以同时处理多任务和单增量任务场景与各种现有模型只包含多任务场景。弹性重量基于贝叶斯框架的整合(以)算法提出的柯克帕特里克et al。25]介绍了额外parameter-related定期损失。失去鼓励新的进一步的任务训练得到的模型参数尽可能接近旧模型参数根据不同参数的重要性。replay-based增量学习方法,培训新任务时,旧的一部分代表数据保留,用于模型回顾旧知识学习。它可能overfit保留旧的数据。Lopez-Paz和Ranzato26)提出了梯度情景记忆(GEM)算法这一问题。它只更新新任务的参数没有干扰参数的任务。它修改梯度更新新任务的方向以不等式约束的方式,这样旧模型并不增加。并发任务的损失,它试图最小化损失价值的新任务。

大多数增量学习方法是基于卷积神经网络,他们几乎没有应用概率图形模型。此外,没有明确适用的分类方法在行动。基于提出的分析和结论部分2.2动作分类模型,提出了使用概率图模型为基本模型,介绍了“共享参数”的概念在深度模型中,类增加的条件。

3所示。动作捕捉数据的收集和描述

摘要人类行为特征提取动作捕捉数据。动作捕捉数据表示为骨架的层次结构,指与关节运动节点。特征描述人类的姿势,姿势变化,功能定义人类行为的深层语义信息。前两个是由姿势基础和姿态变化基础,分别和描述的静态和动态特征数据,分别。最后一个特性是称为姿势语义基础。姿势语义基本代表了人类的基本特征的姿势。全套的姿势本文中定义的语义基础是姿势的语义基础 ,在哪里是集合的大小。状态转换集代表所有姿势语义基础之间的转换姿势语义基础,是集的大小。

3.1。动作捕捉数据收集

17个节点的运动采集装置包括传感器和我们研究小组开发的中心。如图2,每个节点有9-axis传感器包含一个使用硬件加速计,使用硬件陀螺仪和硬件磁强计。传感器的精度是+ 0.5度。原始数据收集是重力加速度,旋转速度,分别和磁力数据。重建的运动数据解决9-axis融合算法。它的特定数据ID标识每个传感器,传感器节点的位置对应于人体的关节。IDs如表所示1。

3.2。姿势基础

人体运动捕捉数据序列数据的多个帧的人类沿着时间轴姿态安排。每一帧由三维人体各关节的旋转数据。在本文中,我们定义主移动关节的数量 。人体的主要移动关节包括手臂的关节(包括肩、肘、手腕),腿关节(包括臀部、膝盖和脚踝),和躯干关节(主要是腹部)。当是13日,所有的主要移动关节由手臂关节和腿关节,加上腹部关节。本文以根关节坐标系统的初始姿态的人体运动数据作为主要的绝对坐标系移动关节。移动关节的旋转矩阵得到欧拉旋转角度。移动的方向向量联合取自一个单位向量平行于坐标轴的方向向量的绝对坐标系统。在当地坐标系统的联合,联合组成的球面坐标移动方向向量之间的夹角和局部坐标系的轴。

姿势的联合,我们第一次关节的旋转空间分为三个子空间由每个轴根据知识相关的人体运动学和运动经验。然后,我们选择了一个方向向量的联合计算向量之间的角度和每个坐标轴。我们使用的角度来确定子空间向量的位置由每个轴,我们获得一个联合状态向量的长度是3。我们还获得了其他状态向量通过选择不同的方向向量。最后,我们选择所需的值获得状态向量加权和。加权和的姿态联合的基础。如图所示的施工过程中肘关节的姿势基础图3,我们首先选择较低的手臂骨作为肘关节的方向向量。肘关节的旋转空间分为三个子空间由每个轴,这是 , ,和 ,分别。三位代码定义根据球坐标,和每一位代码可以0,1,或2根据每个维度的角度间隔球坐标。是一个三元代码的代码。此时,信息联合旋转的方向向量本身是失踪;因此,有必要介绍其他的球面坐标信息向量垂直于方向向量获得其他三元代码和构造的姿势基础当前帧的肘关节。姿势基地的公式可以表示如下:

代表的姿势基础th联合在帧数据。 是特征函数。代表的球坐标th联合在帧数据。的方向向量集吗联合。的加权和联合国家压缩信息的目的。代表联合状态向量的个数,其价值与关节的旋转自由度。代表部门联合的子空间的数量。函数的方法来确定状态夹角在相应的维度。代表了th方向向量 。函数被定义为

代表之间的角度和 。 , , ,和是子空间旋转关节空间的边界值。在图3, , , ,和 。

3.3。姿态序列和姿态变化序列

人类姿态序列是一个时间序列组成的姿势。姿势的框架可以表示为 。姿态序列表示为 。

姿势改变基础的代码通过改变球坐标相邻moments-increasing之间相应的关节,减少,unchanged-similar姿势基础的编码方法。其代码计算夹角变化的每个维度的价值。编码公式表示如下:

代表了姿态变化的基础th之间的联合th和 - - - - - -框架。是特征函数。加权求和,3表明,关节的角度变化在三个坐标轴方向需要考虑。是改变球坐标编码功能。它被定义为

和是th维的角度和 ,分别。姿态变化的th和 - - - - - -框架可以表示为 。姿态变化序列可以表示为 。

3.4。姿势语义基础

的姿势语义基础框架在人体运动数据代表了当前体态的基本特征。姿势语义基础对应不同的姿势可能是相同的,但它可能代表不同的语义信息的行为。在运动姿态的集合的语义基地活动的特征表示。这个集合的一个子集的姿势的语义基础 。

姿势的语义基础认为人类运动的动态和静态特性。这是一个 - - - - - -维整数向量 ,在哪里 - - - - - -维度数据 描述的状态运动人体的关节和代表的状态选择人体关节坐标系。这个方法将联合旋转空间划分为两个子空间,相应的关节的旋转角度。以肩关节为例,该方法将肩关节的旋转空间划分为上部和较低的子空间,在水平面用作接口。子空间确定共同的状态;此外, - - - - - -维度数据 描述人体的运动,反映了人类运动的方向之间的角度和方向的当前帧的人脸。例如,当 , ,和 , 代表6州的肩膀,臀部,根关节,关节和腹部;代表了人体的运动在水平和垂直方向。姿势的语义基础组的大小姿势的定义有关的语义基础,是哪一个 。

姿势的语义基础是作为一个隐藏的状态节点HCRF模型。但HCRF模型中,隐藏状态序列是不确定的。在我们的方法中,我们设计了姿态语义序列作为一个隐藏的某些输入状态层优化模型。

4所示。增量行动基于sHCRF模型的分类方法

提出了一种新的动作分类模型基于人类行为特性上面所描述的那样,即共享隐条件随机场模型。基于HCRF模型改进,介绍了一种用shared-classification层结构。解决数据存储的问题,在学习过程中,本研究使用批处理增量学习。

4.1。Shared-Classification层结构

sHCRF模型引入了shared-classification层结构,两层。一个是共享层,用于提取运动语义信息的功能。另一个是分类层,它使用信息从共享层对样本进行分类。模型参数的结构可以减少冗余,以及维持高分类精度。

共享层由两部分组成,一个是用于处理姿态序列,它是一个参数矩阵的大小 。另一种是用于处理姿态变化序列,它是一个 参数矩阵。前者是构建基于姿势的语义基础 ,而后者构造基于姿势的语义基础过渡 。两部分的人类行为的时空信息功能。图4显示了共享层的姿势。如图4的姿势,在共享层sHCRF模型中,每一列向量代表一个姿势的语义基础。有姿势语义基础结构。每个行动都有其姿势语义基础设置,这是一个子集的姿势的语义基础 。

共享层的输出是输入分类层。每个类别对应一个分类层。两个参数矩阵的列的数量分类层和 ,分别的两个参数矩阵的行数是数据的类别数。分类层使用这些数据来计算样本属于每个类别的概率。最后,最高的类别概率作为样本的标签。

sHCRF模型的推理过程,它使用shared-classification结构,如下。当执行人类行为分类任务,首先获得语义信息模型的姿态和姿势的变化人类运动数据。然后将这些信息到特定的人体运动,再次分析了运动的时空关系。最后,它获得的输入样本的概率属于当前的运动类别。

4.2。sHCRF模型介绍

sHCRF模型进一步优化经典HCRF模型通过引入shared-classification层结构。这种结构大大降低模型的计算复杂度,提高它的速度运动的建模和分类精度。经典HCRF模型获得的分类概率给定输入合适的条件概率 ,在哪里与输入序列数据长度吗 , 样品标签,模型的参数。模型假定隐藏状态序列的示例,它可以被理解为姿势sHCRF模型中语义序列,是不确定的,所有隐藏的状态安排被认为是在计算。计算的复杂性 , 是运动类的数量,是隐藏状态的维数,输入序列的长度。条件概率公式计算模型如下:

是人类的姿态序列。是模型的势函数,它的定义是

模型的特征函数,两个和是一维整数。相对应的功能是隐藏的状态吗 。 相对应的功能吗th状态转换 。 是一个多维向量,即功能的姿势吗th框架 。 分为 根据相应的特征。代表之间的相关程度,观察节点和隐藏状态节点,这是一个多维向量。是当前隐藏状态,它的长度是一样的长度,目前人类的姿势。对应的重量隐藏状态在一个特定的类别,然后呢相应的状态转换的重量在一个类别。模型结构如图5。

在人类行为的分类,根据输入的某些人类行为特性,姿势的语义序列的输入也确定。方程(8)和(9)可以简化方程(10)和(11),分别。计算复杂度有所降低 。 这两个和是多维向量。图6显示了mHCRF模型的结构。模型有一定的隐藏状态序列作为输入,和还有一个姿势变化序列。

改进的势函数没有考虑人体姿态序列或姿态变化序列。这两个特征序列携带丰富的姿态信息的隐藏状态序列。缺乏这些信息降低了模型的有效性。因此,本文提出了一个sHCRF,共享的参数利用卷积网络的“共享机制”,这不仅有效地减少了模型参数的数量,也提取相应信息的人类行为序列在一个隐藏的状态(或状态转换)。模型考虑了一系列人类活动而引入共享参数和确定隐藏状态序列。方程(10)和(11)改进如下:

是人类姿态序列,被定义为

是一种人类的姿势吗th坐标系,是一个姿势的改变之间的th和 - - - - - -框架。和从共享层共享参数,其功能是提取语义信息的输入特性和压缩它的大小。的长度和是一样的和 ,分别。和从分类层分类参数,作为权重确定的姿态和姿态变化的类别。两个参数的维数都是1。图7显示了sHCRF模型的结构。有三种类型的输入模型,语义序列的姿势,姿态序列,序列和姿态变化。姿态的功能语义序列中提取信息的姿态序列和姿态变化序列根据一些语义。的概率模型计算提取的信息属于一个特定的类别。

4.3。增量分类基于知识的行动蒸馏

适应的不断输入新的类别的样本,本文使用基于sHCRF模型的增量学习方法保留旧的知识,获取新的知识。一般来说,最好是再培训模型结合数据与新老数据,但需要额外的存储空间的数据。模拟人类大脑的学习和记忆机制,sHCRF模型只使用新数据进行训练。防止旧知识的遗忘没有旧数据通过添加基于分类损失蒸馏损失。让分类损失函数。让蒸馏损失函数。让总损失函数,自定义hyperparameter。一般来说,让是1。他们定义如下:

是标签的新数据,它使用一个炎热的编码(27]。硬标签,它给样品的准确分类。 , ,和每个标签的向量的概率。前两个是计算结果,预测新模型的新数据。最后是旧模式的预测新数据,这是一种软标签。是常规的参数。适应蒸馏损失,我们进一步改进条件概率函数 sHCRF模型:

新添加的温度系数可以控制的平滑输出的概率分布。 , ,和定义如下:

和方程所示(18)和(20.),温度系数 , 。 方程所示(19),温度系数 。 是标签的旧数据,是标签的新的数据集。

知识蒸馏sHCRF模型的算法不需要旧的数据参与培训,和模型可以保留旧的知识而合适的新数据。新模型添加新分类参数基于旧的模型。在训练之前,旧的模型被用来预测新的人类运动数据获得的软标签旧知识。温度系数的预测函数 ,那么软标签作为一种“伪标签。“新数据和正确的标签作为损失函数的输入。在培训过程中,新模型使用温度系数的预测功能 和 预测新数据。前的预测结果和“伪标签“叉获得模型的蒸馏损失,而后者的预测结果与正确的标签。叉得到分类模型的损失,和两个正则参数构成模型的全部损失。

5。实验

5.1。人体运动数据的介绍

我们人体运动捕获数据通过17-sensor动作捕捉设备由我们的工作组和重建骨骼数据捕获的信息,如图8。人类骨骼由17个关节。所有数据样本以T-Posture为最初的姿势,在T-Posture表明人体直立,手臂平举行。表2显示了数据集Data0,其中包含所有的运动数据用于实验,包括走路,跑步,足球,篮球,跳,跳,舞蹈,瑜伽,坐,挑选,秋千,干净,燕范,俯卧撑。数据集有14个运动类别。帧的数量是1056405,样品的总数是984。

表中列出的数据集3数据集的子集Data0在表2。每个子集被称为DataX分为新旧部分,代表旧的数据DataX_Old和新数据DataX_New。当表中的数据集3显示它们包含的类,类名由数字标签,表示对应的类数Data0。在Data1,旧的部分包含类的走,跑,跳。新部分包含类的足球,篮球,跳舞,和Swing。在Data2,旧的部分包含类的足球、篮球、舞蹈和摇摆。新部分包含类的走、跑、跳。Data1和Data2有相同的数据类别,然后呢Data2新旧交换数据的基础上Data1。在Data3,旧的部分包含类的走,跑,跳。新部分包含类的秋千,燕范,俯卧撑。新旧数据重叠的程度DataX通过比较提出语义集的相似性定义的操作类DataX_Old和DataX_New。受到两个因素的影响:一是姿势的语义基础集的交集的比例在新老数据在旧的数据,第二个是姿势的交集的比例的语义基础集新老数据的关键姿势旧数据的语义基础。重叠程度高Data1显示,超过90%的姿势语义基地在旧的数据出现在新数据。重叠程度高Data2表明姿态语义集的交集的新老数据的同时,大多数的关键姿势语义基地在旧的数据。的重叠程度Data3比前两个数据集,表明超过一半的姿势语义基地吗DataX_Old是独一无二的旧数据。

5.2。实验

我们设计了三个实验。第一个探索sHCRF模型的性能,包括模型的训练效率和模型的分类精度。第二次探索sHCRF模型的记忆能力。最后探讨了sHCRF模型的能量消耗。在每个实验中,我们选择了四分之三的每种类型的运动样本作为训练样本。

sHCRF模型的性能的实验:实验mHCRF HCRF模型和使用模型作为基准来验证sHCRF模型分类的表现和培训。HCRF模型只是姿势的输入序列,而mHCRF模型和sHCRF模型有两种类型的输入。一个是包括三种类型的特点:姿态序列,姿势变化序列,以及语义序列的姿势。另一个缺少基于上一个姿势变化序列。

sHCRF的实验模型的记忆能力:这个实验有三个步骤。在第一步中,我们比较了模型的分类精度与蒸馏损失使用不同的温度 。在第二步中,我们比较模型的分类精度和没有蒸馏损失。实验是在不同的数据集进行重叠度。我们首先让模型适应旧的数据。然后,我们初始化新的分类层参数对应新类别根据模型安装在旧的数据。我们使用模型来适应新的数据有或没有蒸馏损失,分别。最后,我们利用更新的两个新模型在测试集包含所有测试数据,分别。在第三步中,我们比较了总分类精度有或没有蒸馏sHCRF模型的增量学习。

sHCRF模型的能量消耗的实验:实验mHCRF HCRF模型和使用模型作为基准显示sHCRF模型可以减少能源消耗。结果的形式提出了能源消费的比例。

表4经验显示了超参数的设置。表中的第一列代表hyperparameters所在的地方。

6。结果与讨论

6.1。sHCRF模型的性能

实验来验证模型的性能测试模型的分类精度。然后,我们测试了多级模型的训练效率的行动分类任务,和模型的参数的数量。在实验中,训练效率由单一迭代时间,已经正常化。类别的数据集的数量范围从表3 - 142。当类别的数量增加,也增加了输入样本。多个实验每个任务通过使用随机数据的类别Data0数据集。由于模型的参数优化可能实现局部优化训练期间,多个实验需要获得最佳结果。与基线比较实验:HCRF模型和mHCRF模型,每个模型的分类精度和单一迭代时间和比较不同的多类任务。其中,mHCRF模型被划分为两种类型根据其输入是否包括姿态变化序列,即mHCRF(1)和mHCRF (2)。mHCRF(1)表明,输入mHCRF模型不包括姿态变化的序列,而输入mHCRF(2)模型包括姿态变化序列。此外,姿势mHCRF模型中语义序列作为输入,但在原来的方法,嗯是输入的注释。sHCRF模型被划分为两种类型根据其输入是否包括姿态变化序列,即sHCRF(1)和sHCRF (2)。sHCRF(1)表明,输入sHCRF模型不包括姿态变化的序列,而输入sHCRF(2)模型包括姿态变化序列。

图9显示了在多级模型的分类精度行动分类任务,和图10显示了在多级单迭代时间行动分类任务。当只考虑输入特性的影响,如结果所示sHCRF (2), sHCRF (1) mHCRF (2), mHCRF(1),和HCRF数字9和10sHCRF的结构(2)模型是一样的mHCRF(2)模型。sHCRF和mHCRF模型的分类精度高于HCRF模型,sHCRF和mHCRF模型的准确性超过90%,,HCRF精度约为80%。mHCRF(2)模型的分类精度高于mHCRF(1),和mHCRF的准确性(2)超过95%。sHCRF(2)模型的分类精度高于sHCRF(1),和sHCRF的准确性(2)超过95%。单一的迭代时间sHCRF(1)是最短的,其次是mHCRF (1)。HCRF把最单一的迭代时间。当只考虑模型的结构的影响,比较的结果sHCRF(2)和mHCRF(2)数据9和10。sHCRF的准确性(2)模型高于mHCRF(2)模型。的准确性mHCRF略低(2)模型。单一sHCRF的迭代时间短(2)模型比mHCRF(2)模型。一般来说,改善输入特性在很大程度上造成了分类精度,并提高模型的结构可以加速一次迭代时间。

如图9类别数量的增加,分类精度sHCRF(2)模型仍维持在95%以上。的分类精度mHCRF(2)模型类似于sHCRF(2)模型。的准确性mHCRF略低(2)模型。的准确性mHCRF(1)模型是低于前两个模型。然而,最低精度仍然是90%。的准确性mHCRF(1)模型略低于sHCRF(1)模型。HCRF模型的分类精度保持在80%以上。但随着类别数量的增加,分类准确率逐渐减少。模型保持了较高的分类精度。

如图10,单一的迭代时间sHCRF (2), sHCRF (1) mHCRF(1),和mHCRF(2)模型稳步增长的数量的增加类别。单一sHCRF的迭代时间短(2)模型比mHCRF(2)模型,和单一sHCRF的迭代时间短(1)模型比mHCRF(1)模型。不同于三种模式,单一HCRF模型的迭代时间迅速增加。HCRF模型把更多时间花在数据集比显示有超过五类。

如图11有结果的参数的数量sHCRF(2)和mHCRF(2)模型。sHCRF(2)模型参数的最小数量,其次是mHCRF(2)模型。当类别的数量增加,mHCRF参数的数量迅速增加,(2)模型及其参数的数量超过sHCRF(2)模型。

基于前两个性能指标的结果从综合实验,获得sHCRF模型和其他无向概率图模型的对比实验显示性能优良运动分类任务。它具有良好的优势在分类精度和训练速度。

6.2。在增量学习的场景中sHCRF模型的性能

sHCRF模型的性能的实验在增量学习的场景中,这项研究首次测试模型的分类精度与蒸馏损失使用不同的温度 。结果如图12。在图12,当时的价值不大于5,旧数据分类精度略有波动在80%左右。新的数据分类精度约为90%,而总精度约为85%。时的值逐渐从5增加,旧的数据分类精度明显开始下降。这同样适用于其他的结果,新的数据分类精度的下降率是相对温和的。当使用蒸馏损失的价值会影响模型的分类精度。旧知识的记忆能力下降时的价值超过某个阈值。阈值模型的大小有关。

我们也验证了模型的分类精度有或没有蒸馏损失项,分别。有三个数据集的验证实验,Data1,Data2,Data3。旧数据的分类精度是用作实验结果图13。在实验Data1和Data2,结果分别为6.9%和5.8%,分别。保留旧知识的能力几乎是不存在的。但是,影响Data3不是。在Data3旧数据的模型的分类精度为33.4%,显示一个特定的保留旧知识的能力,由sHCRF模型的结构。当的重叠Data3低,拟合的新数据对旧知识的影响很小,这意味着旧知识相关的参数并没有改变多少。所以,旧的知识结构模型的不完全摧毁,和模型有一个特定的记忆能力。

添加蒸馏损失项之后,模型的记忆能力进一步提高。进行这个实验Data1,Data2,Data3。对比模型的分类精度Data1,Data2,Data3有和没有蒸馏损失,如图13。在图13模型的分类精度的旧数据Data1已经从6.9%上升到86.7%。旧的数据分类精度Data2已经从5.8%上升到78.8%。旧的数据分类精度Data3已经从33.4%上升到72.9%。在这两个Data1和Data2,旧知识的保持率的模型已经大大提高,有效地抑制了旧知识的遗忘的模型。保留的旧的知识模型已得到改进Data3。新的数据分类精度Data1从98.9%到94.3%。新的数据分类精度Data2从98.5%到90.1%。新的数据分类精度Data3从96.0%到88.0%。精度仍然保持很高。认知模型也有类似的性能的新老数据的准确性,因为平衡模型的分类和蒸馏损失损失。重叠度高时,蒸馏损失扮演更重要的角色在维护旧的知识。

在表5总数的,比较新旧数据的准确性,没有蒸馏。在Data1总精度从52.8%上升到90.5%,通过添加蒸馏损失。在Data2,总准确率是52.2%没有蒸馏,它改善了通过添加蒸馏损失84.5%。在Data3总精度从64.7%上升到80.5%,通过添加蒸馏损失。

我们比较的总分类精度和没有蒸馏sHCRF在增量学习模型。结果如图所示14。我们首先建立了原始模型,三个类别进行分类。类别增量时,模型的分类精度没有蒸馏迅速降至约50%。分类精度约为50%,此后类别增加。模型的分类精度与蒸馏也拒绝。模型的分类精度和类别增加了70%以上。

6.3。能源消费分析

我们结合的训练效率和参数估计量的比值sHCRF模型的能耗的基准模型。能源消费包括计算能量和存储能量(28]。计算能量估计的计算复杂度模型,和存储能量估计模型的参数的数量。实验包括两个对比实验,比较sHCRF模型和mHCRF模型,和sHCRF模型的比较和HCRF模型。在实验中,我们与不同数量的测试数据集操作类别。结果如图所示15。

如图15,“S / M”代表的比较sHCRF模型和mHCRF模型,它代表了一个比率。sHCRF模型的比较和mHCRF模型,当类别的数量增加,存储能量的比例下降,和sHCRF模型存储能量消耗低于mHCRF模型。计算能量的比例小于1。这意味着sHCRF计算消耗更少的能量。“S / H”代表的比较sHCRF模型和HCRF模型,它代表了一个比率。sHCRF模型的比较和HCRF模型,sHCRF模型存储能量消耗低于HCRF模型。当类别的数量增加,计算能量的比例下降,几乎降至0。

基于能源消费的结果,当类别的数量增加,单个迭代时间和sHCRF模型的参数的数量低于mHCRF模型和HCRF模型。它可以估计的计算能量和存储能量sHCRF模型并不比mHCRF模型和HCRF模型。结合计算能量和存储能量,它可以被视为sHCRF模式消耗更少的能量。基于sHCRF模型实现的应用系统可以节省计算和存储能量模型的训练。具体的能源消耗的能源消耗也取决于芯片,以及相关的硬件。应用程序的能耗测量系统将是未来的工作。

7所示。结论

在本文中,我们提出了一个轻量级的行动为绿色物联网运动应用分类方法。我们设计了运动特征可以描述运动的空间和时间信息数据。我们提出了一个人类行为分类模型,即sHCRF,可以应用到增量学习场景。模型达到节能的目的,减少计算开销和所需的样本数据进行训练。一般分类任务,模型的分类精度超过95%。在增量学习的情况下,本文验证它可以保留旧的知识。在类别增加的情况下,保持率约为70%。模型的学习能力平衡新老知识。这可以有效地控制模型能力的增长速度。

本文中使用的知识蒸馏方法取决于训练数据的相似性。如果操作的distinctives显而易见,传统知识的影响蒸馏算法并不重要。进一步的工作将提高模型的保存的旧知识增量学习场景。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究得到了国家自然科学基金(国家自然科学基金委,62177005)和中国国家重点研发项目由科学技术部(yfc2007200 2020号和2020号yff0305200)。