人类活动识别使用高斯混合隐条件随机域

文摘

在医疗保健中,分析病人的活动的重要因素之一,提供足够的信息来提供更好的服务来管理他们的疾病。大部分的人类活动识别(HAR)系统是完全依赖于识别模块/阶段。识别阶段背后的灵感是缺乏学习方法增强。在这项研究中,我们提出了使用隐藏条件随机域(HCRFs)人类活动识别问题。此外,我们认为,现有HCRF模型由独立的假设是不够的,这可能会降低分类精度。因此,我们利用新算法放宽假设,允许我们的模型使用full-covariance分布。也,在这项工作中,我们证明了非常明智的我们的方法具有较低的计算复杂性与现有的方法。在实验中,我们使用四个公开的标准数据集显示性能。我们利用一个10倍交叉验证方案培训,评估,并比较该模型条件学习方法,隐马尔科夫模型(HMM)和现有HCRF模型只能使用diagonal-covariance高斯分布。从实验中,很明显,该模型显示出实质性的改进关于分类精度值≤0.2。

1。介绍

在现实环境中,有一些有趣的应用程序的分析人类活动中起着重要作用。一些应用程序包括人类/对象检测与识别基于视觉对象分析和处理等领域跟踪和检测(1,2),计算机工程(3),物理科学(4),与健康有关的问题,自然科学,和工业学术领域(5]。大多数的作者(6- - - - - -11)认识到人类活动在室内环境中基于不同的方法。然而,在各自的系统中,他们用稳定的环境像固定相机设置和prelighting设置,而且大部分的活动都是由老师提供的指令执行的。同样地,作者的10,12- - - - - -14)提出了不同的方法来识别人类日常活动的户外环境。然而,在大多数使用数据集,他们使用静态背景和这是一个常见的缺陷在他们的系统。同样,不同的传感器是利用作者的15- - - - - -17)为了室内和室外人类活动进行分类。

此外,在远程医疗和医疗、人类活动识别(HAR)可以解释为帮助残疾人身体上的场景。瘫痪病人的一半身体极度被中风是完全不能行走和恢复他的一个方法是通过日常练习。通常,每日练习(活动)是由医生推荐的中风患者获得更好的改善他们的健康。人类活动识别(HAR)系统可以正确地训练和识别的活动执行的中风患者,通过医生很容易可以监控规模改善病人的健康。

在典型的HAR系统有四个模块:预处理(分割),特征提取,特征选择和识别,如图1。大多数现有的作品(18- - - - - -23集中在特征提取和选择;然而,非常有限的作品已经完成了识别模块。一些研究利用传统技术(24- - - - - -28]。其中,嗯是最好的候选人活动识别;然而,嗯是自然生成,不如其精确匹配的部分像HCRF模型29日]。

识别阶段背后的灵感是缺乏学习方法增强。因此,我们做出了如下贡献:(我)由独立假设现有HCRF模型是不够的,这可能会降低分类精度。因此,本研究的首要目标是提出一种识别模型,提出了一种新的算法放宽假设,让我们为了使用完整的协方差分布模型。(2)工作的另一个目的是证明非常明智的我们的方法具有较低的计算复杂性与现有的方法。在这种方法中,我们的目标是找到一些参数条件概率最大化的训练数据训练阶段。因此,在我们的工作中,我们利用内存有限Broyden-Fletcher-Goldfarb-Shanno (L-BFGS)方法来搜索最优点。然而,而不是重复向前和向后算法来计算梯度其他人一样(30.),我们只运行向前和向后算法在计算条件概率,然后我们重用结果来计算梯度。结果,计算时间大大减少。(3)一组全面的实验产生了加权平均分类率97%,是更好的改善性能最先进的方法。

剩下的纸是组织如下:部分2提出了相关的工作与他们的局限性。部分3提供了该识别模型的优势。部分4描述了该模型的实验装置对四个数据集。设置的基础上,提出了一系列的实验5。最后,部分6描述了结论与未来的发展方向。

2。相关的工作

在一个典型的HAR系统,不同类型的最新分割方法被用于预处理模块为了提取人体的活动框架。这个过程有助于改善活动识别系统的性能。因此,在文献中,作者的31日- - - - - -36)利用最新的方法来段视频帧的人体。同样,为特征提取,不同的最新方法曾帮助准确分类的分类器人类活动(如工作流如图1)[37- - - - - -42]。他们表现出更好的性能在不同的数据集,其中大部分是实现平均精度在90%到70之间。

关于识别,研究人员提出了不同的系统,利用各种分类器,如高斯混合模型(GMM) [43,44),人工神经网络(ANN) [45,46),而支持向量机(svm) [47- - - - - -50]。这些分类器主要用于框架分类。相反,在许多HAR系统(37,51,52),著名的隐马尔科夫模型(HMM)已广泛用于序列分类。在框架水准仪特性的情况下,摘要是受益在基于矢量的像SVM分类器,GMM,安有效地处理连续数据。然而,马尔可夫链的属性隐含在传统嗯假定当前状态是过去状态的函数。这将导致两个相邻国家的标签在观测序列假设连续出现。但在实际实现中,这种假设往往不符合的满意度。此外,嗯的生成特点和独立假设观察和国家之间也限制其性能(29日]。摆脱这些限制,最大熵马尔可夫模型(MEMM)已经提出了相对执行比嗯(53]。然而,MEMM与众所周知的缺点被称作“标签偏差问题”。

两个广义MEMM称为条件随机域模型(crf) [29日]和HCRF [54是修复的缺点”标签偏差问题“(29日]。学习的隐藏的结构顺序数据,HCRF促进CRF与隐状态的有效性。然而,在这两个模型,每个州正常化被替换为全球标准化,允许加权分数进而导致较大的参数空间相比嗯和MEMM。

例如,哈尔的控实现系统的观察从视频帧由特征向量表示U,合成标签V,标签和未知的状态K。

假设图像标签的问题是由原来的标签K与图像特征U和参数的模型 ,然后后来的概率( )最大化的CRF给出 归一化因子在哪里吗

HCRF实现中的一些问题进行了综述和分析在下面描述。后来CRF的概率(1已经更新的 在HCRF模型的指数与所有预期的潜在功能的标签l像下面

上面的方程用于担保和条件概率的一个规则。是一系列可能的标签帧,然后呢 是一系列的隐状态 ,与方程(1)和(2)常量值从1到Q(状态)的数量,是矢量因素, 是一个特征向量,将产生一个决策参数将教育的模式。然后,总结了特征向量加法的现有HCRF模型。例如,下面的选择将创建一个马尔可夫克制HCRF与高斯分布在每一个状态: 其中每个预期的标记和每一个吗是一个预测向量。广场组件的观测向量在国家t(例如, )给药

可以看出,随着特定的参数 ,HCRF添加类似于隐马尔可夫模型,例如连同上述特征向量,如果我们选择 在哪里b在(6)是一个高斯嗯的早期传播和C在(7)是一个演化矩阵;然后分子可能被解释为有条件的可能性

在上面的方程中,N代表高斯分布。方程(11的条件概率U,鉴于V通过方程计算以及高斯嗯(11),之前有一个分布b用一个转换矩阵C。

此外,作者的30.)提出了一个综合形式的HCRF模型解决复合散射利用高斯分布函数的线性组合,这是解释为

在方程(12),米表明在高斯混合组件的数量。

开发了很多作品显示出更好的性能的基础上,使用上述HCRF [55,56];然而,他们中的大多数没有考虑模型的局限性。从上述方程很明显,现有模型采用对角线(斜)协方差高斯分布,这意味着变量(列 )被认为是夫妻独立。另一方面,方程(8)- (10)表明,一组特定的值,每个州观测密度将聚集高斯过程。不幸,没有训练方法设计还保证收敛,和这些假设可能降低精度的结果。

因此,我们提出的改进版本HCRF公开技术,有能力雇佣full-covariance高斯混合特性的函数。该模型将隐条件随机场模型的好处,完全考虑前面的方法的缺点。

3所示。提出的方法

3.1。特征提取

在我们的以前的工作中,我们利用symlet小波(37从活动中提取各种特性的框架。有许多原因使用symlet小波产生相对更好的分类结果。这些包括其能力从活动帧提取显著信息的频率和支持灰度图像的特点,如正交性,双正交和反向双正交。一定提供大小,symlet数量最高的特征是消失的时刻,至少不对称。

3.2。提出了隐藏条件随机域(HCRFs)模型

如前所述,当前高斯混合HCRF模型没有利用full-covariance分布的能力,也不能保证其因素的结合某些值的条件概率是正常密度函数的证明是一个组合。

为了解决这些局限性,我们明确地包括一个混合高斯分布的特性功能如以下形式: 然后, 在哪里N代表的数量密度函数,伽马”“考虑整个观测的适当的信息,D表示观测的维数,介绍了聚会的重要性一起组成的意思是和协方差矩阵 。

在方程(14),当我们改变一些参数等 ,μ, ,然后我们可以建立一个组合的标准密度。合成条件概率可能写成 因此,

向前和向后算法用于计算条件概率基于方程(19)和(20.),可以写成

在训练数据,条件概率最大化,我们最初专注于计算参数( )。在拟议的方法中,内存有限Broyden-Fletcher-Goldfarb-Shanno (L-BGFS)方法实现为了搜索最优点。可能其他模型(30.),向前和向后算法用于计算条件概率和结果的重用梯度。这使得该算法在减少计算时间更重要。

在观察层面,我们特别将full-covariance矩阵的特征函数所示(16)。方程(17)可以用于正态分布,进一步阐述了以下方程:

的函数是一个梯度函数变量的先验概率向量:

的函数是一个梯度函数的变量转移概率向量:

的函数是一个梯度函数为高斯混合重量变量。在这里,一个函数可以确定为

的函数是一个梯度函数为高斯分布的意思是:

的函数是一个梯度函数协方差的高斯分布。

方程(24)- (27)上述描述分析方法算法计算值的梯度特性函数,高斯分布的均值,协方差的先验概率向量,转移概率向量和观测概率向量从现有HCRF获得。

在我们的模型中,各种各样的实时活动的识别可以分为两个步骤:一个训练步骤和一个推理的步骤。在第一步中,输入数据与已知的标签识别目标以及培训隐藏条件字段模型。实际上在推理步骤,输入命令依赖参数估计在训练阶段决定的。

如果活动框架作为一个输入的训练步骤,然后,在预处理步骤,应用独特的灯光效果是减少帧检测和提取人脸的活动。在这一点上,脸部不同部位的动特性中创建特征向量。之后,获得的特征向量作为输入full-covariance高斯混合隐条件随机场模型的建议识别模型。

正如前面提到的讨论,一个功能梯度通常是由LBFG HCRF模型的方法在训练阶段。尽管如此,在当前的梯度计算技术,一个向前和向后迭代执行迭代算法要求,这需要一个异常高的计算时间,从而导致减少了算法的计算速度。另一种分析方法已经制定,减少了调用向前和向后的迭代执行算法使用五个梯度函数由方程(24)- (28)。使用这种分析,可以进行实时计算速度更高导致一个巨大的减少计算时间相对于一个已知的分析方法。该模型的总体工作流程如图2。

4所示。模型验证

4.1。使用数据集

在这项工作中,我们采用四个开源标准动作数据集像魏茨曼行动数据集57),k行动数据集(58佛罗里达大学体育数据集[],59],IXMAS行动数据集(60确凿的提议HCRF模型性能。所有的数据集都是下面的解释。

以下4.4.1。魏茨曼行动数据集

这个数据集包括10行动如弯曲、跑步、散步、跳绳、跳,一边运动,跳向前,两个手挥舞着,一只手挥舞着,由总9主题。90年这个数据集组成的视频剪辑,平均15帧/剪辑帧大小是144×180。

4.1.2。k行动数据集

k数据集用于活动识别由25名受试者进行6活动比如跑步、散步、拳击、慢跑、拍手,手中挥舞着四个独特的场景。使用静态摄像头,在均匀背景,总共2391序列帧大小为160×120。

4.1.3。佛罗里达大学体育数据集

在这个数据集,有182个视频评价n倍交叉验证规则。这个数据集已经被从不同的体育活动在广播电视频道。有很高的同类相似的一些视频。这个数据集也收集使用静态照相机。这个数据集包括9活动,比如跑步,跳水,举重,高尔夫球摆动,滑冰,踢,散步,骑马,和棒球摆动。每个框架都有一个大小为720×480。

4.1.4。IXMAS行动数据集

IXMAS (INRIA圣诞运动采集序列)数据集组成的13类活动是由11个演员,每个3次。每个演员选择自由取向以及位置。每个人的数据集提供了带注释的剪影。对于我们的实验中,我们选择了只有8 action类像走路,交叉手臂,打孔,转过身,坐下来,波,起床,踢。IXMAS数据集是view-invariant人类活动识别的多视图数据集,每个框架都有一个大小为390×291。这个数据集有一个很大的阻塞,可能导致误分类;因此,我们利用全局直方图均衡化(61年为了解决遮挡问题。

4.2。设置

一个全面的验证,我们进行了以下的实验使用Matlab执行。(我)第一个实验是在每个数据集分别进行为了显示该模型的性能。在这个实验中,我们使用10倍交叉验证规则,这意味着9受试者的数据用于训练数据,当数据从一个话题选为测试数据。提供的10倍的过程是重申每个主题数据用于训练和测试。(2)第二个实验是在缺席的情况下进行该识别模型在所有四个数据集将显示开发模型的重要性。为了这个目的,我们使用了现有著名像SVM分类器,安,嗯,和现有HCRF [30.)作为识别模型而不是利用提出HCRF模型。(3)第三个实验显示该方法的性能进行的最先进的方法。(iv)在过去的实验中,该HCRF模型的计算复杂度与向前/向后算法。

5。结果与讨论

5.1。第一个实验

如之前所述,这个实验验证提出了识别模型的性能在一个单独的数据集。总体结果如表所示1(使用魏茨曼数据集),2(使用k数据集),3佛罗里达大学体育(使用数据集),4(使用IXMAS),分别。

观察从表1- - - - - -4,该识别模型不断得到更高的识别率单个数据集。这个结果显示了该模型的鲁棒性这意味着模型不仅表现出更好的性能在一个数据集,跨多个自发的数据也显示出更好的性能。

5.2。第二个实验

如之前所述,第二个实验是在缺席的情况下进行该识别模型,证明该模型的重要性使用所有四个数据集。为了这个目的,我们使用了现有著名像SVM分类器,安,嗯,和现有HCRF [30.)作为识别模型而不是利用提出HCRF模型。

表5- - - - - -8表明,当该HCRF模型代替了安,支持向量机,嗯,和现有HCRF [30.),系统未能实现更高的识别率。的更好的性能提出HCRF模型可视化表1- - - - - -4,这表明,该HCRF模型有效地解决现有HCRF嗯的缺点,已广泛用于顺序HAR。

5.3。第三个实验

在这个实验中,比较分析了先进的方法和模型。所有这些方法都是由指令实现提供特定的文章。10倍交叉验证规则每个数据集上采用部分将对此进行说明4。的平均分类结果现有方法以及该方法在不同的数据集表进行了总结9。

很明显从表9,该方法表现出显著的性能对现有最先进的方法。因此,该方法准确、使用不同的视频数据强劲认识到人类活动。

5.4。第四次实验

在这个实验中,我们提出了计算复杂度也是本文的贡献之一。前面的HCRF可用的实现文学,计算梯度的重申向前和向后技术,在提出HCRF模型执行时一次只有和兑现结果以后使用。从(21)和(22向前或向后),很明显,技术的复杂性 ,在哪里T代表输入序列长度,问代表国家的数量,米表示数量的混合物。提出HCRF模型,然而,需要一个完整的复杂性计算梯度(可以看出22)- (29日)。

图3显示一个比较的梯度计算执行时间向前(向后)算法和我们建议的方法。计算时间是通过运行Matlab计算R2013a规范的Intel®Pentium®™核心i7 - 6700 (3.4 GHz)和16 GB的RAM容量。

6。结论

在医疗和远程医疗,人类活动识别(HAR)可以帮助身体禁用最好地解释了人的场景。瘫痪病人的一半身体极度攻击瘫痪是完全无法执行他们的日常练习。医生建议具体的活动来获得更好的改善他们的健康。为此,医生需要一个人类活动识别(HAR)系统,可以监控病人的日常工作(活动)定期。

大多数的HAR系统的准确性取决于识别模块。特征提取和选择模块,我们使用一些现有的知名的方法,而对于识别模块中,我们提出了使用HCRF模型能逼近复杂分布用高斯密度函数的混合物。该模型评估对四个公开的标准动作的数据集。从我们的实验中,很明显,该full-covariance高斯密度函数显示显著改善精度比现有的最先进的方法。此外,我们还证明,这种改进是重要从统计的角度通过显示值≤0.2的比较。同样,复杂性分析指出,该计算方法强烈减少隐条件随机场模型的执行时间。

本研究的最终目标是部署该模型在智能手机上。目前,该模型使用full-covariance矩阵;然而,这可能是耗时的,特别是在智能手机上使用。使用一个轻量级的分类器如再(事例)可能是一个可能的解决方案。但事例非常敏感,环境因素(如噪声)。因此,在未来,我们将努力进一步调查研究来减少时间和维持相同的识别率在真实环境中使用智能手机。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者声明没有利益冲突。

确认

本研究支持的Jouf大学Sakaka, Aljouf,沙特阿拉伯王国,在登记。39/791。