文摘
活跃和辅助生活的目的是开发工具来促进衰老的老年人,和人类活动识别算法可以帮助监测老年人在家庭环境。不同类型的传感器可以用来解决这个任务和RGBD传感器,尤其是用于游戏、成本效益和提供了关于环境的信息。这项工作的目的是提出一个活动识别算法利用骨架提取的数据RGBD传感器。系统是基于关键姿势构成一个特征向量的提取,和多类支持向量机进行分类。计算和协会的主要构成进行使用聚类算法,无需学习算法。该方法评估五公开数据集活动识别,显示出可喜的成果特别是申请AAL相关行为的识别。最后,当前的这个解决方案的适用性在光芒四射的场景和未来需要改进进行了讨论。
1。介绍
人衰老的一个主要问题在现代和发达的社会,积极和辅助生活(AAL)工具可以减少社会成本,帮助老年人年龄在家里。在过去的几年,一些工具提出了改善老年人的生活质量,从远程控制的健康状况的改善安全1]。
人类活动识别(HAR)是一个热门的研究课题,因为它可以使不同的应用程序,从最商业(游戏或人机交互)最辅助的。哈尔可以应用在这个领域,例如,检测危险事件或监控人独自生活。这个任务可以通过使用不同的传感器,主要由可穿戴传感器或应用设备(2),即使有越来越多的研究人员致力于同解决方案(3),或者那些保险丝从便携式外界传感器上获取的数据(4,5]。RGBD传感器的可用性在市场培育的发展有前途的方法来构建可靠和具有成本效益的解决方案(6]。使用深度传感器,像微软Kinect或其他类似的设备,可以设计活动识别系统利用深度地图,这是一个不错的信息来源,因为他们不受环境光的影响变化,可以提供身体的形状,和简化人体检测和分割的问题7]。此外,框架的可用性关节从深度帧中提取允许有一个人体的紧凑表示,可以用在许多应用程序(8]。哈尔可能有强烈的隐私相关影响,隐私是一个光芒四射的关键因素。RGBD比传统摄像机传感器更隐私保护:由于人类的简单计算轮廓,可以实现更高级别的隐私只使用骨骼能够代表一个人(9]。
在这项工作中,人类行为识别算法利用微软Kinect提供的框架,提出了在光芒四射的场景及其应用进行了探讨。该算法从骨架模型和计算姿态特征。然后,聚类算法选择的关键所在,这是最丰富的姿势,包含活动的特征是由一个向量。最后,多类支持向量机(SVM)是利用获得不同的活动。该算法已经测试五公开数据集,它优于从两个先进的结果,显示有趣的表演活动的评价相关光芒四射。
本文的组织结构如下:部分2评审相关工作在人类活动识别使用RGBD传感器;部分3描述了该算法,而实验结果部分所示4;部分5论述了该系统的适用性光芒四射的场景;最后一节6提供结论。
2。相关的工作
在过去的几年内,人类活动识别提出了许多解决方案,其中一些旨在从深度提取特征数据,如(10),主要的思想是时空的深度评估子卷描述符。一群超曲面法线(polynormal),包含几何和局部运动信息,提取深度序列。然后聚合polynormals构成的最后表示深度地图,超级法向量(SNV)。这也表示可以包括骨骼关节轨迹,提高识别结果当人们移动在一个深度序列帧。深度图像可以看到像子空间序列建模功能暂时躺在Grassmann歧管(11]。这表示,从表面法向量的方向在每一个点,描述人体的几何外形和动态不使用关节的位置。其他作品提出了整体描述符:HON4D描述符(12),这是基于4 d的取向正常的表面,和HOPC描述符(13),能够代表序列的3 d点的几何特征。
其他作品利用深度和骨骼数据;例如,3.5 d表示结合骨架关节与从深度图像提取的特征信息,在该地区周围的每个节点的兴趣(14]。提取的特征是使用一个扩展的独立子空间分析(ISA)算法将只应用于关节的局部区域而不是整个视频,从而提高培训效率。深度信息很容易提取人体轮廓,可以连接与规范化骨架特征,提高识别率(15]。深度和骨架特征可以组合在不同层次活动的识别算法。Althloothi et al。16)提出了一种方法,在这种方法中,数据融合在内核级别,而不是功能水平,使用多个内核学习(MKL)技术。另一方面,融合功能水平的时空特性和骨骼关节在执行17]。在这样一个工作,几个时空兴趣点探测器,如哈里斯3 d, ESURF [18],HOG3D [19),与骨骼关节融合使用回归森林功能组成的姿态,运动,和偏移量信息。
关节骨架提取深度与RGB数据帧也可以组合。罗等。20.)提出了一种人类行为识别框架的两两相对位置运动关节和Center-Symmetric当地三元从RGB模式(CS-Mltp)的特性在分类器融合功能层次和水平。时空兴趣点(煤断层)通常用于活动识别,数据由RGB帧。该方法也可以扩展到深度和骨骼数据,结合的特性和随机森林(21]。结果都很好,但深度估计噪声和背景可能影响兴趣点检测,所以煤断层深度特性必须限制使用骨架关节位置,或RGB视频。而不是使用时空特性,人类活动的另一个方法识别依赖于基于RGB数据的时序建模方法。这个概念可以扩展到深度信息,并基于耦合的方法隐藏条件随机域(cHCRF)模型,在视觉特征序列从RGB和深度数据,提出了(22]。这种方法的主要优势是能够保持个人的动态序列,即使从RGB互补信息共享和深度。
一些以前作品仅仅依靠Kinect骨架数据,如该算法。也许他们更简单的方法,但在许多情况下他们可以实现性能非常接近算法利用多通道数据,有时他们也比那些表现更好的解决方案。Devanne et al。23]提出代表人类活动的时空运动轨迹60-dimensional空间,因为他们认为20个关节,每个人用三坐标。一个弹性指标,这意味着一个度量不变的速度和时间的行动,在黎曼空间形状,是用来表示两个曲线之间的距离。最后,行动识别问题可以被看作是一个分类在黎曼空间中,使用最近邻(神经网络分类器。提出了其他框架表示。APJ3D表示(24)构成的一个子集开始15骨骼关节的相对位置和当地球角度计算。选择key-postures后,行动是分区使用了傅里叶颞金字塔(25)和随机森林分类是由。另一个叫做HOJ3D联合表示(26),3 d空间划分垃圾箱和关节与本使用高斯加权函数。然后,一个离散隐马尔可夫模型(HMM)用于模型的演化姿势,使用聚类算法实现。可以刻画一个人类行为也通过静态姿势的结合特性,代表实际的框架,连续运动特性,计算使用的实际和前一帧,和整体的动态特性,考虑实际的和初始帧(27]。Taha et al。28)也利用关节球坐标代表骨架和一个框架组成的多类支持向量机和离散HMM识别活动由许多行动。其他方法利用双机器学习算法分类的行为;例如,Gaglio et al。29日)考虑多类支持向量机来估计姿势和离散HMM模型的活动作为一个序列姿势。还在30.),人类活动是一系列的身体提出了随着时间的推移,和骨骼数据处理获得不变的姿势表示,由8双角。然后使用表示的识别是实现在不同空间,不同特征轨迹保持判别信息,有一个固定长度的表示。丁等。31日)提出了一种时空特征链(STFC)代表人类活动轨迹的共同立场。使用STFC模型之前,一个图表是用来消除周期性的序列,使解决方案更健壮的噪声和周期序列偏差。Slama et al。32)利用行动Grassmann流形的几何结构分析。事实上,考虑到问题作为一个序列匹配任务,这个廖允许考虑一个动作序列作为一个点的空间和提供了工具来进行统计分析。考虑到身体部位之间的相对几何是更有意义的比他们的绝对位置,旋转和翻译需要执行刚体变换可以表示成点在一个特殊的欧几里得,、组。每一个框架都可以表示为一个点在李群和人类行为可以建模为一条曲线在李群(33]。相同的骨架特性也是用于(34),廖函数PCA (mfPCA)是用来降低特征维数。一些作品开发技术来自动选择最有益的关节,旨在提高识别的准确性和减少噪声影响骨骼估计(35,36]。
工作提出了基于概念,一个操作可以被看作是一系列的姿势,这被称为“关键姿势。“这个想法已经介绍了37和用于其他后续建议15,36,38]。虽然在以前的作品,一组固定的关键姿势()提取数据集的每个行动,考虑所有的训练序列,在这个工作中,聚类算法选择最有益的姿势为每个执行序列,因此选择一个不同的组提出了构成特征向量。这个过程避免了学习算法的应用,找到最近的邻居每一帧序列构成的关键构成。
3所示。活动识别算法
活动识别的算法从骨骼关节和计算一个向量为每个活动的功能。然后,多级的机器学习算法,每个类代表一个不同的活动,是利用分类的目的。四个主要步骤构成了整个算法;他们在图表示1并讨论了以下:(1)姿态特征提取。骨骼关节的坐标是用来评估的特征向量代表人类的姿势。(2)姿势的选择。为每个活动选择最重要的姿势。(3)活动特性计算。一个特征向量代表整个创建活动和用于分类。(4)分类。使用多类支持向量机分类实现与“one-versus-one”的方法实现。
首先,需要从骨骼中提取特征数据表示算法的输入。联合提取算法(8)包含在Kinect库和已经可以使用了。选择要考虑Kinect骨架是出于这一事实很容易有一个人体的紧凑表示。从骨骼数据,许多特性能够代表人类的姿势,因此人类行为,提出了在文献中。在[6),作者发现许多功能可以从骨架计算关节。最简单的功能可以通过联合提取位置或从他们的距离,考虑空间信息。其他功能可能涉及关节取向或运动,考虑空间和时间数据。更复杂的功能可能是飞机最初估计的基础上考虑一些关节。然后通过测量这个平面和其他关节之间的距离,可以提炼出的特性。
该算法利用空间特征从三维骨架坐标计算,不包括在计算的时间信息,为了使系统独立运动的速度。介绍了特征提取方法(36),在这里采用小差异。对于每一个骨架,姿态特征向量计算。每一个联合表示,一个三维向量的坐标空间Kinect。人可以在任何地方找到Kinect的覆盖范围内,和的坐标相同的联合可能假设不同的值。有必要补偿这一效应,通过使用一个适当的特性计算算法。一个简单的解决方案是补偿框架的位置集中在一个骨架关节坐标空间。考虑骨架组成的关节,身体关节的坐标,颈部关节的坐标,th关节功能向量之间的距离吗和归一化之间的距离和: 这个功能是不变的骨架内的位置Kinect的覆盖范围;此外,不变性的特性来构建人通过标准化对颈部和躯干关节之间的距离。这些功能可能被视为一组距离向量的每个关节的关节连接躯干。一个姿势的特征向量为每个框架创建框架: 一组特征向量计算,由有一个活动帧。
第二阶段关注人类的姿势的选择,其目的是减少代表活动的复杂性和普遍性增加的只有一个子集的姿势,不使用所有的帧。一个聚类算法用于的过程特征向量构成的活动,通过分组成集群。著名的——聚类算法,基于平方欧氏距离度量,可用于帧集合代表类似的姿势。考虑一个活动组成的特征向量,则算法给出了输出集群ID(每个特征向量)和向量代表每个集群的重心。特征向量划分为若干个簇以满足表达的条件 的重心可以被视为主要的姿势,这是最重要的特征向量。与经典方法基于关键姿势,最有益的姿势是评估通过考虑所有序列的每个活动,建议的解决方案的执行聚类算法对每个序列。这避免了学习算法的应用程序需要将每一帧最关键的姿势,并允许活动的更紧凑的表示。
第三阶段与特征向量的计算模型的整个活动,从质心向量计算的聚类算法。在更多的细节,向量排序考虑集群元素的顺序发生在活动。活动连接组成的特征向量排序质心向量。例如,考虑一个活动特色和后,运行则算法,其中一个可能的输出可能是以下的集群id序列:,也就是说,前三个姿态向量属于集群2,第四和第五与集群3相关联,等等。在这种情况下,活动特征向量。一个活动特征向量的维度可以不使用降维处理算法,如主成分分析,如果很小。
分类步骤旨在把每个功能活动向量到正确的活动。许多机器学习算法可以应用于实现这个任务,其中一个支持向量机。考虑很多培训向量和一个向量的标签,在那里二进制文件,支持向量机可以制定如下(39]: 在哪里 是最优超平面,使特征空间中类之间的分离,是一个常数,然后呢非负变量考虑训练的错误。这个函数允许转换特性之间的空间和一个高维空间数据是可分的。考虑两个训练向量和可以被定义为,内核函数 在这工作的径向基函数(RBF)内核已经使用 由此可见,和是必须的参数估计使用支持向量机前。
文中利用的想法是使用多类支持向量机,每个数据集的类表示一个活动。为了扩展的角色从一个二进制多类分类器,在文献中提出了一些方法。在[40),作者许多方法相比,发现“one-against-one”是一种最适合实际应用。它是实现LIBSVM [41),该方法用于这项工作。“one-against-one”方法是基于建设几个二进制SVM分类器;详细一些二进制svm是必要的类数据集。这是因为每个支持向量机训练来区分两类,最后决定是采取利用投票策略在所有的二元分类器。在训练阶段,给出了活动特征向量作为输入到多类支持向量机,加上标签的行动。在测试阶段,活动从分类器获得标签。
4所示。实验结果
算法性能评估五个公开的数据集。为了执行一个客观的以前的作品相比,参考测试程序为每个数据集被认为是。使用四种不同性能指标评估关节的子集,如图2,从最低的最多关节。最后,为了评估性能在光芒四射的场景中,选择一些合适的活动与光芒四射的数据集,和识别精度评估。
(一)
(b)
(c)
(d)
4.1。数据集
五个不同的3 d数据集被认为是在这个工作,他们每个人包括一组不同的活动和手势。
对数据集(29日)是由活动可分为10个手势(横臂波,高臂波,双手波,高抛,画X,画勾,向前踢,侧踢,弯曲,手拍),八个动作(抓住帽子,扔纸,带伞,走,电话,喝,坐下来,站起来)。这个数据集被捕获在一个受控的环境中,也就是说,一个办公室和一个静态的背景,和Kinect设备放置在距离2 - 3米的主题。一些对象出现在该地区,有用的执行的一些操作:一张书桌和一个电话,一个衣服架,和一个垃圾箱。活动已由10个年轻人(9个男性和一个女性),年龄在20到30年,从150年到185厘米高。每个人重复三次,每个活动创造的540个序列。数据集由RGB的速度和深度帧捕获30 fps,用决议。此外,15个关节骨骼的世界和屏幕坐标。捕获的骨架已经使用OpenNI库(42]。
康奈尔大学的活动数据集(CAD-60) [43)是由不同的活动,典型的室内环境。这些活动冲洗口,刷牙,戴隐形眼镜,比起在电话里交谈,饮用水,打开药容器,cooking-chopping,cooking-stirring,在沙发上,在沙发上,写在白板上,工作在电脑和5个不同的环境中执行:浴室,卧室,厨房,客厅,办公室。所有的活动都是由4个不同的人:两个男人和两个女人,其中一个是左撇子。没有指示给演员如何执行活动,作者简单地确保了骨架被Kinect正确检测到。数据集由RGB,深度,与15个关节和骨骼数据,可用。
UTKinect数据集(26)是由10个不同的主题(9 1男性和女性)执行活动两次。以下活动的一部分数据集:走,坐下来,站起来,接,携带,扔,推,拉,波,拍手。许多199序列是可用的,因为一个序列不是标签,和样品的长度操作范围从5到120帧。数据集提供了RGB帧,深度帧,加上20骨骼关节,捕获使用Kinect为Windows SDK Beta版本,大约15 fps的最后一帧速率。
Florence3D数据集(44包括9个不同的活动:波,喝一瓶,接电话,鼓掌,紧张的花边,坐下来,站起来,阅读看,弓。这些活动是由10个不同的主题,2或3次,导致总数量215序列。这是一个具有挑战性的数据集,因为双手执行相同的动作,因为有非常相似的行为等喝一瓶和接电话。活动记录在不同的环境中,只有RGB视频和15骨架关节是可用的。
最后,MSR Action3D [45)代表一个哈尔的最常用的数据集。它包括20活动由10主题,2或3次。总的来说,567的深度序列()和框架,但10人被丢弃,因为骨骼缺失或受到太多的错误。数据集包括以下活动:高臂波,横臂波,锤,手抓,向前冲,高抛,画X,画勾,画圆,手拍,双手波,一边拳击,弯曲,向前踢,侧踢,慢跑,网球挥拍,网球发球,高尔夫球的地方,皮卡,扔。收集的数据集已经使用一个结构光深度相机在15帧/秒;RGB数据不可用。
4.2。测试和结果
该算法已经在上面的数据集的详细测试,每个引用的论文中提供的建议后,为了确保一个公平的比较以前的作品。这种比较后,面向更加光芒四射的评价进行了由为每个数据集只考虑合适的行为,不包括手势。另一种类型的评价认为骨骼关节的子集,包含在计算功能。
4.2.1。准备对数据集
Gaglio et al。29日)收集对数据集,提出了评价实验。他们认为三个不同的实验和数据集分割的两个模式。实验结果如下:(我)实验一:三分之一的数据被认为是培训和其他测试。(2)实验B:三分之二的数据被认为是培训和其他测试。(3)实验C:一半的数据被认为是培训和其他测试。的活动构成的数据集分为以下组:(我)手势和动作。(2)活动设置1,活动组2,活动组3,表中列出1。活动设置1是最简单的一个,因为它是由完全不同的活动,而其他两组包括更多类似的动作和手势。每个实验重复10次,随机分割训练和测试数据。最后,“新人”的场景也表现,也就是说,leave-one-actor-out设置,包括培训系统对数据集的十人九个十和测试。在“新人”测试,没有提供建议如何把数据集,所以我们认为18活动被认为是整个数据集。唯一的参数,可以设置在该算法是集群的数量,不同子集的骨骼关节。因为只有15骨骼关节,第四组20个关节(图2 (d))不能被考虑。
为每个测试对数据集,进行序列的集群一直在考虑。关于活动组测试结果被发表在表2;结果表明,该算法优于最初提议的几乎所有的测试。的参数,给出了最大精度相当高,因为它是或在大多数情况下。这意味着,对数据集,最好是有一个相当数量的集群代表每个活动。这是可能的因为帧的数量是每个活动从最少的在一个序列手拍最大的姿态对于一个走序列。实验一组活动1显示了最小和最大精度最高的区别在不同的集群的数量。例如,考虑最大的准确性()如表所示2并获得。的最低精度并获得。不同的是相当高的(),但这种差距减少正在考虑更多的培训数据。事实上,实验B显示了差异在活动组1中,在活动2,在活动3。
考虑选择关节的数量,观察表2和3让我们得出这样的结论:并不是所有的关节都必须获得很好的识别结果。在更多的细节,从表2,它可以注意到活动设置1和活动组2,这是最简单的,有良好的识别结果使用组成的一个子集关节。活动组3,由更多的类似的活动,更好的认识关节。在任何情况下,没有必要考虑对数据集的所有骨骼关节提供。
“新人”场景的结果如表所示4。获得最好的结果,使用的数量关节。总体精度和召回高于以前的使用对数据集的方法。在这种情况下,获得的混淆矩阵图所示3。它可以注意到行动是有区别的,电话和喝识别精度等于或低于,有时它们相互混合。最重要的活动画X和画勾手势,非常相似。
光芒四射的观点,只有一些相关的活动。表3表明,八个动作构成对数据集与精度大于认可,即使有一些类似的行动等坐下来和站起来,或电话和喝。只考虑行为子集,识别精度较低并获得和。这意味着该算法能够达到较高的识别率即使特征向量是有限的元素。
4.2.2。CAD-60数据集
CAD-60数据集是一项具有挑战性的12活动由4人组成的数据集在5个不同的环境中。数据集通常由分裂活动根据评估环境;全球性能算法的平均精度和召回在所有的环境。两个不同的设置是尝试CAD-60 (43]。前者是定义的“新人”,后者是所谓的“看过。”“新人”设置使用CAD-60一直被视为在所有的工作,所以它是一个选择也在这工作。
数据集的最具挑战性的元素是左撇子的演员。为了提高性能,尤其受此影响的不平衡在“新人”测试,创建镜像副本的每个操作,建议在43]。对于每一个演员,左撇子和右撇子版本的每个操作都是可用的。虚拟镜像获得的版本的活动骨架对虚拟矢状面,削减一半的人。该算法评估使用三个不同的关节来和集群的顺序,如对数据集。
最好的结果得到配置和,性能方面的精度和召回,对于每个活动,如表所示5。给出了很好的结果办公室环境,平均精度和召回和,分别。事实上,这个环境有很大的不同的活动在电话中交谈和饮用水是相似的。另一方面,客厅环境包括在沙发上和在沙发上除了在电话中交谈和饮用水以来,这是最具挑战性的情况下,平均精度和召回和。
该算法与其他工作相比使用相同的“新人”设置,结果如表所示6,它告诉的配置先进的结果优于在精度方面,和只有低的召回。山和Akella46)取得很好的成果使用线性内核的多类支持向量机的方案。然而,他们训练和测试反映单独行动,然后合并结果,计算平均精度和召回。我们的方法只考虑两份相同的动作作为多类支持向量机的输入和检索分类结果。
关节数量的减少不会影响太多的平均性能达到精度的算法和召回,。使用所有可用的接合,另一方面,更大幅削减了性能,显示和分别对精度和召回。最好的结果为该算法总是获得大量的集群(或)。这个数字会影响性能的降低;例如,考虑到子集,获得最糟糕的表现和精度和召回。
从光芒四射的角度来看,这个数据集是由只有动作,没有动作,所以数据不需要分开来评估性能接近光芒四射的场景。
4.2.3。UTKinect数据集
UTKinect数据集是由10个活动,执行两次10主题,并评估设置提出了(26)是leave-one-out-cross-validation (LOOCV),这意味着系统培训所有的序列,除了一个,一个是用于测试。每个培训/测试过程重复20次,减少的随机效应则。对于这个数据集,所有关节的不同子集,如图2被认为是,因为骨架捕获使用微软SDK提供20个关节。集群只考虑序列构成,因为最小数量的帧序列。
结果,与之前的作品相比,如表所示7。该算法得到的最佳结果,这是最小的一组关节。对应的结果集群,但区别与其他集群很低,与,提供了最糟糕的结果。选择不同的关节来只有一个,改变了准确性,从来。在这个数据集,主要限制的性能是构成一些序列的帧数量减少,限制了集群的数量代表的行动。Vemulapalli et al。33)达到最高的精度,但方法要复杂得多:在李群建模骨架关节后,处理方案包括动态时间扭曲执行时间校准和一个特定的表示傅里叶颞金字塔在分类one-versus-all多类支持向量机。
中将AAL涉及到考虑的UTKinect数据集的一个子集的活动,其中包括只有行动和丢弃的手势。详细,下面5活动已经选择:走,坐下来,站起来,接,携带。在这种情况下,最高的准确性()仍由,集群,和下一个()是由再次,集群。这些两种构型的混淆矩阵图所示4,其中的主要区别是减少误分类之间的活动走和携带,彼此非常相似。
(一)
(b)
4.2.4。Florence3D数据集
Florence3D数据集是由9活动和10人执行多次,导致总数量215活动。提出了设置评估这个数据集是leave-one-actor-out,相当于前面描述的“新人”设置。最小的帧数是8,所以以下序列集群被认为是:。15的骨骼关节是可用的,所以只有前三个方案都包含在测试。
表8显示了结果的不同子集的关节,在最好的结果给出了该算法,集群。集群的选择并不显著影响性能,因为最大的削减。在这个数据集,该方法不能实现先进的准确性(),由Taha et al。28]。然而,所有提出的算法,克服一个展览更复杂,因为他们认为李群表示(33,34),或几个机器学习算法,如支持向量机结合,嗯,认识活动组成的原子的行为(28]。
如果考虑不同子集的关节,性能降低。特别是,考虑关节和集群可以达到最大的准确性获得的,这非常类似于一个Seidenari et al。44谁收集的数据集。包括所有可用的关节()算法的处理,可以达到的精度之间的不同和。
Florence3D数据集是具有挑战性的,因为两个原因:(我)高阶级之间的相似性:一些行动非常相似,例如,喝一瓶,接电话,阅读看。我们可以看到在图5,他们都是由起义手臂运动的嘴,听的,或头部。这个事实会影响性能,因为很难分类行为非常相似的骨架组成的运动。(2)高组内差异:以不同的方式执行相同的动作,相同的主题,例如,使用左,右,或双手漠不关心的样子。
(一)
(b)
(c)
限制分析AAL相关的活动,可以选择以下的:喝,接电话,紧张的花边,坐下来,站起来。该算法达到最高的准确性(),使用“新人”设置关节和。在这种情况下获得的混淆矩阵图所示6(一)。另一方面,最糟糕的精度并获得和。在图6 (b),这个场景的混合矩阵。在这两种情况下,最主要的问题是相似的喝和接电话活动。
(一)
(b)
4.2.5。MSR Action3D数据集
MSR Action3D数据集是由20个活动主要是手势。完整性的评价包括为了与其他活动识别算法的比较,但数据集不包含AAL有关活动。有很大的困惑在文献中关于用于MSR Action3D验证测试。Padilla-Lopez et al。49]总结所有数据集的验证方法和推荐使用的所有可能的组合盘中分裂或使用LOAO主题。前过程包括考虑252 5科目培训,其余5的组合进行测试,而后者是leave-one-actor-out,相当于前面介绍的“新人”计划。这个数据集很有挑战性,由于类似的存在和复杂的手势;因此评估是由考虑三个子集的手势(AS1, AS2, AS3表9),建议在45]。从最小的帧数构成一个序列,下面的一组集群被认为是:。所有的组合,,,关节如图2包括在实验测试。
考虑到“新人”计划,该算法分别测试的三个子集MSR Action3D达到平均的准确性与和。三个子集的混淆矩阵图所示7算法,可以注意到,挣扎在AS2子集(图的识别7 (b)),主要由手势。得到了更好的结果处理AS3子集(图7 (c)),降低识别利率显示复杂的手势:高尔夫球的地方和皮卡和扔。表10显示了结果还包括其他关节,稍差。比较与先前的工作验证使用“新人”测试如表所示11。该算法实现了结果比得上[50),利用一种方法基于骨架数据。Chaaraoui et al。15,36)利用更复杂的算法,考虑到骨架和深度数据的融合,或进化选择最好的组关节。
(一)
(b)
(c)
5。讨论
该算法,尽管它的简单性,能够实现,有时为了克服最先进的性能,当应用于公开的数据集。特别是,它能够超越一些复杂算法利用多个分类器对和CAD-60数据集。
限制分析AAL相关的活动,所有的数据集的算法实现了有趣的结果。集团活动贴上操作对数据集的识别精度大于考虑实验,该集团包括两个类似的活动,如电话和喝。CAD-60数据集只包含行动,所有的活动,考虑在适当的位置,已经包括在评估,导致全球性的精度和召回和,分别。UTKinect数据集的性能提高了只考虑AAL活动,同样也发生在Florence3D,最高精度接近,即使一些行动非常相似。
MSR Action3D是一项具有挑战性的数据集,主要包括对人机交互手势,而不是行动。很多手势,尤其是那些包含在AS2子集,彼此非常相似。为了提高识别的准确性,不仅应该考虑更复杂的特征,包括关节的相对位置,而且他们的速度。许多序列包含的骨架数据:另一种方法来提高识别精度可以丢弃噪声方法的发展框架或包括地特性。
然而,光芒四射的场景提出了一些问题需要解决。首先,算法利用多类支持向量机,这是一个很好的分类器,但它不容易理解,如果一个活动不属于任何培训课程。事实上,在真实的场景中,可以有一个帧序列,不代表任何活动的训练集:在这种情况下,支持向量机输出最可能的类,即使是没有意义的。其他的机器学习算法,如摘要、区分多个类使用最大后验概率。Gaglio et al。29日]提议使用一个阈值在输出概率来检测未知的行为。通常情况下,支持向量机不提供输出概率,但存在一些扩展支持向量机方法的实现,让他们也能够提供这些信息(53,54]。这些技术可以调查了解他们的适用性提出了场景。
另一个问题是细分的行动。在许多数据集,操作表示为分段帧序列,但在真实的应用程序中算法处理连续流的帧和段行动本身。分割提出了一些解决方案,但其中大部分都是基于阈值的动作,可高度视[46]。这方面还需要进一步调查,有一个系统有效地适用于一个真正的光芒四射的场景。
6。结论
在这个工作中,提出了一个简单但有效的活动识别算法。它是基于骨架提取的数据从一个RGBD传感器和它创建一个特征向量代表整个活动。它能够克服最先进的结果在两个公开的数据集,对中国和CAD-60优于在许多条件更复杂的算法。算法测试还在其他更具挑战性的数据集,UTKinect Florence3D,表现的地方只有通过算法利用时间对齐技术,或几种机器学习方法的结合。MSR Action3D是一个复杂的数据集,该算法识别的斗争子集由类似的手势。然而,这个数据集不包含任何活动感兴趣的光芒四射的场景。
未来的工作将关注活动的识别算法应用到光芒四射的场景中,通过考虑动作分割和检测未知的活动。
相互竞争的利益
作者宣称没有利益冲突有关的出版。
确认
作者要感谢的贡献成本行动IC1303 AAPELE(架构、算法和平台增强生活环境)。