使用计算机视觉步态分析基于云平台和移动设备

文摘

影响老年人的脆弱和衰老症状。老龄化过程包括认知和运动功能的衰减通常产生一个影响老年人的生活质量。一些研究表明认知和运动机能恶化步态模式。因此,步态分析可以是一个强大的工具来评估脆弱和衰老症状。在本文中,我们提出一个建立步态分析方法进行智能手机和云计算的援助。步态序列被智能手机相机记录处理的智能手机本身获取时空特性。这些特性是上载到云为了分析和比较他们存储数据库来呈现一个诊断。特征提取方法可以额和矢状步态序列虽然矢状视图提供了一个更好的分类,因为可以获得95%的准确性。

1。介绍

这项工作是一个项目的一部分,叫做Gait-A的主要目标是脆弱和衰老症状的早期检测使用步态分析。身体活动的一个主要组件参与衰弱综合症评估(1,2]。步态识别作为一种高认知任务的关注,涉及规划、记忆和其他认知过程(3,4]。

通过步态分析,量化衡量信息的步态,其解释(5),虚弱和痴呆症状可以确诊。这个过程是由专家和基于估计通过目测步态。

在这项工作中,我们提出一种计算机视觉的方法,可以帮助专家向他们提供客观的测量步态和,因此,获得步态分析的客观性。

我们建议使用智能手机的摄像头记录主题的步态和提供计算机视觉算法能够分析这些序列提取时空步态参数。这些参数被发送到云分析的分类器的目的是确定是否存在异常。

很多工作使用计算机视觉处理步态分析在文学。然而,他们中的大多数人关注人类识别、步态生物识别技术和其中的一些地址步态分析检测异常。

本研究的主要目的是提供一个nonexpensive和易于部署解决方案获得步态的时空参数,将美联储分类算法,将区分正常和异常步态。需要提到的过程获取时空参数异常步态化合物任务假设的数量可以在步态模式大大减少了。在这种情况下,循环模式和步态的全食阶段可以认为是礼物。在这个工作,为研究目的,帕金森步态,膝盖疼痛,脚拖在其他模式偏离我们所认为的正常步态将被视为异常步态。

一组不同的步态特征分析(6人识别。流程首先提取轮廓与背景减法技术然后获得轮廓。轮廓后,他们提取四个时间序列特点:宽/高比率,边界框宽度、轮廓区域和重心(齿轮)。这四个特性遵循循环模式匹配的步态周期和通过确定性用来确定一个人的学习。

许等人研究了Kinect传感器测量步态参数的适用性在跑步机上行走额视图(7]。他们比较了脚跟罢工(HS)和脚趾()获得与使用运动跟踪系统。商品显示误差小于因为它发生接近传感器。

Choudhury和Tjahjadi8)提出了一个方法三个模块组成:轮廓提取、主题分类普罗克汝斯忒斯使用形状分析(PSA)和椭圆傅里叶描述符(EFD)和组合的结果。对于轮廓提取,他们使用背景减法和形态学操作来消除噪声。PSA模块分析一组形状使用匹配的几何轮廓的位置。步幅计算使用边界框的宽度。最后,使用EFD允许描述主体的轮廓关键点的步态的阶段。

低浓缩铀等人提出了一个方法来提取骨架关节从矢状面和额叶的观点9]。方法使用水平和垂直投影的轮廓像素获得颈部关节。然后应用解剖模型获得髋关节,膝盖和脚踝。Yoo和尼克松10)也使用一个解剖模型提取骨架关节部分轮廓,但他们获得的平均点每一部分,然后应用线性回归获得一条线代表了骨头。在双支持步态阶段,他们运动跟踪适用于估计闭塞的位置点。汗等。11),同样获得骨架通过计算平均每个身体部分的点。他们获得腿运动和姿势倾斜和比较它与正常步态模型承认帕金森步态。

此外,我们发现以下分类步态模式的建议。在王12),该方法是基于光流计算直方图的轮廓流向一个特征空间变换适用。获得的数据与正常步态模板计算偏差。在Bauckhage et al。13),同胚应用二维晶格和二进制之间形状来获得一个向量空间的轮廓编码。他们执行几个轮廓边界框剥片来获得不同的晶格,然后使用支持向量机(SVM)分类。

显然,大多数步态分析中应用的建议使用矢状视图的原因是它提供了更多的信息工作。然而,有获得好处的额步态分析。据惠特尔(14),可以观察到更多的步态异常的矢状视图比从正面视图。然而,我们也承担额步态分析有以下原因:(我)一些异常只能观察到从正面的观点。惠特尔(14]提到环行步态,臀部远足、异常脚接触,和旋转等更好的观察从正面来看。(2)记录所需的物理空间,矢状步态序列需要更比正面步态,只有很小的大厅或走廊将服务。

以减少所需的空间矢状视图记录是使用跑步机,但它可以改变步态模式,尤其是在身体虚弱的人。另一个方法是使用电动相机的主题,但它是昂贵的,可能复杂化背景减法是移动。两种解决方法复杂化的步态序列很难处理的智能手机。

矢状图像显示清晰的视图的脚位移和足够的信息来定位每个脚的脚跟和脚趾。锋认为,另一方面,它是不容易确定每个脚的脚跟和脚趾位于。因此,需要一种不同的方法额序列。

在矢状看来,主体的轮廓的大小保持在整个的轨迹。然而,在额叶看来,轮廓的大小增加沿着它的轨迹,所以可能需要规范化。

本文组织如下。部分2描述了矢状面和额方法获取步态的时空参数,实现在一个智能手机,正常和异常步态的分类在云平台。部分3显示的结果受到时空的步态参数正常和异常步态分类。最后,部分4提供了这项工作的结论。

2。方法

在本文中,我们提出一个使用计算机视觉在智能手机平台步态分析记录和流程步态序列获取时空参数被发送到云正常和异常步态之间的一个分类。平台的布局图所示1。下面将描述每个模块的平台。

2.1。矢状的方法

矢状的方法需要从侧面步态序列记录作为输入。方法提出了四个阶段:预处理、脚位置,特征提取,骨架提取。图2显示了矢状图的方法。在云中执行分类阶段。

2.1.1。预处理

在此阶段,执行背景减法获得主体的轮廓使用混合高斯模型的[15背景减法。在那之后,一个形态学算子应用于去除噪声。最后,剩下的轮廓提取的边界框计算位置使用(1),然后这些点都对应于一个矩形使用(2)。

2.1.2。脚的位置

然后封闭轮廓通过背景减法的边界框分成四个区域,即头(13%的边界框的高度),躯干(34%),大腿(24%),和小腿(29%)根据一个人体模型(16)如图3。然后让小腿地区集中。我们用最大搜索轮廓像素X组件获得的脚趾前脚(FF)使用(3)和最低的像素X获得后面的脚跟脚(BF)使用(4)。然后,小腿地区分为半垂直分离每一脚。男朋友一半,我们寻找右下角像素(假设位移从左到右)得到男朋友的脚趾。FF一半,我们寻找左下角像素获得脚跟。最终结果如图3。

2.1.3。特征提取

每一帧的序列,两脚脚跟和脚趾的位置得到了在前面的阶段。这些时间序列,我们应用梯度的分析X组件获得脚跟罢工(HS)当均值点之间的梯度FF脚跟和脚趾FF从大于0到0(脚停止移动所示(5))和脚趾()意味着点梯度BF脚跟和男朋友脚趾之间的范围是从0到大于0(脚开始移动所示(6))。应用梯度直接在位置时间序列产生大量的假阳性由于一些噪音。过滤噪音,我们应用一个阈值,任何梯度值小于被设置为零。这个阈值可以删除小振荡过程中由于一个错误的轮廓和定位脚趾和高跟鞋。由此可见,应用高斯平滑,孤立的值大于零或等于0被使用(7)。

2.1.4。骨架提取

骨架提取阶段提供了一个快速的方法得到一个近似的位置头部,颈部、臀部、膝盖和脚。它使用的四个区域轮廓脚位置描述的阶段。头部和躯干区域分成一半水平,和每个齿轮的一半计算。的齿轮上部区域移到最上面,和较低的齿轮地区搬到了底部。然后,头低的齿轮和躯干上齿轮平均获得公共点的脖子。头部位置对应的上齿轮头部区域。

大腿地区也存在分歧水平的一半,和两个齿轮。此外,垂直分割也可以执行,另一个两个齿轮。上面的齿轮转到最高和平均降低躯干齿轮获得臀部的位置。低齿轮就会被丢弃。然后左右齿轮搬到了底,这两点在膝盖的位置。调整模拟弯曲膝盖。流程调整膝盖由跟踪三圈:臀部和大腿长半径与中心(大腿部分的高度)和另外两个圆圈中心每个脚和半径等于胫骨长度(小腿段)的高度。然后,臀部圆之间的一个十字路口,每个脚的圈子。有三种可能性:(我)没有交集。在这种情况下,膝盖点给出了一个齿轮。(2)一个十字路口。在这种情况下,曲线拐点是交点。(3)两个十字路口。在这种情况下,曲线拐点的交点更正确的方向从左到右)(假设步态。

最后,每个脚是均值点的位置获得的脚跟和脚趾的脚位置的阶段。图4显示了最终的结果。

2.2。额的方法

额的方法非常类似于矢状提议在前面的小节。它具有相同的阶段:预处理、脚位置,特征提取,骨架检测。的图额步态方法如图5。

2.2.1。预处理

这一阶段是矢状的一模一样。获得的轮廓是用混合高斯模型的背景减法,然后形态学算子应用于去除噪声。

2.2.2。脚的位置

在额叶看来,脚趾都总是可见但高跟鞋不断阻挡,所以高跟鞋不能正确定位。因此,我们只能依靠脚趾信息。

获得的脚趾,我们在四个区域进行轮廓除以根据人体模型建立在[16]。我们只专注于小腿段。然后,我们计算它的边界框和垂直分割成两脚分开一半。是很重要的重新计算这一部分的边界框的垂直分割分开双脚准确;否则,任何偏差会导致一些问题。注意,分裂的过程的边界框分开双脚永远不会准确的目的与步态模式将一只脚放在另一只脚的前面。我们假定这个特殊的步态模式不存在在我们的数据集。我们获得的左、右脚脚趾定位与最小的像素y分别在左边和右边一半组件(8)(图6)。

2.2.3。特征提取

前一阶段提供每一帧的每个脚趾的位置,这正是我们需要获得商品和信息。我们提出一个方法来获得商品和基于时间序列与正面步态派生减去两英尺的垂直分量。

我们将使用的减法y组件的脚趾获得曲线零交叉表示脚相邻步态的阶段。HS和之间的每只脚都位于每个零交叉。我们可以通过假设估计商品和商品生产前;HS是上半年的每个区域,并在下半年。因此,我们可以估计HS和后(9)和(10),分别为,涉及到的帧出现零交叉点与前面的零交叉点的框架。

这种方法提出了一些问题和一些异常步态模式,所示(17),不能检测到一些事件,例如,当一只脚总是落后于其他还是拖由于一些伤害或痛苦。图7显示脚拖在那里,在某些情况下,曲线不交叉零在摇摆不定的阶段。为了解决这个问题,我们设计的另一个方法。从先前的方法(使用相同的曲线的差异y每个脚)的组件,我们继续通过应用高斯滤波器去除噪声(图8显示了图的曲线7应用高斯滤波器)后,然后我们获得当地的最大值和最小值,或多或少都位于中心的每一对零交叉。,但在这种情况下,曲线没有跨越零产生最大或最小,问题是解决了。

HS是坐落在最大或最小,之后。我们知道这两件事都位于这个区域。经验调整它们,我们推导出HS位于一个之间的距离最大(或最小)和前一个(12),位于一个之间的距离最大(或最小)和下一个(13)。

被米有序的最大值和最小值按升序顺序:

海关的获得的是

并获得

2.2.4。骨架检测

描述的过程是一样的一个矢状的方法,但对于额的方法,膝盖没有必要的调整。

2.3。智能手机实现

矢状面和额的方法实现了在Android上使用OpenCV本机函数。我们允许两种方法处理的数据集:(我)实时视频:智能手机相机记录的主题和流程同时行走。(2)以前记录的视频:智能手机记录主题走并将其存储在内存中,然后存储视频处理。

为了实现实时处理,我们使用中所述的锥体multirresolution方法[18]。我们达到10 fps使用1.4 GHz的四核智能手机和1 GB内存和25 fps使用平板电脑在2.2 GHz Tegra K1四核处理器和2 GB内存。输入图像的大小是480×270像素。然而,结果部分所示3使用数据集得到使用全分辨率。

2.4。云平台

发展云平台,我们使用了微软Azure机器学习平台。这是一个云平台设计和开发预测模型。Azure提供了一个REST Web服务访问机器学习工具。

对于我们的目的,我们开发一个再邻居(资讯)算法与动态时间扭曲(DTW)作为距离函数通过REST Web服务提供的Azure。执行正常和异常步态之间的一个分类,我们使用步(边界框宽度为矢状的方法,和减法y组件的每只脚额方法)和leg-angle时间序列(提供的骨架提取算法计算角度形成的臀部和每只脚)。

3所示。结果与讨论

现在我们将描述实验执行和获得的结果。记录的数据集的实验也在这一节中描述。

3.1。数据集

测试建议的方法,我们记录了两个数据集的主题走:一个使用矢状视图,另一个使用正面的看法。两个数据集都记录在一个房间,一个非齐次的背景包括windows的光线使它难以提取轮廓。这是故意的,因为我们想测试我们的方法在现实环境中,因此,轮廓往往是不完整的。图9显示的房间进行录音。

记录额数据集,我们把一个相机一个8米的走廊的一端,要求主体走向它。我们一共捕获23正常步态异常和20个样品的样品。记录矢状数据集,我们使用相同的环境,但是我们放置一个摄像头的距离4米从步态的垂直方向获得侧视图。在这种情况下,总共15个样品的正常步态和15的异常步态记录。即使记录样本的数量很低(43为矢状步态额步态和30),总共有320 HS 319事件和事件正面步态和233 HS事件和223年为矢状步态事件。

我们要求受试者正常行走沿着走廊,然后假装走一些以下异常:(我)膝盖疼痛:模拟疼痛的膝盖。(2)脚拖:拖着一只脚。(3)帕金森步态:这个话题做了一些与变速小步骤。(iv)其他:主题描述随机模式。

保证受试者的隐私,我们只发表了轮廓提取的轮廓提取阶段。这些轮廓被存储为一个有序的图像,和一个文件为每个图像还包括运行毫秒。对于每个记录样本,我们手动标记商品或事件发生的帧使用它作为一个地面真理。我们还包括相关信息像素宽度能够计算距离和样本类(正常= 0或异常= 1)。此外,文件的输出脚位置和特征提取阶段包括包含每个脚的脚跟和脚趾的位置,他们的梯度,HS和检测到的事件。这些结果的输出商品和检测算法使用全分辨率(1920×1080),不符合这些智能手机提供的四分之一的决议。

这两个数据集都可以通过提供的URL (19]。

3.2。实验

我们使用我们自己的实验数据集执行矢状面和额步态。我们使用了手动标记每个步态的HS和事件序列数据集的地面真理。这个手动标记集的误差因为这是最小值。我们还假设的误差框架在算法的输出。所以,全球误差将帧。然后,框架之间的差异地面真理和该算法进行了分析。任何差异小于等于全球误差被认为是可以接受的。然后,均方根误差(RMSE)的差异是计算使用 在哪里n对应于事件的数量(商品或在这种情况下),事件的框架我在手动标记和事件的框架我在算法的输出。

3.3。矢状的方法

在表1之后,我们将展示结果应用HS和检测算法与滤波方法为矢状视图在前一节中描述。表显示了正确的检测(小于2帧算法之间的差异和手动标记),未被发现的情况下,错误的检测(超过2帧的区别),和两个正确的均方根误差和错误的情况下。观察到,HS和事件的RMSE低于2帧的误差。事件比商品更准确地分隔的事件。但是,海关事件表现出更少的未被发现的情况下。因此,这将是商品,我们将使用获取时空参数进行分类。图10图形化显示正确的,错误的,和未被发现的情况下。

3.4。额的方法

表1结果还显示在应用额的方法。如图所示,HS和RMSE的正常步态的误差小于2帧,但它是异常步态的稍大。因此,结果是可接受的对正常和异常。错误主要是生产的第一步时,轮廓更小(相机)的主题是最远的。图11显示图形的结果表1。

获得的结果与我们的矢状视图方法类似于正常的步态。我们得到海关1.08,1.44帧,略比我们从额叶中提取的方法更精确(1.88 - -1.63),但彼此接近。然而,在步态异常的情况下,我们获得了海关1.59,1.79帧,这比同额的方法更精确(2.42 - -2.17)。

3.5。分类

执行正常和异常步态之间的一个分类,我们使用资讯比较步幅和leg-angle时间序列不同的步态周期。计算两个时间序列之间的距离,我们应用DTW。我们执行分类测试两种不同的方法:(我)单独测试每一个步态周期。时间序列分别对应于每一个步态周期治疗好像属于不同的学科。(2)测试每一个步态周期的每个记录样本和输出模式类为每个主题。在这种情况下,每个步态周期的预测,然后另一个预测是计算输出的模式类相同的记录样本。

验证该分类中,我们使用10倍和分析交叉验证精细测量每个分类器的精度。

表2显示结果的步幅和矢状leg-angle时间序列的方法。我们获得了100%的准确率使用leg-angle时间序列当输出模式类为每个记录样本。准确的结果,然而,是步提供的宽度。

额方法的分类实验结果如表所示3。如图所示,测试每个记录样本产生更好的结果,因为它会消除异常值。

我们致力于获得正常和异常的步态分类评估算法的适用性来区分两个。对于这个测试,我们认为膝盖疼痛和脚拖着异常步态。结果表明,分类器可以区分正常和异常步态。因此,未来的工作将集中在分类不同的步态异常。

4所示。结论

本文的主要贡献是nonexpensive和易于部署的方法来获得商品和一些骨骼关节使用矢状面和额步态序列。额视图获得高跟鞋位置时带来了一些问题,所以我们关注的脚趾。结果显示可接受的精度提供商品和矢状面和额的方法。比较这两种方法,结果相似但矢状被证明是更准确的。记录的数据集测试提出的方法对于任何使用它(19]。维护隐私的话题,我们只发表了轮廓。

我们还提供基于云平台的web服务执行分类之间的正常和异常步态矢状面和额叶的观点。结果显示正面视图中一个分类率大于80%,90%以上在矢状视图中。

执行使用额步态分析视图的能力可以减少测试所需的物理空间。此外,该方法不依赖于轮廓位移(矢状的方法),所以它也适合跑步步态序列。因此,空间的情况下可以减少更多的步态模式的变更,跑步机可能导致明显并不重要。

未来的工作将集中在提高商品的准确性和对异常步态和分类不同的步态异常类型。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究的一部分FRASE MINECO项目(tin2013 - 47152 c3 - 2 r)由西班牙的经济和竞争力。

引用

1. j . Waltson l .炸,“脆弱和老人”,北美的医疗诊所,卷83,不。5,1173 - 1194年,1999页。视图:出版商的网站|谷歌学术搜索
2. l . p .油炸c . m .他j . Walston et al .,“虚弱老年人表现型的证据,”老年医学系列期刊:生物科学和医学科学卷,56号3,M146-M157, 2001页。视图:出版商的网站|谷歌学术搜索
3. j·m·豪斯多夫g . Yogev Springer, e . s .西蒙和n . Giladi“走路更像比攻捕捉:老年人步态作为一个复杂的认知任务,”大脑研究实验,卷164,不。4、541 - 548年,2005页。视图:出版商的网站|谷歌学术搜索
4. t·穆德,w . Zijlstra和a·吉尔茨“评估运动恢复和下降,”步态和姿势,16卷,不。2、198 - 210年,2002页。视图:出版商的网站|谷歌学术搜索
5. f . i Mahoney和d . w . Barthel”功能评价:Barthel指数”,马里兰州医学杂志,14卷,第65 - 61页,1965年。视图:谷歌学术搜索
6. w .曾庆红,c . Wang和f·杨,“Silhouette-based步态识别通过确定的学习。”模式识别卷,47号11日,第3584 - 3568页,2014年。视图:出版商的网站|谷歌学术搜索
7. x, r·w·McGorry l . s .周j·h·林和c c . Chang,”微软kinect™的精度测量步态参数在跑步机上行走,“步态和姿势,42卷,不。2、145 - 151年,2015页。视图:出版商的网站|谷歌学术搜索
8. s . d . Choudhury和t . Tjahjadi步态识别剪影轮廓形状和运动分析的基础上,“计算机视觉和图像理解,卷117,不。12日,第1785 - 1770页,2013年。视图:出版商的网站|谷歌学术搜索
9. 低浓缩铀,d . Ristić-Durrant, A .γ射线激光器”一个健壮的markerless人类步态分析系统,建立”学报第六届IEEE国际研讨会上应用计算情报和信息(尚驰)2011IEEE,页415 - 420年,Timișoara,罗马尼亚,2011年5月。视图:谷歌学术搜索
10. j . h . Yoo和m . S尼克松”自动markerless分析人体步态运动的识别和分类,“电子杂志,33卷,不。2、259 - 266年,2011页。视图:出版商的网站|谷歌学术搜索
11. t·汗j·威斯汀,m·多尔蒂,“线索分析帕金森运动步态识别,”生物医学工程杂志》,7卷,不。1,1 - 8,2013页。视图:出版商的网站|谷歌学术搜索
12. l .王”异常行走的步态分析使用silhouette-masked流直方图,”学报18国际会议模式识别,ICPR 2006,3卷,第476 - 473页,IEEE,坎昆,尤卡坦半岛,墨西哥,2006年8月。视图:谷歌学术搜索
13. c . Bauckhage j·k·Tsotsos, f·e·邦”异常步态的自动检测,”图像和视觉计算,27卷,不。1 - 2、108 - 115年,2009页。视图:出版商的网站|谷歌学术搜索
14. m·w·惠特尔步态分析:介绍Butterworth-Heinemann,牛津大学,英国,2014年。
15. z和f . van der Heijden”,有效的自适应每个图像像素密度估计的任务背景减法,”模式识别的字母,27卷,不。7,773 - 780年,2006页。视图:出版商的网站|谷歌学术搜索
16. f . Tafazzoli和r . Safabakhsh”,基于模型的人体步态识别使用腿和手臂的动作,“人工智能技术的工程应用,23卷,不。8,1237 - 1246年,2010页。视图:出版商的网站|谷歌学术搜索
17. m . Nieto-Hidalgo f . j . Ferrandez-Pastor r . j . Valdivieso-Sarabia j . Mora-Pascual和j·m·Garcia-Chamizo“基于视觉的步态分析额观点步态序列使用rgb相机,”无处不在的计算程序和环境智能:10国际会议,UCAmI 2016,第一部分,10卷,页26-37,施普林格,圣Bartolome de Tirajana大加那利岛,2016年11 - 12月刊,西班牙。视图:谷歌学术搜索
18. m . Nieto-Hidalgo和j . m . Garcia-Chamizo“实时使用rgb相机,步态分析”无处不在的计算程序和环境智能:10国际会议,UCAmI 2016,第一部分,10卷,页111 - 120,施普林格,圣Bartolome de Tirajana大加那利岛,2016年11 - 12月刊,西班牙。视图:谷歌学术搜索
19. m . Nieto-Hidalgo r . j . Valdivieso-Sarabia j . Mora-Pascual j . m . Garcia-Chamizo和f . j . Ferrandez-Pastor“Gait-A数据库:数据集的主题走,”2017年,http://hdl.handle.net/10045/70567。视图:谷歌学术搜索

版权

版权©2018马里奥Nieto-Hidalgo et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。