文摘

职业治疗师评估客户的职业的各个方面的性能。其中,姿态控制是需要评估的基本技能之一。最近,提出了几种方法来估计姿势控制能力使用deep-learning-based方法。这些技术允许提供自动化的潜力,精确、定量指标仅仅通过评估客户的视频细粒度从事一个姿势控制的任务。然而,这些评估工具的临床适用性需要进一步调查。在当前的研究中,我们比较三个deep-learning-based姿势估计来评估他们的临床适用性的姿态估计精度和处理速度。此外,我们提出了量化指标的验证这姿势控制最好的反映职业治疗师的临床评估。一个框架使用深度学习技术扩大量化的可能性客户的姿势控制以更细粒度的方式与传统的粗指数相比,这可能导致改进职业治疗实践。

1。介绍

职业疗法提供范围广泛的客户,从儿童到老年人,帮助人们开发或重新参与日常活动所需的技能(1]。为了实现这一目标,职业治疗师(OTs)执行一个全面评估客户的身体功能、活动参与、个人和环境因素,以及它们的相互关系(2]。OTs评估病人的能力,如运动技能、感觉、认知、社会性,通过不同的任务和人际交往技能。在儿科领域和学校职业治疗,身体功能,如姿势控制,为客户提供了基本依据的职业表现包括自我保健,人类交流和学术学习(3]。大部分发育障碍患者通常有受损的姿势控制技能(4- - - - - -10),尽管这些障碍有时被忽视11,12]。因此,评价姿势控制是至关重要的职业治疗(13]。

然而,足够敏感指标缺乏现有的评估电池(14- - - - - -16),因为他们倾向于使用时间、速度、或成功试验的数量在一定的时间范围内,这常常会导致天花板效应。因此,OTs执行临床定性评估基于观察,但这样的详细描述没有反映在定量测量。他们经常使用专门的设备(例如,身体摇摆机)量化和可视化客户端运动技能的表现尽管少临床可用性的财务成本(17)或时间准备和/或处理。

一个解决方案是利用深度学习或计算机视觉技术开发细粒度的定量评估工具,可以很容易地用于临床设置。这些新一代技术不需要OTs购买昂贵的专用设备。此外,如果定义良好的,它将为他们提供详细的总结指数计算从记录的视频。在过去的十年里,深度学习已经成功地应用于各个领域,如医学、教育、心理学(例如,18- - - - - -22]),极大地促进相关基础和临床研究人类行为。我们以前的工作集中在儿科职业疗法(13旨在量化OT的定性观察评估任务称为“鸟狗的姿势。“这个任务来自日本的评估神经心理能力(JPAN) [16,23,24),这是一个发育评估电池儿童感官评价的集成能力。在这个任务中,参与者被要求保持右(左)手臂,左(右)腿尽可能的水平(或更高版本)(见图1)。任务结束时个人的胳膊或腿接触地板或60秒。尽管这个任务持续时间通常是得分,我们以前的工作(13)成功地量化儿童静态姿势平衡分数(SPB)和反重力分数(AG)只使用一个视频记录在相机。它使用了一个人体姿态估计方法,OpenPose [25),检测身体部分的要点2 d图像和计算这些定量指标。

虽然我们以前的工作(13)做了一个重要的第一步利用深度学习技术在康复环境,进一步的调查是必要的全面评估的临床适用性评估工具开发的。当前的研究地址两个限制我们的先前的研究,也适用于其他类似的现有研究。首先,之前的研究(13专注于只有一个姿势估计算法,但还有其他选择,比如AlphaPose [26]或MediaPipe构成(27,28]。最近提出了大量的方法,和他们中的一些人是独一无二的,高度精确的估计。这将是有益的比较这些算法,以确定哪些人体姿态估计方法是最适合临床应用。第二,在13),SPB和AG)直观地制定和开发;然而,其他候选人指数存在。如何结合的过程和计算要点从姿势估计应该进一步研究发展指数,更好地反映定性的临床评价。

在目前的研究中,我们解决这些限制通过比较三个代表的精度和处理速度和完善的人体姿态估计方法:OpenPose, AlphaPose, MediaPipe姿势(图1)。然后我们提出和评估一个自动化建设指数,更好地反映OTs观察定性评估客户的姿势控制能力。具体来说,我们定义两个额外的替代指标SPB和AG)。这些指标的细化是重要的,特别是当评估年龄较大的儿童和成年人的姿态控制。这些精制方法可以提供细粒度的量化分数姿势控制可以帮助仅仅使用持续时间的局限性,如天花板效应产生的这些人很容易达到的最大60秒。

本文的结构如下。首先,我们详细解释参与者和数据集除了部分的方法2。然后,我们现在比较结果(1)人类的姿势估计精度和计算时间和方法(2)构成评价指标反映了OTs的定性评价部分3。接下来,我们讨论结果和他们的临床适用性4。最后,提供一个总体的结论5。为了方便读者,补充表S1描述了本文使用的缩写和缩写。

2。材料和方法

2.1。参与者和数据集

两个数据集被用于这项研究:儿童和成人的数据集。子数据集是与我们之前的研究13),34个典型开发学龄前儿童( , , ;14岁女孩)参加。成人数据集包括未发表的数据,其中23个成年人( , , 旧的;11个女性)参加。这项研究是研究伦理委员会批准Hakuho大学(18012),和书面知情同意了每个参与者的照顾者(子数据集)或实际参与者(成人的数据集)。

每个数据集包括视频数据的参与者进行了姿态控制评估称为“一只胳膊和一条腿平衡,”这是一个日本好玩的单项成绩评估的神经心理能力(JPAN) [16,23,24]。JPAN是发育评估电池评估感觉整合能力对儿童年龄在4到10岁,是在日本开发的基于现有的评估工具,如感官集成和实践测试(29日]。一只胳膊和一条腿平衡任务,参与者被要求保持所谓“鸟狗的姿势”60秒以内的每一面,相反的手臂和腿的从四点爬的姿势。这个任务要求一个不熟悉的姿势平衡(30.];因此,关于他们的姿势控制参与者的分裂能力不太可能影响任务绩效。

每个视频都有一个意思是任务绩效得分,三个儿科OTs评估的总体质量姿势控制基于临床的观点使用级李克特量表(7表明最优性能,看到我们以前的工作(13更多细节)。

2.2。提出评估方法

如上所述,只有OpenPose在先前的研究中使用。在最近的研究中,比较三种开源人体姿态估计方法的估计精度和处理速度。括号里的数字版本的方法。(我)OpenPose (1.7.0) [25)是著名的和受欢迎的,是代表人类自下而上的姿态估计方法。自底向上的方法首先估计位置,似乎人类要点从整个图像,然后组之后每个人的要点。自底向上方法同时处理所有人形象,他们推断在高速度的优势,即使的人数增加。OpenPose可以检测共137要点(70的脸,25对身体,对每只手和21)(2)AlphaPose (0.5.0) [26)是一个代表自上而下的人体姿态估计方法。自顶向下方法首先检测输入图像中的每一个人,然后摸清估计为每个检测到的人。一般来说,自上而下的方法可以估计要点与精度高于自底向上的方法。AlphaPose也可以追踪人,发现共有136要点(68的脸,26岁的身体,每只手和21)(3)MediaPipe姿势(0.8.10)[27,28)一个人目标,但它在接近实时的移动CPU上运行。这将是适合临床应用。此外,3 d关键点估计有可能从一个RGB图像。不像OpenPose和AlphaPose, Mediapipe只能检测要点的一个人。身体MediaPipe检测33要点(他们还提供许多其他的解决方案,如MediaPipe手和MediaPipe脸网)

当应用AlphaPose高分辨率的视频,它不正常工作。因此,当处理视频,视频大小减少在所有方法(当视频是1000 px的高度(像素)或更多,三分之一的高度和宽度,高度小于1000 px,高度和宽度的一半)。此外,先前的研究后,输入视频旋转90°转向参与者的正面向上。注意,高度的原始视频数据集范围从720 px 1080 px,和宽度范围从1280 px - 1920 px。30 FPS(每秒帧数)。在处理图像时,只应用旋转。Hyperparameters没有调整,默认值是用于三种方法。

三种方法的比较表明,MediaPipe带来最好的速度和准确性,因此被选为当前的研究的主要方法(见部分3所示。1详情)。关键点位置估计MediaPipe构成运用使用以下方法。摸清与可见性(见部分3所示。1)小于0.5被认为是离群值。此外,我们计算了指数加权移动标准偏差(EWMSD), ,,认为一个关键点的位置是一个异类之间的差异指数加权移动平均(EMA)的关键点位置超过分开。EWMSD和EMA的窗口长度等于输入视频的帧。这个过程重复了五次删除离群值。删除离群值是线性插值。

2.3。构成评价指标

构成评价指标分为六组:三SPBs和三个AGs。SPBs旨在量化多稳定身体,和AGs试图量化多少可以抵抗重力。SPB1和AG1设计基于以前的工作(13与一些细微的修改。

解释SPB1和2,我们介绍了移动的距离如下:

显示的移动距离两个连续帧之间的2 d图像 的关键点 。 是一个变量,表示扩展四肢的四个要点:1(肘部),2(手腕),3(膝盖)和4(脚踝)。视频帧的数量,代表躯干长度。是距离的平均值的肩膀和臀部所有帧的视频。的差异可能导致影响参与者的高度和相机之间的距离和参与者。SPB1的平均值框架和要点。

SPB2 SPB1相似,但专注于更大的变化。的四个要点总结了每个元素的序列 。的最大价值SPB2如下:

假设max函数返回序列中的最大值。

不像SPB1和SPB2, SPB3不是基于关键点的移动距离。凸包的面积了计算的运动。SPB3是四个凸壳的总面积除以 。

图2解释了AGs计算中使用的角度。这个角( )在框架是由向量连接肩(臀部)和手肘(膝盖)和手腕的中点(脚踝)和水平向量的图像。AG1计算如下:

然而,AG1有三个问题。首先,提高手臂(脚)高于肩膀(臀部)导致了负面评价。这不应该收到一个差评价,因为这意味着抵抗重力。第二,公司可能无法正确评估当手臂或腿是弯曲的。第三,AG1假设视频保持水平。在银2和3,四个角 计算每一帧 。 ( )是由连接的肩膀和臀部的向量和向量连接弯头(膝盖)和肩膀(臀部)。( )为0时,肘部(膝盖)高于肩膀(臀部)。( )是由向量连接弯头(膝盖)和肩膀(臀部)和矢量连接手腕(脚踝受伤)和肘部(膝盖)。银2和AG3计算如下:

所有程序在谷歌Colaboratory在这项研究中实现了。

3所示。结果

3.1。人体姿态估计方法的比较

首先,我们评估了三个目标(即人体姿态估计方法。,OpenPose, AlphaPose, and MediaPipe Pose) in terms of processing speed and accuracy. Processing speed was considered to practically reflect computational complexity because, generally speaking, a more complex method takes a longer time to process the input data. For processing speed, we used 20 videos of 5 children and 5 adults (each participant performed the task on the right and left sides). We calculated the total time taken to load the video, estimate the postural landmarks, and complete the output for keypoint positions for each method. We then divided the processing time by the number of input video frames. The mean time per frame was equivalent for OpenPose ( , )和MediaPipe ( , ),而花了大约三四倍的时间在AlphaPose ( , )比其他方法(图3)。

准确性,我们随机抽取10帧的每个视频用于评估处理速度( )。对于每个姿势估计方法,测量估计误差,我们计算之间的距离(像素)手工注释和自动估计要点为目标的肩膀的关键点,肘、手腕,臀部、膝盖和脚踝扩展的四肢。因为框架决议和相机之间的距离和参与者不同的视频,我们将通过主干长度估计误差计算基于人工注释来控制个体差异。AlphaPose OpenPose产生估计要点和相应的“信心价值观”从0到1。值越高表明,关键点是更容易估计准确。MediaPipe构成产生类似的指标称为“可见性。“我们评估验收的重点和距离估计误差每长度树干移动时这种信心或能见度值的阈值。

录取率下降OpenPose和AlphaPose信心值的阈值设定更高的(即。,more strict exclusion criteria), whereas those in MediaPipe Pose were less affected by the thresholds of visibility (Figure4(一))。特别是,几乎所有的要点被排除在OpenPose(1.3%和1.6%的录取率为孩子和成人样本,分别)与阈值0.9或更高的信心。另一方面,超过80%的样品留在MediaPipe姿势,即使能见度的阈值设置为0.9(样本84.7%的孩子和85.2%的成人样本)。

均值估计误差距离/躯干长度减少OpenPose和AlphaPose作为信心的阈值高(图4 (b))。这种减少的程度似乎更大的孩子比成人样本,样本和OpenPose三个候选人中最精确的方法算法。然而,均值估计误差一致MediaPipe姿势不管可见度阈值,特别是对于成人样本。子样本的误差距离MediaPipe姿势下降缓慢,尤其是上面的阈值是0.5。

因此,在AlphaPose OpenPose,之间有一个权衡摸清的录取率和准确性,而MediaPipe构成了一个健壮的录取率高,虽然比其他两种方法其精度相对较低阈值时高。这些结果和测量评估时为每个关键点(见补充数据S1和S2)。尽管均值估计误差距离MediaPipe造成能见度的阈值为0.5及以上范围从0.08到0.10(即。,大约10%的躯干长度),这些错误可能是临床可接受的粗大运动评估。使用基于数据在当前的研究中,这个长度是20%的前臂和降低大腿长度的15%。

总的来说,评估的基础上处理速度和准确性,我们决定使用MediaPipe姿势可见度阈值为0.5临床可用性最大化。

3.2。的比较构成评价指标

选择最好的预测OTs的临床评价指标,构建线性回归模型使用整个儿童和成人为每个SPBs和AGs的数据集。我们使用一个向后逐步选择方法与AIC准则(Akaike信息)值。AIC值越小表示一个更好的模式模型的可预测性。

SPB模型,我们首先创建了完整的模型SPB1, SPB2, SPB3作为独立的输入变量。最好的模型( , )包括SPB1 ( , , )和SPB3 ( , , ),但不是SPB2。这些选择的变量是一致的,即使孩子和成人进行了模型拟合数据集分别;然而,不同的方向的影响。使用子数据集(最好的模型 , )显示出类似的结果模型使用数据集,SPB1有负面影响在职业治疗师的临床评价分数( , , )和SPB3积极的影响( , , )。与此同时,使用成人的数据集(最好的模型 , ),SPB1 ( , , )和SPB3 ( , , )显示的负面影响。因此,它是合理的,SPB1值越大,OT的临床评价得分越低。

AG模型,我们还创建了一个完整的模型AG1,银2,AG3作为独立变量。AG1和银2,但不是AG3留在最好的模型识别使用两个数据集( , )。AG1 ( , , )和银2 ( , , )是负相关的OTs的临床评估。单独使用儿童和成人的数据集时,最好的模型只包括银2(最佳模式使用成人的数据集: , ,银2的 , , ;最好的模型使用子数据集: , ,银2的 , , )。因此,一致确认的是一个更大的银2值表示临床评价得分较低。

最后,我们构建了一个模型包括所选自变量和没有持续时间,并比较这些模型与传统模型只包括持续时间作为一个独立变量(表1)。无论使用的数据集(儿童和成人,儿童,或成年),持续时间的模型包括所选变量是优于模型只包括持续时间( 使用两个数据集的模型; 使用子数据集的模型; 为模型使用成人的数据集)。作为参考,所选变量的平均分数为每个数据集如表所示2。

4所示。讨论

本研究的主要目标是比较的三个姿势估计(AlphaPose, MediaPipe姿势,OpenPose)是临床上最适用的要点和处理速度及精度检验的指标提出关于姿势控制能力OTs的最佳反映临床评估。

在三个姿势估计,OpenPose MediaPipe构成了相对较少的时间进行处理。鉴于OpenPose第一实现,需要额外的时间MediaPipe姿势是最好的选择的速度估计为特定任务要点。当AlphaPose应用到高分辨率的视频,减少所需的视频分辨率。的准确性,OpenPose优于其他两种方法在一定阈值的信心值,但是要点的录取率大大减少当阈值变大。AlphaPose显示一个类似的趋势,但要点的准确性相对较差。相反,MediaPipe姿势不敏感阈值能见度值,和接受率仍然很高。其均值估计误差保持在0.08或0.10 px阈值为0.5。这个错误长度大约是主干长度的10%,约20%的前臂,降低大腿长度的15%。我们认为这些错误是临床可接受的粗大运动评估,因为,例如,客户的关键点估计的手腕仍然是更接近正确的手腕的位置比其他要点、弯头等。因此,考虑到处理速度,易于实现(即。, it can work on CPU), and acceptable error distances, we decided to use MediaPipe Pose for our study. However, if a researcher or therapist attempts to detect each keypoint more precisely (e.g., fine motor skills [14,15]),建议使用其他方法,比如OpenPose。

当比较静态姿势平衡分数,SPB1一直与OTs的临床评价分数。这表明SPB1值越大,OTs的得分越低。SPB1定义是一样的我们的以前的工作13],这直觉指数将是一个合理的量化定性方面的姿势控制能力。另一方面,SPB3也被定义为一个凸包留在最后的模型,虽然其回归系数不一致的方向取决于模型。使用成人的数据集,SPB1和SPB3的回归系数是负的,允许的解释凸包的面积越小,姿势控制的评价越好。然而,回归系数为SPB3有时是积极的,特别是当使用子数据集。这可能是由于这样的事实:凸包的面积变得越来越小,当手或脚碰地板相对较短的一段时间,因为它就像一个长而细线。另外,这个违反直觉的结果可能发生由于SPB1和SPB3之间的多重共线性。虽然凸壳用作姿势控制的定量指标,如身体影响(例如,31日),这个指数可能不适合做任务的类型,肢体动作就像一个钟摆。基于研究结果,SPB1应该被视为一个静态平衡指数在临床设置。

反重力的模型比较分数,银2始终包含在最终的模型。当客户的手肘或膝盖弯曲,手腕或脚踝可能位于一个高的位置,导致一个看似维护良好反重力姿势。事实上,AG1显示更好的成绩在某些情况下这种姿势。然而,银2定义的方式得分会更糟的是对于这样一个“棘手”的姿势。这种差别的银2更合理的临床设置。

无论数据集的类型,有助于降低AIC选定的变量。这表明OTs的定性评价姿势控制可能更适当地和定量地反映当SPB和股价指数比持续时间时考虑单独使用。这种趋势是在模型中观察到的数据集使用成人持续时间显示天花板效应。23岁的参与者,22日成功地保持自己的姿态最多为60秒。虽然简单的持续时间或数量的成功试验已常规应用定量指标(例如,16]),其他细粒度的量化,比如SPB和AG可能更有意义更适当和准确评估客户的姿势控制能力。深度学习技术使治疗师来执行这样的量化只需记录客户端使用一个普通摄像机的姿势。

应用方法提出了临床设置在当前的研究中,我们提供了Python代码计算SPB和AG)分数从视频输入,以及平均分数为每个索引为儿童和成人供参考。视频客户端时的姿势,我们建议(1)背景和客户的衣服应该很容易区分,和(2)相机应该固定在相同的高度为客户的躯干和保存在一个水平位置,而非手持。这些点是重要的准确估计。

对于未来的工作,我们提出三个点。首先,deep-learning-based姿势估计其他任务的应用程序应该彻底调查。例如,还有其他的子任务用于评估姿势控制在现有评估电池(14- - - - - -16]。此外,它会更好如果治疗师可以获得定量测定通过视频客户从事日常活动的自然环境。第二,提供标准化分数SPB和AG)和他们的发展趋势将是有益的和其他指标(32]。值得注意的是,一项研究,将需要大样本大小。第三,deep-learning-based方法尚未完善,因此,如果算法改进,姿势控制的指标也会提高。事实上,有一些情况下失败的姿态估计在当前的研究中。最后,可辩解的人工智能(新品)是吸引澄清和理解的原因决定了人工智能和机器学习模型(33,34]。在未来,通过训练姿势控制性能的预测模型在大规模数据和使用新品方法,可以提取感官指标如SPB和AG)被认为是可翻译的功能。

5。结论

本研究比较三个姿势估计(AlphaPose, MediaPipe姿势和OpenPose),以确定哪些是最临床适用的准确性要点和处理速度。同时,我们验证了提出的指标对姿势控制能力OTs的最佳反映临床评估。框架使用深度学习技术扩大量化客户姿势控制的可能性更细粒度的方式与传统的粗指数。自动化的发展量化显示在当前的研究中可以用来改善职业治疗实践。

数据可用性

计算每个提出的索引码(SPB和AG)从一个视频文件(mp4)可在GitHub库(https://github.com/decobocollabo/Postural-Control-Assessment)。我们没有做原始视频数据集用于这项研究公开由于道德问题。请求访问匿名数据集计算SPB等每个参与者应该指向相应的作者。

的利益冲突

作者宣称没有利益冲突,关于这篇文章的出版。

确认

我们感激我们的研究参与者。这项研究受到了jsp KAKENHI格兰特JP21K12167数量。

补充材料

图S1:录取率每个关键点的每个姿势估计方法。图S2:每个姿势估计方法的估计误差距离为每个关键点。表S1:缩写的列表。(补充材料)