文摘

计算机视觉和机器学习技术的应用为体育测试是一种有效的方法来实现“智能运动。”面对实际应用,我们设计一个实时和轻量级的深入学习网络实现智能引体向上测试在这个研究。的主要贡献如下:(1)自产引体向上的新数据集的要求下建立了包括人体和单杠。此外,半自动注释软件开发提高注释效率和增加标签的准确性。(2)一种新型轻质深网络命名PEPoseNet旨在实时估计和分析人类的姿势。网络的主干是由热图网络和关键网络,进行人体姿态估计基于关键点提取人体和单杠。采用分离卷积说深度方面加快培训和收敛。(3)评价标准的智能引体向上测试定义基于动作质量评估(AQA)。五个州的动作质量,即。,ready or end, hang, pull, achieved, and resume in one pull-ups test cycle is automatically graded using a random forest classifier. A mobile application is developed to realize intelligent pull-ups test in real time. The performance of the proposed model and software is confirmed by verification and ablation experiments. The experimental results demonstrated that the proposed PEPoseNet has competitive performance to the state of the art. Its PCK @ 0.2 and frames per second (FPS) achieved were 83.8 and 30 fps, respectively. The mobile application has promising application prospects in pull-ups test under complex scenarios.

1。介绍

经典物理测试比如引体向上测试在大学或中小学在体育教学常规的检查。然而,当前的考试通常是手工进行的。手动测试总是导致低效率、不一致的标准和主体性。最近,中国和其他国家越来越关注确保体育测试的公平性和客观性。应用人工智能技术提供了一个有效的方法来提高测试效率和公平。此外,它还将减少体育教师的工作负担。

随着下一代的发展物联网等信息技术(物联网),云计算,可穿戴设备,大数据,和机器学习,“智能运动”已经成为一个热门领域吸引关注的领域专家信息和体育领域(1,2]。自动人体姿态估计(HPE)是一种常见的和重要的任务在一个智能体能测验。常见的做法是分析图像或视频的考生的行为在线或离线采用计算机视觉和机器学习技术。

最近,深度学习被广泛应用于许多领域,例如,预测故障的传感器和机械(3,4),或检测颅内动脉瘤5),由于其强大的自学习能力和适应性的视觉处理任务。深入学习网络也介绍了领域的HPE [6]。大部分的HPE算法识别人体关节基于捕捉人体的关键图。我们采用了这种策略实现智能物理测试功能在我们的第一个应用软件,即。,the video stream captured by a camera was converted into a stream of a key point graph based on the traditional HPE algorithm. The size of a key point graph was normalized according to the distance from the nose to the hips. However, it was found that not all the captured key points were useful. So, several sets of key points (including wrists and shoulders, elbows and buttocks, left and right ankle, and left and right knee) were designated to reduce the data redundancy and computational cost. However, there still exists limitations of the traditional HPE algorithms when applying them to practical physical testing. For example, in the test of pull-ups or sit-ups that require equipment assistance, the negligence of key points of the auxiliary equipment may lead to misjudgment or cheating actions (If an examinee just stands on the ground and imitates the test actions, it is hard to discern the cheating actions in terms of vision-based technology).

因此,综合利用关键点的人体和设备是一个有前途的战略来提高HPE的性能。灵感来自这个想法,我们设计一个轻量级的深度学习网络和移动应用程序来估计和分析人类的姿势在引体向上测试。的主要贡献如下:(1)建立一个基准数据集包含超过2000个图像进行引体向上测试和开发一个半自动注释标签软件要点人体和设备。(2)小说深入学习网络名为PEPoseNet旨在联合估计人体的要点和设备。网络采用深度方面分离卷积(双encoder-decoder)来提高估计精度,加快了训练pretraining和冻结的梯度反向传播的热图分支。(3)一个AQA关键算法估计PEPoseNet产生的人体和设备设计,和一个聪明的引体向上测试开发移动应用程序。应用程序可以实现实时的评估五个州,即。,ready or end, hang, pull, achieved and resume in one pull-ups test cycle, and rate each cycle and total movement.

本文的其余部分组织如下。HPE在体育的相关工作进行了综述2。提出的模型,即。,PEPoseNet and related dataset are described in Section3。部分4介绍了实验和结果,以及艺术状态的方法的比较。得出的结论部分5。

人体姿态估计(HPE)是指决定或判断人体姿势的处理和分析图像或视频。目前,HPE已经广泛的应用在许多领域,如虚拟现实(VR) [7,人类健康8,9)、动作捕捉系统(10],人机交互(HCI) [11]。最初,传统的机器学习方法用来估计人类的姿势。例如,Eichner等人应用条件随机域(CRF)学习潜力之间的关系的不同身体部位和注释图像(12]。Shakhnarovich等人利用parameter-sensitive散列函数来估计人体的关节。然而,由于第一受欢迎的CNN模型,即。,AlexNet emerged, the deep learning methods displayed abrupt developments in HPE, owing to their powerful self-learning ability and remarkable performance [13,14]。例如,纽厄尔等人提出了古典堆叠沙漏网络架构提供灵感来源很多后续工作(15]。曹等人提出了一个卷积造成机器找到每个关节的位置,采用部分关联字段装配关节(16]。Bazarevsky等人提出BlazePose估计人类构成的一组代码高FPS (17]。

HPE的研究的基础上,一些研究已经开始关注行动的模型质量评价(AQA) [18]。AQA任务的目标是设计一个系统,可以自动和客观地评价一些特定的人类活动通过视频或图像。AQA目前正在研制的在许多实际应用场景中,如外科技能等级、医疗康复测试运动员的姿势调整,指导系统,操作遵从性分析,监测和危险的行动。评价模块可以分为三种类型,即。,回归评分、评分和成对排序。在这项研究中,人体姿态估计后,我们采用分级评估行动的质量在一个引体向上测试周期五个州。

在体育领域,许多行为往往不同于日常运动。通常很难跟踪复杂的运动和高速动作,就像击剑和挑战身体姿势的爆炸行动瑜伽。此外,运动设备的遮挡和干扰也提高本地化的目标很困难。许多一直努力提高HPE的性能和AQA运动。Zecha等人提出了一种姿态校正的方法对水下训练(19]。内尔等人改善堆叠沙漏网络预测曲棍球运动员的态度和坚持在同一时间20.]。Trejo和元开发了一个交互式系统采用演感知的几个姿势学习瑜伽的功能,为用户提供了与姿态校正(21]。Promrit Waijanya提出视频姿势采用triplet-loss嵌入技术和应用一次性学习检测一个羽毛球运动员的姿势22]。须等人提出了一个方法,预测球的轨迹排球把实际抛前0.3秒通过观察setter球员的运动(23]。许等人提出self-attentive LSTM和多尺度卷积跳过LSTM预测总得分(te)和元素总程序组件得分(pc)在花样滑冰24]。香等。25]潜水过程分为四个阶段:开始,跳,下降,进入水和采用四个独立P3D模型(26完成特征提取)。

,单杠引体向上测试设备就像需要修复一个仰卧起坐的脚。然而,辅助设备的影响往往忽略在姿态估计。因此,检测和定位设备的关键点可能对HPE和AQA提供补充信息。火车在这项工作中,我们深入学习网络,给人体的要点和设备。然后,分级评估行动的质量是使用一个随机森林分类器。训练有素的网络移植到嵌入式平台证实了它的实用性。智能引体向上测试可以进行令人满意的性能。

3所示。该方法

工作流实现智能引体向上测试基于PEPoseNet如图1。有三个模块使用虚线框,即。,数据集模块,PEPoseNet模块、评估模块。数据集模块完成数据收集和标记。PEPoseNet模块训练和测试样本与一个轻量级的网络架构。评估模块负责引体向上的动作质量评估测试。


图1
基于PEPoseNet智能引体向上测试的工作流程。
3.1。数据收集和注释

领域的体育和体育锻炼(SPE),存在几种流行的数据集,例如,利兹运动姿势(LSP) (27在电影院),帧标记(警察)[28],和潘行动[29日]。然而,我们所知,没有可用的公共引体向上数据集到现在。因此,我们需要建立一个自产引体向上的研究数据集。

自产引体向上数据集SDUST-PUT命名,其中包括263年从在线视频和1737年拍摄的图像中提取图像的志愿者。图片应该包含一个主题,同时单杠。不同的姿势被认为,例如,站在单杠,准备跳,做引体向上的不同阶段。

图2展示了四个例子SDUST-PUT不同状态的图像。数据2(一个)和2 (b)从志愿者和代表准备或结束和挂起,分别在数字2 (c)和2 (d)从在线视频中提取和代表拉或简历和实现,分别。注释图像有效,我们开发的一个软件上运行Windows或Mac系统基于摆动框架(30.]。注释器标签可以人工关节和关键点半自动设备的风格。起初,OpenPifPaf算法(31日)是用来自动标签人工关节。然后,用户只需要注释少量的关键设备和正确的一个小数量的不准确点OpenPifPaf注释。数据注释的效率大大提高使用开发的软件。注释结果保存为. json格式。为了避免不准确的压缩图像的注释,注释器记录的距离比而不是直接的距离。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
图2
引体向上SDUST-PUT图像在不同的州的例子。(a)或结束,(b)挂从志愿者;(c)拉/简历;(d)实现从在线视频中提取。

关键的距离比和左边界记录为横轴的价值,以及关键的距离比上缘是记录为纵轴的价值。注释器公开下载https://github.com/PEPoseNet/PEPoseNet。注释器还可以用于标签相似数据集相关的人体姿态估计。图3(一个)说明注释器的运行界面,而数字3 (b)和3 (c)说明两个示例标记结果。

(一)
(一)
(b)
(b)
(c)
(c)
图3
(一)注释器的运行界面。小圆标签符号充斥着不同的颜色。(b)标签的结果直接射杀。(c)标签斜前面拍摄的结果。
3.2。拟议中的PEPoseNet

图4说明了PEPoseNet提出的总体架构,以及不同块的结构。如图4(一)骨干是灵感来自谷歌BlazePose [17]。它包括两个层次的网络,即。,the heatmap network and the key point network. The backbone adopts three types of convolution layer structure, i.e., Block 1, Block 2, and Block 3 as illustrated in Figures4 (b)- - - - - -4 (d),分别。三个街区充满了不同的颜色,以方便歧视。块1结合简单的深度方面分离卷积和定期卷积如图4 (b)。除了类似的深度方面分离卷积和定期卷积层,块2图4 (c)采用Maxpool层等级降低图像比例尺,而块3在图4 (d)采用一个upsampling层等级增加图像比例尺。这些块的设计是为了方便他们在移动平台上运行或嵌入式设备。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
图4
的体系结构提出了PEPoseNet。(一)由两个功能网络的骨干,即。热图网络和关键网络。(b)的结构块1,(c)的结构块2,(d)的结构块3。通道用虚线箭头表示,他们只有向前传播,没有梯度反向传播。“Conv”是指标准卷积层,而depthwiseConv指深度方面分离卷积(32- - - - - -34]。
3.2.1之上。热图网络和关键网络

的基本结构的热图网络在图右边所示4(一),这是类似于堆叠沙漏纽厄尔等人提出的网络。15]。编码器接收原始图像大小为512×512。一系列的深度方面随后通过卷积分离最大池层依次进行。在实现过程中,一步一步频道数量的增加与不同尺度提取潜在的信息。然后,编码器输出8×8×288的热图。在连接编码器和解码器,剩余结构(35)采用减少信息损失。译码器采用多层upsampling操作不断增加的热图的大小。深度方面分离卷积是用来进一步在不同尺度的解码信息。

在培训过程中,如何有效地获取原始图像的关键点是一个重要的问题。在这里,我们使用一个2 d高斯核的损失函数的热图网络提取要点尽可能的粗糙的中心。的损失函数的热图网络如下: 在哪里P和E代表人类的预测的热图关节和关键点的设备,分别 和 代表相应的地面真理。米p和米E代表人类的面具关节和设备关键点,分别,利用正负样本分配不同的权重。也就是说,阳性样品的重量是1,而负样本是0.1。⊙表示element-wise象征产品。Cp和CE代表人类关节关节和设备的训练重量,分别。

如图5,每个中心的热图是搜索的标签数据(关键点的坐标),和一个热图是由设置最近的像素更接近1,而像素远离中心设置为0。在这样一种方式,每个原始图像产生15的热图,大小为128×128,对应于15个要点。


图5
机制产生地面实况的热图采用2 d高斯内核。

热图网络输出丰富信息的要点将关键网络准确定位要点。从图4(一)的,我们可以看到,前层的热图网络连接到译码器的关键网络。两个特定的修改是在关键网络的建设。首先,我们利用中间数据的热图的译码器,而不是最终的输出。观察到大量的有效信息存在于中间数据,而不是在最后卷积层。第二,只保留在向前传播关键网络的训练过程(虚线箭头在图表示4(一))之间的梯度反向传播关键解码和输出的热图冻结。这样修改可以有效地避免影响代热图培训关键的解码器。关键网络的损失函数分为两部分,即。、分类和回归损失损失。这是定义如下: 在哪里l卫生计量系统网络代表了分类损失是一样的损失函数的热图网络。l注册代表了回归损失函数表示的位置预测的点和标签点之间的区别。λ是一个常数平衡两种损失。它被设置为0.05,这个工作。

回归损失函数定义如下: 在哪里O和 代表了预测关键点的位置和相应的标签,分别。 是一组标签点类型。Z代表了人体的面积,可以估计如下: Δ在哪里x和Δy水平和垂直坐标之间的最大距离是在真实的标签,分别。光滑的l1是一个阈值函数定义如下:

图6演示了一个演示的结果的热图网络和网络的关键点。在图6(一)15、原始图像和预测的热图。可以看出,中心的热图非常接近真正的人体关节的位置和单杠的关键点。在图6 (b),提炼要点由关键网络输出。很明显,两个关键点的单杠引体向上测试可以提供一个良好的定位参考。

(一)
(一)
(b)
(b)
图6
演示的热图和关键点提取从一个主题使用的热图网络和关键网络,分别。(a)原始图像和15预测的热图节点和(b)提取的人类关节和单杠的关键点。
3.2.2。Pretrained网络

在深入学习网络的训练过程,会出现过度拟合的数据量很小。要解决这个问题有两种解决方案,即:,data augmentation and transfer learning based on the pretrained network. In this work, we are prone to adopt pretrained scheme as the LSP [27和警察28数据集和适合pretraining网络。由于太阳能发电和警察数据集不需要包含一个单杠、图像与一致的标签并筛选出SDUST-PUT pretraining深层网络。pretraining过程,我们首先训练的热图网络。然后,关键网络是由固定的参数训练的热图网络。pretraining是令人满意的,因为正确比例的关键点((电子邮件保护))可以达到85.1后200时代。因此,参数pretraining LSP和警察训练数据集作为初始化参数时采用SDUST-PUT PEPoseNet。有人指出热图网络输出层的参数和关键网络输出层应该取而代之的是随机值。受益于转移学习,训练效率和泛化能力的PEPoseNet明显改善。

3.3。引体向上的动作质量评估测试

引体向上测试是一个重要的物理测试项目在许多领域,如在学校和部队,由一系列复杂的动作。这是一个具有挑战性的任务,实现智能引体向上测试分析的基础上的图像或视频。两个视觉处理的任务应该在智能引体向上进行测试,即。人体姿态估计(HPE)和动作质量评估(AQA)。上述PEPoseNet能够进行人体姿态估计。然而,它仍然没有自动动作质量评估引体向上测试报告。在这项研究中,我们提出一个完整的智能评价方案,引体向上测试的过程。首先,我们将在一个引体向上运动周期划分为五个州,即。准备或结束,挂拉,实现,和简历表中列出1。部门提出了由经验丰富的教师在体育和引体向上测试占据了超过20年。

表1
五个州的一个引体向上周期及其评估标准。

图7说明了五个州和序列关系。可以看出,准备好或结束状态表示一组引体向上的启动和停止。挂起状态指的是身体挂在单杠(手臂完全扩展是必需的)。把状态指的是提升一个人的身体与他或她的手臂。获得状态是指保持头部在单杠。简历状态指的是放松的手臂和回到挂起状态。在一个引体向上周期,它是必需的,没有明显的弯曲和摇摆的身体或腿。


图7
插图的五个州一个引体向上周期序列的顺序。

第二,我们设计一个分级评估解决方案每个州在一个引体向上循环。显示在图8每个州的标准动作和非标准行动。为了使自动评分,我们采用随机森林分类器的评估模块。21个视频(包含8718帧)收集从志愿者训练分类器。为了确保行动的鲁棒性评价、距离和角度的关键点n−4日n−二十,n,n+二十,n+4帧被认为是,如图9。水平方向之间的角度是指一个和线连接的两个关键点。其他四个帧选择获得更明显的特征维数。此外,几个角度字里行间明显变化也被选为特征。对于每一个框架,有2270的特性,可用于评估。每一组关键的点的坐标值之间的距离除以两个髋关节规范化数据。人体的关键点的时空特性和设备,输出从PEPoseNet,美联储的分类器获得的状态n框架。


图8
说明每个州的标准和非标准的行为。

图9
选择特性的原理图在引体向上动作质量评估测试。(一)之间的距离两个髋关节采用标准,(b)额外的酒吧关键点,(c)两个关键点之间的距离和角度,角度和(d)辅助参考。

在实际应用程序中,状态流的随机森林是由模式过滤器过滤。然后,软件使用的循环计数的引体向上,并使用行动评估成绩每个周期。图10说明了实际引体向上的自动评分方案测试。我们假设一个完整的引体向上测试N周期,每个周期米框架。然后,引体向上的总分测试可以计算如下:(1)在每个周期计算累积分数。每一帧的一个周期,如果行动标准,评分值1是分配。否则,分配给0.5的评分值。然后,每个周期的分数累计的分数求和得到的每一帧的数量除以帧(米)。(2)计算累计分数在一个测试。也就是说,每个周期的分数直接总结得到总分。


图10
实用的引体向上的自动评分方案测试。对于每个周期,评分值1或0.5分配给每一帧的动作是否标准。标准动作是1的分数和非标准是0.5。累计获得的总分数加法的累积分数每个周期。

4所示。实验和结果

4.1。数据集和评价指标

三个数据集包括自产SDUST-PUT和两个公共数据集,即。,太阳能发电27和警察28)被用来培训和推广该PEPoseNet。LSP数据集2000图像包含一个球员所做的行动在羽毛球,棒球,和体操。警察数据集包含超过5000个标记帧图像提取的电影。在这些数据中,标签点一样的png图像的图像SDUST-PUT选择数据集和扩展到512×512。这些图片是用于pretraining深层网络。SDUST-PUT数据集包含2000个引体向上的图像必须同时包括人体和单杠。训练集和测试集的比例是7:3。

重点检测的准确性是正确衡量比例的关键点(PCK),指检测的比例,在归一化距离地面真理(28]。PCK定义如下: 在哪里我代表联合点的数量,d我代表之间的欧氏距离我th预测点及其地面实况,d代表了归一化比例因子。在这项工作中,我们采用左肩和右臀部之间的欧氏距离。T表示阈值(T在这项工作= 0.2)。

为了验证模型的实用性和软件提出了在这项研究中,21个引体向上视频从志愿者收集利用测试PEPoseNet和传统HPE算法。PEPoseNet的关键点和传统HPE算法提取,分别。然后,动作质量评估是由实现随机森林分类器。四个定量指标,即。,accuracy, precision, recall, andF1采用评估PEPoseNet和传统HPE算法的分类性能。的定义如下: 其中下标年代代表一个国家或一个动作。TP年代代表的数量正确分类年代框架。TN年代代表分类不正确的数量- s框架。《外交政策》年代代表的数量错误分类年代框架,FN年代代表的数量错误分类的非年代框架。

4.2。实现细节

培训的PEPoseNet TensorFlow 2.0 python库(36被称为。输入的彩色图像大小512×512×3。输出是15个关键点的坐标。亚当优化器(37)是用来加快培训。学习速率为0.001。初始权重采用pretrained模型训练的结果在太阳能发电和警察数据集。200时代特斯拉P100 16 g Nvidia GPU上实现。考虑到嵌入式或移动平台的计算能力有限,我们还测试了性能没有GPU AMD CPU Ryzen 7 3700 x。

我们所知,没有相关的引体向上测试深度网络进行比较。因此,我们与两个最新OpenPifPaf [31日]和MediaPipe [38由BlazePose](优化),他们还进行人体姿态估计。模型参数由官方提供的网。

4.3。烧蚀实验方案

我们设计四个烧蚀实验评价方法的关键模块的影响。PEPoseNet-A架构的目的是评估的热图网络的影响,即。,d我rectly input the heatmap output to the key point network or input the intermediate layer information of the heatmap network instead. The PEPoseNet-B architecture is designed to evaluate the stability of the output of the heatmap network. In the baseline architecture of PEPoseNet, the heatmap network is trained independently. Then, the key point network is trained based on the trained heatmaps in the condition of freezing the channel of heatmaps. The PEPoseNet-B architecture removes the freezing of the heatmap network and enables it to be adjusted in the training of the key point network. The PEPoseNet-C architecture is designed to evaluate the role of pretraining. As the ground truth of OpenPifPaf or MediaPipe is not consistent with the final output of the PEPoseNet, it is uncertain to determine whether pretraining brings positive or negative effects. Therefore, the PEPoseNet-C architecture is trained only on the SDUST-PUT dataset without adopting pretraining. The PEPoseNet-D architecture is designed to evaluate the effect of the two key points of the bar. That is, in the baseline of the PEPoseNet, the two key points of the bar are considered and attend to make decision in the following AQA algorithm, while the PEPoseNet-D architecture removes the two key points. Thus, it can be determined the role of the two key points of the bar by comparing the results of the PEPoseNet-D and baseline PEPoseNet.

4.4。实验结果
4.1.1。的性能基线PEPoseNet

表2列表15关键点的估计精度。右栏,左栏指的是双方的单杠引体向上测试。其他13个重点参考的人体姿态估计的关键位置。可以看出,所有的PCK值大于80。它反映的要点可以准确、有效地捕获通过引入热图和关键网络的级联操作和深度方面分离卷积。的FPS PEPoseNet达到32。结果表明,该模型的测试精度和速度是可以接受的实际应用。

表2
15个重点使用的估计准确性PEPoseNet SDUST-PUT。
10/24/11。比较的结果和烧蚀实验

表3列出了比较结果PCK和帧每秒(FPS)。可以看出的PCK OpenPifPaf达到88.7,但其FPS只有0.4。这意味着OpenPifPaf的计算成本是昂贵的,将限制其移植到移动或嵌入式设备。MediaPipe PCK的84.2,略高于83.8 PEPoseNet。然而,它的FPS 27 PEPoseNet小于32。稍高的PCK的MediaPipe可能成为更大的训练集和优化技巧支持谷歌工程师。相比之下,PEPoseNet取得最好的FPS由于深度方面可分离卷积。在实践中,高FPS是最具吸引力的特征模型移植到移动或嵌入式设备。此外,PEPoseNet的优势是能够找到设备的关键点。PCK和FPS的PEPoseNet-A基线模型相比明显降低。 It indicated that a large amount of feature data lost in the heatmap. Direct usage of the heatmap is not conducive to the key points. The PCK reduction of the PEPoseNet-B indicates that the scheme of frozen back-propagation routes is effective. The heatmap network is freed from the interference of the key point network. The results of PEPoseNet-C demonstrated that the effectiveness of a pretraining model based on the common HPE datasets.

表3
不同模型的平均PCK和FPS。

表4和5列表操作的性能质量评估进行的PEPoseNet MediaPipe,分别。的四个定量指标PEPoseNet明显优于MediaPipe。它反映了引入信息的有效性的关键设备。单杠的关键点提取有助于定位提供参考信息,确定运动的关键州更准确和可靠。例如,很难识别和区分准备或结束状态的人体的关键点。如果我们把考生的相对位置和单杠方面考虑,很容易做出正确的决定通过判断是否他或她的手。

表4
比较的国家分类由PEPoseNet MediaPipe引体向上测试。
表5
比较引体向上的动作分类由PEPoseNet和MediaPipe测试。

PEPoseNet的训练和测试成功之后,我们的模型移植到Android和iOS移动平台。TensorFlow TFLite和颤振的跨平台。开发手机应用程序可以执行智能引体向上测试和朋友接口和高效的实现。图11说明了在实际引体向上测试应用程序接口。应用程序对100多名志愿者学生进行测试。结果表明,应用程序适用于实际的引体向上测试满意的准确性和鲁棒性。它提供的功能分级评估和计数的引体向上,有利于避免作弊行为或虚假的分数。


图11
引体向上的接口测试应用程序在实际测试。

5。结论

在这项工作中,我们提出了一个新颖的深学习模式命名PEPoseNet智能引体向上测试基于人体的关键的点估计和单杠。自产引体向上数据集包含2000彩色图像从志愿者和互联网收集(SDUST-PUT)成立。对数据进行归一化和注释的半自动地。包含的热图的轻量级的深层网络主干采用网络和网络的关键点。采用深度方面分离卷积加快培训和收敛。分级评价标准的5个州在一个引体向上循环定义和实现的框架。一个简单的自动分级评分方案设计。一个健壮的、友好的移动应用开发为实际引体向上测试。验证、比较和烧蚀实验进行了评估模型和软件。实验结果表明,该PEPoseNet和移动应用程序可以提高效率,实用性,和公平的引体向上测试。 In the following work, we will continue to expand the size of dataset, investigate more efficient schemes to speed up the deep network, and explore more elaborate scoring scheme. Furthermore, the extension of the network and software to other sport projects will be explored and realized.

数据可用性

一些数据支持本研究的发现是公开的https://github.com/PEPoseNet/PEPoseNet。其他数据可从相应的作者在合理的请求。

信息披露

国众刘和剑王co-first作者分享。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

国众刘和剑王同样起到了推波助澜的作用。

确认

这部分工作是支持青岛的医疗卫生研究项目(批准号2021 - wjzd192)。