文摘
作为一项全身运动,跳绳在日常生活中发挥着越来越重要的作用。跳绳教育,由于缺少专业教师、学生的训练效率很低。跳绳监测装置是沉重和昂贵,劳工统计局和能源消耗的成本很高。为了快速分析学生的运动过程,并提供正确的指导,本文实现了运动人体运动过程的分析方法。跳绳的肢体姿势分析问题转化为multilabel分类问题,基于移动视觉的实时人体运动分析方法,提出了在跳绳和算法模型验证的场景。实验结果证明本文提出的改进算法,取得了预期的效果。在跳绳动作的分析,选择hyperparameters介绍了实验期间,和验证,提出ALSTM-LSTM可以解决的问题multilabel分类在跳绳过程中。准确率达到95.1%,它可以提供最好的所有指标和良好的性能。是具有重要意义的运动分析和运动质量评价在运动。
1。介绍
在人体运动识别的研究中,我们应用卷积神经网络,选择一个一维的CNN + LSTM算法作为优化算法,然后选择传感器,可以支持智能可穿戴设备,建立一个识别网络模型,然后处理收集到的数据。这种方法可以在任何情况下使用,成本相对较低,主要是用于体育赛事(1]。目前,蓝牙是广泛应用于无线技术。为了评估蓝牙的性能,尤其是身体区域网络(禁止)使用磁惯性传感器单元(M-IMUs)人体运动跟踪,我们提出一个方法的吞吐量性能通用传感器网络应用程序(2]。分析人类运动的肌肉骨骼疾病的诊断具有重要意义。通常情况下,我们使用微多普勒雷达测量的特性来分析人类的运动,但深度学习需要大量的数据和成本是相当高的。因此,我们研究了一个更精确的方法来改善分析,也就是说,扩大人类运动的模式的微数据网络生成对策(甘斯)3]。在视频流检测人类存在是一项具有挑战性的研究。因此,我们提出一个方法来分析人类运动在黑暗中通过使用数字图像处理技术,可以主要模型,分析和确定人类在走路和跑步运动视频(4]。
近年来,随着计算机技术的不断发展和应用和人工智能技术,基于视觉的人体运动分析技术一直在快速发展,高度重视5,6]。基于视觉的人体运动分析也是一个具有挑战性的问题在计算机视觉中,主要涉及到模式识别、图像处理、虚拟现实,和其他学科,具有人机交互领域的广泛的应用前景。运动分析的核心问题是人体形状的推理,这是计算机视觉领域的一个重要的研究课题。人工智能技术已经渗透到体育训练项目,和许多聪明的硬件和软件生产的运动训练。人工智能技术在运动训练的不断渗透促进了体育的发展。视觉、听觉、艺术、手、脚,手腕和肩运动需要有节奏的协调。温和的整体实力,身体力量,能力,和协调,特别是适用于中小学体育教育。有一个严重短缺的专业体育教师在中国义务教育。根据教育部的统计,专业体育教师在义务教育的比例在中国目前是300000。合格的体育教师的发展需要专业学习和长期的积累教育经验,进一步加剧的严重性缺乏专业体育教师技能。 Schools cannot keep track of each student’s learning and training progress, and it is difficult to educate different people for the second time. The traditional control equipment for skipping rope in college entrance examination is bulky and expensive, and the cost and labor energy consumption are too high. The key to improve the performance of suspension test is to automatically and quickly analyze whether the suspension action conforms to the standard and to provide correct driving and training plans, so as to better apply the action analysis of suspension test to skipping rope training in complex situations. In view of the above problems, this paper mainly combines deep learning and multilabel action analysis [7),和一个新的算法分析艺术运动的过程中multilabel跳绳。适用于跳绳和跳跃动作的分析两条腿在中学的入学考试8]。适用于复杂的室内和室外环境,不需要掌握任何特殊的设备。与传统的复杂的设计相比,它可以有效地提高检测精度,减少误警率和报警系统,从而有效地解决实时分析问题和准确的分析,以及改善中学生的成绩。运动中的应用深度学习模型预测可以深入分析和预测运动规则,可以有效地确定相应的运动规则和轨迹。通过掌握运动的规划,效率和标准化的运动可以有效地改善。
2。相关技术的介绍
2.1。深度学习方法
深度学习模型设计的目的是提取低维的特征数据,将它们转化为高维特征。深度学习不同与传统的机器学习算法,需要大量数据的支持。的数据量越大,学习更多的知识模型,效果就越好。随着5 g时代,大容量数据的生成提供数据支持深度学习模式。与此同时,软件和硬件设备的发展也深度学习模式适用于实际的环境(9,10]。
2.1.1。循环神经网络模型
循环神经网络(RNN)是一种使用最广泛的深度学习的基本结构。不同于一般的前馈神经网络,循环神经网络允许横向连接的神经单元。循环神经网络,当前层的输入数据和输出数据的层需要被合并到当前层,并通过循环计算数据可以更新的第一层,因此,循环神经网络有一定的存储功能上一层的数据。因为循环神经网络具有一定的存储容量,它可以捕捉的信息数据和学习之前和之后的数据之间的逻辑关系,所以RNN常被用来解决这个问题的时间序列数据的特征。为了检测和识别轨道电路故障,一个LSTM结构网络是用来学习电路信号数据的时间和空间相关性。为了解决这个问题,很难检测图像的恢复心跳和舒张超声波图像,Dezak等人使用一个RNN结构处理和考虑帧之间的时间依赖性。深入学习模型包括一个RNN李等人结构用于人体运动识别(11,12]。我们提出一个RNN模型,如张,实现角色情感识别通过处理脑电图和面部表情图像数据(13]。Zollavari等人提出了一个基于RNN系统结构模型,用于检测变压器的运行状态和评估变压器的机械完整性。张等人提出了汉字识别模型的框架和汉字生成模型基于RNN的方法(14]。基于LST马等人提出了一个方法,可以有效地提取广播信道的状态信息和射频设备的特征来识别非法广播信号。金等人使用RNN结构疾病的预测。循环神经网络非常敏感的时间序列数据的特点,基于RNN和模型结构可以为主15]。
循环神经网络的结构如图1。一个是参数输入层和隐层之间,B是隐藏层和隐层之间的参数,和C之间的参数隐藏层和输出层。RNN深神经网络,但参数层是共享的,所以只有三个权重矩阵:a、B和c,这个参数共享结构有两个优点:(1)学习模型的输入和输出的长度是相同的,无论序列的长度;(2)每个时间步的参数是相同的,所以相同的传递函数可以用于学习。循环神经网络有严重的缺点;也就是说,很难学习的长期依赖。如图2,黑圈是用来表示关键信息。随着网络执行向后一步一步,当前的重要信息是不断“稀释”,和第一个信息几乎是无用的在第七周期。这就是为什么很难长期依赖循环神经网络学习(16]。
长期存储网络是基于上述循环神经网络的改进的变异,这优化长期依赖造成的困难和梯度消失问题长期学习共同循环神经网络。盖茨LSTM包括存储单元、输入、输出盖茨,和忘记了盖茨。图2是一种单细胞LSTM的结构示意图。输入,输出,和忘记门三乙状神经元,它们的输出是“0”或“1”,这意味着“关闭”或“on”的功能。类似于RNN,输入的输入是集成在当前时刻与隐层输出之前的一刻。然而,LSTM向一个方向只能从一个方向在处理得到结果序列数据。为了解决这个问题,肉汁等人提出了一个双向长期存储网络(Bi-SLSTM)正向LSTM和反向LSTM组成,可有效检索双向意义信息的序列数据(17,18]。
2.2。基于OpenPose 2 d人体姿态估计
2.2.1。OpenPose网络体系结构
如图3,OpenPose网络结构包括整个网络的上、下部分。之前的网络是用来预测的可靠性图L骨骼关节,和下一个网络是用来预测一些关联向量场可以迭代两部分,分别预测。
首先前特征提取输入图像的vgg-19前面描述的地图和一组特性f是输出。然后,信心OpenPose网络生成一组图形和一些关联向量场,这是年代l=(F),ll=Øl(F),分别为,(F)和Øl(F)推断从vgg-19第一特征提取,分别和每个部分可以迭代。在迭代过程中,输出的结果推断从之前的特征提取和特征映射F的原始图像作为输入的当前网络各个部分产生一个更精确的预测结果。公式(1)和(2)预测的具体过程,和Øt结果在中间的步骤吗t(19,20.]。
OpenPose网络使用损失函数的上、下部分。因此,每个部分的结果OpenPose重复预测作为损失函数的上下部分,每个损失函数和加权L2空间通过使用一个损失函数之间的预测和实际值。两部分的总损失函数的t台网络如下公式所示: 在哪里代表着地位的信心地图图像的正确的标签,代表真正的标签的位置关联向量场的形象,和W是一个二进制掩模,避免错误在某些情况下罚款。当P没有标签,仍然OpenPose网络进行预测,W可以避免错误惩罚没有标签的数据。最后总体目标函数如下(21]:
3所示。运动分析算法在跳绳
基于计算机视觉的运动分析在运动过程是一个复杂的问题,特别是在暴力运动的分析。为了解释身体当摇晃你的腿上的动作而翩翩起舞的,本章介绍了构建一个网络使用深度学习的典范。本章主要介绍了研究内容(22]。
3.1。问题的定义
本研究的内容是一个智能运动不在场证明系统的实现。它包括数据收集和处理、资源开采、数据传输和网络模型的设计。本文提供了一个实时的基于移动视觉的人体运动分析方法。通过培训两个摆动脚在高中入学考试,问题的实时运动分析和评价他们的身体运动素质是解决和人类运动的一般分析只注重整体性能。具体地说,它不涉及所有类型的肢体动作,所以它不能在复杂的环境中有效地运作。为了有效地解决这个问题,操作分析算法设计本文基于深度学习模型。因此,在深度学习的选择模型中,CNN网络模型的结构和LSTM注意力机制的网络组合模型用于通过CNN获得可靠的数据和分析是否有参考身体运动一起LSTM模型。图4显示了具体的流程图。从流程图可以看出,脚运动分析主要包括两个模块:一个模块用于从人体获取关键信息,和其他模块是用来获得关键信息的数学模型,并建立一个multilabel分类网络模型(23]。
结束时的身体动作分析运动员在跳的过程中他们的腿,首先,视频流数据转化为关键人体坐标数据通过改进的开放的网络模型,时间序列建立了人体的重要坐标,和数据预处理。主要的坐标点的过程中得到健壮的跳绳,因为主要形式的关键坐标时间序列。他们之间有一定的关系。本文还应用LSTM模型提交行为分析通过将该算法转换为一个多标记分类算法。姿势分析问题的过程中,跳绳可以评估运动员是否有行动基准在跳绳过程中。本研究的内容是分析一分钟的双脚跳的姿势中学的入学考试。绳子的售后分析可分为是否身体站。你的左胳膊和身体紧吗?右手臂和身体是否紧张。右手臂的左臂对称吗? Does your left arm bounce? Skipping rope with your right arm? These body movements are selected by professional PE teachers by checking the average input. The problem is defined as a preprocessor in a given string group skipping record and record sequence data group. A reliable data sequenceD= (r1,r2,…,r米),在那里rj,我= 1,…,米代表米序列数据;标签设置l= {l1、…ln},lj,在那里j= 1,…,n跳绳时代表成员的标签。每个D女士记录L女士与多元化相关联的标记。分析multitagged手势可以表示的元组 ,在这 我们的目标是设计和实现一个标签分类模型,可以判断肢体标签跳绳过程中根据新姿态数据集 。
3.2。网络框架设计
3.2.1之上。MobileNetv2框架
MobileNetv2网络在2018年谷歌提出的团队。MobileNetv2点缺陷结构,如图5。图5(一个)ResNet网络的残余结构,图吗5 (b)MobileNetv2的通货紧缩结构。磁阻的激活函数时,高阶元素的信息丢失较少,所以low-size信息通常是丢失时,磁阻的激活函数。因此,在最后的阶段,激活函数是用来保持低维线性卷积信息资源在1层(24]。
(一)
(b)
表1显示了MobileNetv2网络的结构。T表示扩展因数,C表示信道的特性输出矩阵,N表示逆向剩余结构的重复的数量,和年代表示一步距离。图6显示了一个网络结构与异步长时间的间隔。
3.2.2。ALSTM-LSTM网络框架
本文的立场分析人体在跳绳变成了multilabel问题基于时间比率。LSTM扮演重要的角色在处理和全球存储。为了维护BOM在时间序列的性能,注意机制也是一个全球性的处理方法。它可以应用的注意机制LSTM提高LSTM的性能,相当于显著增加LSTM的总体信息建模过程。鱼类可以弥补LSTM没有学习和失败。因此,灵感来自LSTM机制和关注,本文提出一种方法应用LSTM集中机制和多个标签结合单个LSTM进行分类。图7显示了ALSTM-LSTM网络框架。
ALSTM-LSTM由五层组成:输入层、批量标准化层,ALSTM-LSTM层,绑定层和乙状结肠层。图8显示了ALSTM-LSTM系统结构的详细参数。
本文在使用之前添加了一个缓冲层LSTM和ALSTM层。此外,ALSTM-LSTM模型定义了s形激活函数作为激活函数的最后一层,选择二进制横向熵损失函数作为损失函数,因为multilabel分类问题讨论了根据multilabel算法的转换方法。
3.3。最优估计算法的态度
OpenPose的两个分支,一个分支是用来预测的信心地图(S)的关键点,即关键点的概率值,另一个分支是用来预测拥堵(L)之间的关联域两个关键点。损失在不同阶段代表了L2树之间的期望值和实际值(年代 ,l )(S)和我,和w (P)是0或1。当它是0,这意味着关键是失踪,损失是不计算。不同阶段的损失计算如下:
总损失是基于每个阶段损失的总和。
为了进一步提高姿态估计算法的泛化能力和准确性,鱼翅引入了两个权重和惩罚项的总损失函数: 。通过引入权重,损失的影响在两个分支的结果进行了分析。
4所示。实验和分析
建立了两级网络模型来分析腿的运动在中央入学考试。第一阶段是美国,它是用来获取人体的关键坐标。在第二阶段,本章引入了两个必要的数据在实验过程中,介绍了收集和预处理的过程不详细数据集,并使实验比较和分析。
4.1。介绍数据集
以下4.4.1。MPII数据集
MPII数据集包含了许多日常生活的照片。有24920张照片,3844年40522人样本训练团体,和1758年测试组在这个数据集。Tompson等人提出的方法被用在这个实验。培训组的数量是25863,2958年验证组,测试组共11701名。MPII数据集显示16种人类关节和15个关键坐标输出的总热图。挑战MPII数据集,包括更多的样本和复杂的背景,严重的阻塞,照明条件差(25]。
4.1.2。跳绳的数据集
本研究的数据集来自实验中学。跳过视频研究所收集的数据都被手机和在不同的场景从前面开始。是记录在一个MP4格式的视频。不同的便携式设备有不同的图像像素。现在,200高中学生从一分钟跳过视频收集数据。其中,有96个男孩,104个女孩,52岁的女孩。80人在两年,高中毕业,68人从高中毕业三年了。学生在11至15岁。图9显示了男性和女性的分布直方图系列3。
数据标签标记在一个时间顺序由专业人士分析图像。地震仪数据标签标记,左和右手臂定义为约束水平,身体直立(身体直,但不难),左胳膊和强壮的身体,右臂和强壮的身体,左腕摆绳,右手臂摆动,右手臂摆动。这些标签的选择是根据定义技术跳绳的入学考试。请参考表2获取详细信息。的X特性集和Y标记集构造的数据代表DX-dimensional采用输入空间=R的大小D是36,Y= {0,1}问可能的标签,标签空间的大小问是6, ,在哪里米代表数据集的大小, 是一个36-dimensional向量,然后呢 是一个标记Y的子集。
4.2。评价指标
4.2.1。准备人类重点检测的评价指标
经常使用的人类骨骼点的评价指标包括ok年代,平均精度美联社和地图。书的目的是计算实际值和预测人体重要组成部分的相似度。计算方法是
美联社指数是用来计算精度测试集的比例,和单人姿态估计的计算方法和多人姿势估计是不同的。
地图是指人工阈值设置不同的值T在美联社的指标,然后获得多个AP指标,多个AP平均指标,最后获得地图。
4.2.2。Multilabel分类的评价指标
基于multilabel分类评价指标通常包括准确性,F1-Score,偏好,和回忆。准确性意味着数量的对数的分类器在测试样本集的比例占所有样本在分类过程。
f值权重的乘积的偏好和回忆。准确性是指准确预测样本阳性样本的比例在测试集,和召回率是指准确预测的比例正样本阳性样本。
4.3。实验结果分析
4.3.1。实验环境设置
深度学习的发展模式需要开源框架,如TensorFlow Keras,咖啡,PyTorch。他们需要使用专业语言编程实验。深度学习模式训练过程中需要大量的计算机资源和计算机设备也有一定的要求:(1)软件环境是姿态估计和跳跃运动分析的过程中,和代码都在PyCharm Jupyter笔记本。这里,PyCharm python语言开发工具,功能强大。Jupyter笔记本是一个交互式应用程序的web编程,和每一步的结果可以很容易地看到Jupyter笔记本。是很方便的调整训练的深度学习模式。此外,Jupyter笔记本可以分析数据和可视化。(2)这个实验的硬件环境如下:英特尔CPU是共产党员7 - 8700 k, 3.70 GHz, 32 g内存。GPU GTX1080TI。
4.3.2。实验分析的态度估计结果
为了提高姿态估计的准确性和效率,初期的特征提取模型vgg-19 OpenPose被MobileNetV2轻量级的网络模型,引入配额和惩罚项最终损失函数。虽然精度预计不会提高在当地的实验平台,使用MobileNetV2减少的总体参数模型。表3MPII数据集显示了结果。结果表明,改进后的模型结构能满足实验的要求。
4.3.3。实验结果分析Multilabel跳跃运动的分类
本文在分析跳过操作时,首先使用一个单层LSTM结构比较LSTM superparameter选择结果的影响。团结在LSTM设置为32,64年,128年和256年,分别。统一是指每个LSTM隐层神经元的数量单位,和批量大小设置为16个,32岁,48岁,64年,80年,100年,128年,150年,200年和256年,分别。最佳性能时0.896批处理大小是100的数量单位LSTM (64)。
图10显示了中华民国和AUC曲线在一个单层LSTM隐藏的单位是64和批处理大小是100,和每个标签的准确性是0.785,0.843,0.907,0.768,0.838,和0.953,分别。
跳绳运动分析过程实际上是一个长序列分析过程中,我们需要使用一个滑动窗口来段数据。其中,为了找到合适的滑动窗口长度,10帧累积坐标和需要15帧累积坐标,分别三组需要20帧累积坐标,和30%的一步是设置为一个实验数据叠加。图11显示LSTM性能在64,批处理大小为100,和滑动窗口长度为10、15和20。实验结果表明,LSTM的性能是最好的,当滑动窗口的长度是15。
进一步验证本文提出的模型的有效性,我们设置的隐藏的单位数量ALSTM-LSTM到64。当批处理的规模达到100和滑动窗口的长度是15,从图可以看出12每个标签的准确性是改善与单层LSTM模型。
ALSTM-LSTM模型与几个模型来进一步验证其性能,如表所示4。multilabel分类问题的结果,跳过操作分析,深度学习模型优于传统的机器学习算法。本文进一步验证批归一化法对模型性能的影响。在过去跳过操作实验的分析,结构的ALSTM-LSTM系统提供最高的性能指标,表明SVM的性能是最差的。
5。结论
为了解决跳绳运动分析的难题,本文研究运动场景下的运动分析。首先,提出了一种深度学习框架获得关键点的坐标。坐标是优化获得人体关键点的序列。的问题判断是否获得关键序列标准转换为multilabel分类问题,并提出了ALSTM-LSTM multilabel分类模型分类标签,最终达到95.1%的准确率,达到最好的在所有的索引,这是具有重要意义的运动分析和运动质量评价过程中运动。通过人体运动的分类规则,本文提出了一种基于移动视觉的人体运动模型,可以有效地提高运动效率。未来的主要工作是分析运动姿势的正确性对健康的影响,找出一种运动模式,适用于高效、健康从大量的运动数据集。
数据可用性
使用的实验数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者声明,关于这项工作他们没有利益冲突。
确认
这项工作是支持的研究评估和培养下的中国儿童和青少年的体育道德纪律核心成就(19 bty005)。