文摘
在本文中,我们提出一个multiresidual运动员的姿势估计模块卷积神经网络方法在体育游戏视频。网络首先设计一种改进的剩余模块基于传统剩余模块。首先,一个大的知觉领域剩余模块旨在学习体育游戏视频中运动员组件之间的相关性在知觉领域。论文中多尺度剩余模块设计,以更好地解决错误的姿势估计由于问题规模变化的运动员在体育游戏视频组件。其次,这三个剩余模块作为卷积神经网络的构建块。分辨率高,大的知觉场剩余模块和多尺度剩余模块用于捕获信息在更大范围内以及在每个规模,当分辨率很低,只有提高剩余模块使用。最后,四个multiresidual模块卷积神经网络用于形成最终multiresidual模块堆叠卷积神经网络。本文提出的神经网络模型实现精度高89.5%和88.2%的上臂和下臂,分别,所以本文的方法减少了阻塞对运动员的姿态估计的影响在一定程度上。通过实验,可以看出该multiresidual模块堆叠卷积神经网络方法在体育比赛的视频中运动员的姿势估计进一步提高运动员的姿势估计的准确性在体育游戏视频。
1。介绍
有一个巨大的市场需求的分析和理解体育游戏视频。可以提高体育游戏视频的拍摄方法,使观众可以享受更清晰和更专业的体育游戏视频图像,它可以在运动场上目标性能,这样观众可以听到更多精彩的评论,而且它还可以提供标准的教学情况下,对于大多数球迷(1]。此外,统计各种数据的运动员在体育游戏视频不仅可以帮助运动员提高他们的技术水平也调整战术部署整个团队目标。例如,在大型运动如篮球和足球,统计球员的距离和运行轨迹和分析运动员的人类在游泳和跳水姿势可以帮助教练和运动员提高团队的力量在一定程度上(2]。体育游戏的需求分析和理解视频正在增加,但随着数量的爆炸性增长体育游戏视频,很难在传统的手工基于注解的体育游戏视频分析方法来满足扩张需求由于其高成本和许多局限性3]。目标探测技术可以检测运动员的位置,目标跟踪技术可以把运动员的运动轨迹,和运动员的姿势评估可以确定运动员的姿势。目标探测和运动员的姿势估计体育游戏视频的分析和理解的基础体育游戏视频。现有的目标探测技术和运动员的姿势估计通用地图上取得了良好的性能现场检测任务,但很少有专门的目标检测算法和数据体育游戏视频场景。对于一个新的数据领域,常见的做法是注释数据,然后训练新数据获取的目标检测算法检测模型(4]。
互联网的不断发展,大量的体育游戏视频数据每天都出现,给我们带来丰富的信息资源,但也带来了巨大的挑战,我们需要检索数据。虽然计算机硬件设备的不断更新,这仍然是一个巨大的挑战,面临着计算负担带来的大规模体育游戏视频检索任务。大多数以前的体育游戏视频检索是基于关键字的检索,而基于内容的体育游戏视频检索是一个更受欢迎的研究课题,可以了解各种参数,特性,人类行为和其他信息在体育游戏视频,匹配相应的行动模式,然后在网络数据检索(5]。运动员姿态估计技术可以更好地帮助计算机理解人类的运动在体育游戏视频和结合相关的联合和姿态信息,使计算机快速检索所需的体育游戏视频。在实用领域的运动员的姿势估计研究中,运动员的姿势估计分为基于二维姿态估计和三维姿态估计根据不同空间维度的研究;据的人数,运动员的姿势估计分为单人姿态估计和多人姿势估计;本文只讨论了研究的方向单人姿势估计基于二维静态图像,有效的运动员的姿势估计不仅要检测人类部分或关节的形象来衡量也正确定位这些部分的具体位置或关节;此外,它必须能够处理大型肢体变化,服装和光照条件的变化,以及严重的人类阻塞问题[6]。因此,运动员的姿势估计是计算机视觉领域的一个热门研究课题,是宝贵的和极具挑战性的研究7]。
本文主要研究运动员的检测和人体姿态估计在体育视频。从基于图像的目标检测和人体姿态估计算法,结合体育视频的特点,目标检测和人体姿态估计模型基于通用数据集训练迁移。体育领域的视频,它的目标是降低培训的成本和标签体育video-oriented运动员检测和评估任务,同时提高运动员的性能检测和人体姿态估计在体育视频。本文的第一部分是简介,介绍了该领域的研究现状的运动员的姿势估计和遇到的主要挑战人类行为识别,介绍了许多领域的研究的影响运动员的姿势估计和本文的研究框架。第二部分是相关的研究工作;首先,详细介绍卷积神经网络的研究现状对运动员的姿势估计在体育游戏视频和描述了本文的主要方向。部分3卷积神经网络提出了一种multiresidual模块运动员姿态估计方法,它使用三个不同的剩余模块能够有效地捕捉图像特征信息以及图像的视觉信息在每个规模,然后更准确地预测关节坐标。部分4实验结果的分析,我们详细描述整个实验的设计和操作和分析实验中遇到的一些问题在公共数据集。相关的实验设置和性能指标,以及实验结果,进行了分析和讨论。实验结果表明,我们的模型可以更全面和准确定位的一些关键点在不易察觉的2 d多人姿势估计和具有更好的鲁棒性,奠定了随后的人类行为的识别和理解的基础。部分5是结论,总结了整个论文的研究内容和提供了一个描述和对未来的研究前景。
2。相关工作
运动员的姿势估计已经应用在许多计算机视觉任务,如运动识别、视频监控的体育竞赛,和人类的轨迹跟踪。给定一个体育游戏视频或图片的序列,运动员的姿势估计的任务是估计人类实例的关节的位置在现场8]。深上优于运动员姿态估计算法认为人体姿态检测是一个关键点回归问题,训练与大量数据联合点类和位置注释最终获得一个模型,该模型可以预测人类关节的位置和类分。Bazarian等人设计了一个hourglass-like网络结构构成检测和添加了一个监控信号的网络改善姿态检测精度(9]。金字塔Mundt等人介绍了一个特性来执行节点在多尺度回归获得更准确的节点位置(10]。是单人体式估计任务只使用一个人工检测用一个简单的图像背景和干扰少,和现有单人姿态估计算法取得了良好的性能,达到了93%的准确率单人姿势估计数据集MPII [11]。然而,在实际情况下,大多数的图像有多个人体,当单人姿态估计算法已不再适用。
multiresidual模块卷积神经网络技术的姿势估计运动员在体育视频中,该算法的主要过程如下:特征提取网络提取候选人的关节,关节和提取的分组使用整数线性规划公式,这是一种自底向上算法。王ResNe网络取代的主要网络用于候选人的关节。他们还指出耦合约束的图像条件,减少了候选节点的数量,优化深挖算法,和更深层次的分割算法用于估计(12]。元等人提出了自上而下的面具RCNN算法,取得了良好的效果在目标探测实验(13]。该算法也适用于运动员的姿势估计领域。与深度学习和卷积网络技术的快速发展,运动员的姿势估计的准确性相对简单和标准的正常姿势已经显著提高,但对于一些特殊的复杂的姿势或多人在屏蔽的情况下,现有的方法仍然有不准确的定位等问题的相关的关节(关节和不正确的连接14]。研究的方法可以解决简单的运动员的姿势估计和复杂的运动员姿态估计问题是一个紧迫的问题目前;特别是,复杂的姿势的正确估计更重要的是在实践中应用价值(15,16]。
一般来说,现有的运动员姿态估计算法取得了良好的性能,但仍有一些问题在一些特定的场景中,如自上而下的多人姿态估计算法当多个人们聚集和模糊产生错过和错误检测(17,18]。同时现有的运动员姿态估计算法设计是基于通用的人体,将检测所有人类的姿势图;当一些特定区域的检测通常只需要特定的人体的姿势,现有算法无法进一步区分人类的姿势。在实践中,许多领域等的构成一个具体的个人,如运动员的姿势在体育视频和一个演员在舞台上的姿势。现有的算法更关心的准确性检测多个人体姿势,很少有研究在特定人类造成的检测19,20.]。大多数现有的数据集是通用的数据集,它将包含许多常见的生活场景,并基于这些模型训练数据集已经有可能检测到这些特定领域的目标,只是没有更详细的检测结果的区别。例如,检测运动员在体育游戏的视频可以被视为体育现场检测的人,除了通用检测器无法识别运动员在检测结果(21]。运动员提出基于multiresidual模块卷积神经网络估计方法比传统的方法证明了其显著的优势,可以获得更高的姿态估计结果。然而,如何设计一个专门的网络结构和提高运动员的姿势估计精度和鲁棒性问题已成为一个新兴的研究方向22]。在这篇文章中,我们将研究人类检测基于通用模型训练数据集,它有效地迁移到体育比赛视频领域完成检测和姿态估计的运动员在体育游戏视频23]。
3所示。研究运动员的姿势估计技术在体育游戏视频基于卷积神经网络与多个剩余模块
3.1。Multiresidual模块卷积神经网络模型结构
的设计和使用剩余的学习改善网络的性能,同时也提高运动员的姿势估计任务的准确性。主要使用剩余的单元映射模块来简化网络参数,允许我们很深的神经网络训练,但单位映射也残留的缺点学习的来源:单元映射不断增加的变化响应随着网络更进一步,因此增加了优化难度(24]。在卷积神经网络,增加响应的影响将更加明显,因为沙漏子网的基石是由剩余模块,和多个沙漏子网级联卷积神经网络。可以想象,整个主模块用于卷积神经网络剩余模块,因此响应网络中有更大的影响在深网络像卷积神经网络的训练,从而导致网络参数难以优化,最终影响预测精度(25]。
在计算机视觉其他任务中,辍学是一种简单而有效的正则化技术在神经网络和深度学习模型,可有效地防止过度拟合,同时提高模型的泛化能力(26,27]。自本节将使用一个完全卷积网络,具有很强的空间相关性每个连接点特性和人体的一部分特征训练图像,该功能激活也有一个强大的地图。在这种情况下,通过引入空间辍学,它可以帮助网络学习特性图上的相邻像素之间的相关性,在培训过程中,它可以防止过度拟合的网络和优化网络的性能。本文收集和组织体育比赛视频,选择10与原始视频数据完整的体育比赛。总视频时间达到2088分钟。因为会有很多广告、插页式广告和停顿在完整的视频和视频的长度会导致太多的处理时间,本文分割的完整视频。使用视频编辑工具,不影响图像质量,我们将拦截每一个完整的游戏视频。每场比赛将拦截20段,每次10 - 20秒,总共200个视频总持续时间678秒。然后这些视频剪辑分为帧,大小设置为1100×700个像素,总共17850照片。
两个单独的使用过滤器,而不是一个过滤器允许更好的学习空间上下文信息,因此没有回旋的卷积核的大小大于层所有剩余模块中使用,从而减少网络中参数的总数。虽然提出了改进剩余模块提高了模型的性能,改进后的剩余模块的有效感知领域由于小尺寸的卷积核剩余模块,和大的知觉场剩余模块设计的基础上改进的剩余模块来更好的学习人类的节点之间的关系。深残余学习取得了重大突破图像识别和分类任务通过使用剩余模块,可以表示为 在哪里米我和米我+ 1的输入和输出我th剩余模块,分别G是协议栈的卷积、规范化和relu,哪里H(米我)=米我是单位映射。设计的表达large-feeling野生剩余模块所示以下方程:
改进后的剩余模块可以避免单元映射的影响在传统的残余模块,和大的知觉场剩余模块扩展了知觉领域的网络输出层,但从本质上说,这两种剩余模块不能解决节点定位不准确的问题,由于人类尺度的变化图像。本节提出了一种多尺度剩余模块基于大型知觉领域剩余模块;顾名思义,多尺度剩余模块可以在多尺度图像的特征信息,它主要由卷积层,归一化层,激活层、汇聚层,upsampling层,和空间的辍学生层,如图1。
模块的表达式所示以下方程:
体育比赛中运动员的姿势评估数据集,人体关节17点需要预测,也就是说,左耳,右耳朵,左眼,右眼,鼻子,左肩,右肩,左肘,右手肘,左腕,右手腕,左臀部,臀部,左膝,右膝、左脚踝、右脚踝;本文使用相同的方法将这些17接合点。摘要100张照片是随机选择从图片边界标志着运动员的接合点,总共有773个人的姿势。
3.2。运动员的姿势估计算法的优化
的运动员,运动员和非专业运动员之间的区别,本质上是一个候选帧根据它们的特征分类的问题。定义一个特征向量问代表运动员,让运动员接近的候选人框功能问和候选人盒非专业运动员远离的特性问。这允许设置一个阈值来区分来自非专业运动员的运动员。从候选帧选择和特征提取模块、2048 -维深度特征对应于每个检测框架,可以用来区分不同的检测帧但无法区分从nonmobilizers运动员,所以需要一个线性变换的这些特性,这种线性变换模块将2048 -维候选帧特性转换为新的512 -维特性。512维的特征向量问被初始化为代表的运动员,通过不断优化参数的线性变换模块,运动员候选帧的新特性可以更类似于问和新功能的框架可以减少类似nonathlete候选人问。这个线性变换模块的公式如下:
在方程(4),t2048年代表候选人的原2048 -维特征框架,T表示新512 -维特性线性变换后,f是激活函数的线性变换模块,然后呢是线性变换模块的重量参数。假设米表示运动员和N表示包含运动员的照片;然后积极的包可以表示为相似F(米,N),K表示没有运动员的照片;然后-包相似性可以表示为F(米,K)。之间的相似图片包含运动员和运动员的范畴大于没有运动员的照片,F(米,N)>F(米,K)。因此这multiexample学习模型的损失函数被定义为
在方程(5),β表示相似的分化间隔和max函数的最大值。卷积神经网络,准确定位要点人类骨骼有很高要求的有效接受域面积的大小。感受野的表情显示在以下方程:
在方程(6),f(K我)的接受域我th回旋的层,f(K我+ 1)上的接受域我+ 1-th层,F卷积的步长,N是当前层卷积核的大小。在人类视觉系统,人类眼睛关注他们想关注的对象,却忽视了一些无关的信息。注意机制是一种更直接,完全呈现的关键信息。注意机制引入到运动员的姿势估计任务,图像中的重要信息,人体区域,可以关注,而背景干扰是提高模型检测精度过滤掉。注意机制的数学原理如下:
在方程(7),一个,b键值表示,c是查询向量,然后呢F是注重分数。注意机制首先生成整体功能在以下方程:
在方程(8),β是整个信息的功能,f是非线性激活函数,和卷积运算。软化后的激活函数面具分支,近似面具的人体区域,如方程(9),F是人体区域,β注意力地图功能:
3.3。运动员姿态估计系统的设计实现
原型系统的运动员的姿势估计,首先,体育游戏视频数据集输入到系统作为数据来源,然后选择所需的运动员的姿势估计模型为每秒钟检测要点视频出现在体育游戏,最后,检测结果输出。的预测结果原型系统包括三个部分:第一部分是检测框架为目标的人,随着person类标记在左上角;第二部分是人类关键点的线条,构成人类的姿势;第三部分是检测时间标记在左上角的检测框架。原型系统可以被暂停当前的预测结果第二体育视频,每秒钟的检测时间是相对固定的。然而,当人体被挡住,然后没有很大的影响的预测检测框架,但它会影响检测要点的阻挡,使关节之间的连接不完整。不同时期的体育游戏视频,可以检测到人体关键点。同时,原型系统采用体育游戏视频编辑技术缝合预测结果为独立的体育游戏视频根据不同的目标人物出现在体育游戏视频。人类态势评估系统的软件架构图所示2。
硬件参数的设计关注的是相机位置角和相机本身的参数。软件界面设计集中在相机界面层的一部分。因为许多摄像头驱动程序是独立开发,导致不一致的驱动程序所使用的相机,人类的姿势评估使用相机接口层设计为兼容的驱动程序。
在培训过程中,该优化模型的输入层(输入)有两个部分:一部分是输入图像矩阵的图像转换尺寸(高度、宽度、和渠道的数量),(图片,高度,宽度,和渠道的数量),切割,旋转,和屏蔽操作;另一部分是面具,它提供了人体的ROI区域在训练集的数据集。每一帧的数据集已经包含人类的四肢和灰度图像的灰度图像的人类骨骼点预设的图像。首先在训练和使用的数据集模型重量参数保存最后的训练。这是第一次培训,确保优化模型的准确性一般人类姿态估计通过训练数据集。随后的训练不使用初始化权重但读取重量参数第一个培训和使用收集到的运动员训练图像基于这个数据集,以确保优化模型的准确性的人体姿态估计的运动员。
4所示。结果和分析
4.1。Multiresidual模块卷积神经网络模型分析
PCKh越大(MPII头长度作为标准化参考)值,识别精度越高。本文模型的识别精度高于Deepercut, SHN, CPM和LSP做为训练集,识别精度的头,肩、肘、腕关节,和臀部部分是一样的与MPII CPM训练集和略低于HRnet最好的模型,但是膝盖和脚踝部分的识别精度较高。模型的复杂性,HRnet > CPM > Deepercut > SHN;因此,可以得出结论,该模型具有更大的优势解决的重复计算问题和逆秩序问题领域的联合分运动员的姿势估计和可以更好地介绍了生理特征信息来提高运动员的姿势的识别效果的评估。整体运动员姿态估计结果是更好的在主观视觉和客观指标。此外,CPM算法的识别精度与训练集MPII高于CPM模型的LSP做为训练集,这证明了更多的数据类型都包含在数据集,更好的估计结果(图3)。
说明实验的严谨性和演示模型的鲁棒性,我们进一步测试模型的测试集test-dev2020数据集。在图4,我们的测试结果显示在测试集test-dev2020网络模型。剩余模块模型仍然优于简单的基线(ResNet50) test-dev2020,美联社的70.7,0.7的改进;APL是76.7,0.9的改进;基于“增大化现实”技术的76.4,0.8的改进;我们的test-dev2020 +模型。结果我们的+模型test-dev2020也进一步提高。与简单的基线(ResNet50)相比,美联社的大型知觉领域剩余模块模型是71.1,1.1的改进;AP50是91.0,0.1的改进;APL是76.9,1.1的改进;基于“增大化现实”技术是76.6,1.0的改进。 The improved large perceptual field residual module model on test-dev2020 is also improved. The improved large perceptual field residual module model on test-dev2020 also improved again. Compared with Simple Baseline, the AP of the improved large perceptual field residual module model is 71.7, an improvement of 1.7; AP50 is 91.2, an improvement of 0.3; APL is 77.5, an improvement of 0.9; and AR is 77.3.
基于上述结果,我们可以看到,我们的关节局部和全局结构和跳连接模块可以有效改善模型性能的2 d多人姿势估计任务与鲁棒性。总的来说,提高大型知觉领域剩余模块模型改进了test-dev2020数据集上的所有指标,基于“增大化现实”技术的进步表明我们的+ +模型确实能够发现一些关键点没有检测到,而美联社的提高,AP50, AP75表明改进的大知觉场剩余模块模型可以更准确的定位。此外,提高大型知觉场剩余模块模型APM和APL也有所改善,但测试结果的APM中型目标仍小于APL大型目标,再次支持当地的细节的重要性在2 d多人造成估计的任务。
4.2。运动员的姿势估计算法的性能分析
在MPII数据集上的实验验证,该方法在本节与开放的姿势相比,沙漏,MSPN方法,结果如表所示1。从表可以看出1积分IPR-DDHPE人体姿态估计模型优化的姿态回归可以显著提高其预测精度等关键点的头和肩膀。其平均地图精度可以达到94.6%,比表所示1。列出其他模型。
太阳能发电数据集与MPII共同训练数据集的实验,和LSP测试集上的性能测试,并给出最终结果的比较实验下PCK和卡式肺囊虫肺炎标准,和其他运动员的姿势估计方法的结果从相应的引用。比较实验数据的结果下PCK判据给出了数据5(一)图5(b)使这个实验数据结果LSP卡式肺囊虫肺炎条件下测试集。
在本节中,实验比较MRSH和运动员造成近年来常用的估计方法。实验使用MPII模型训练数据集,由于MPII数据集的测试集是不公开的,测试的结果提交给微处理器,它提供了反馈最终的预测结果。比较实验的最终结果PCKh准则下,和其他运动员的数据结果评估方法也由微处理器。比较实验数据的结果下PCKh判据给出了图6。
根据数据的数据结果5和6,可以看出MRSH方法提出了在这一节中是竞争与先进的运动员的姿势估计方法和达到高预测精度在太阳能发电数据集和MPII数据集,卡式肺囊虫肺炎的标准是衡量身体部位的准确性估计,上臂和下臂最受阻塞的LSP数据集,我们可以看到从图中的数据5。MRSH提出本文实现精度高89.0%和82.5%的上臂和下臂,分别,所以本节中的方法减少阻塞的影响的评估运动员的姿势在某种程度上。此外,根据数据结果如图5提出MRSH方法基于传统的沙漏网络问题的规模的变化的影响人类的部分在姿态估计精度进一步提高运动员的姿势估计的准确性与SDCNN方法提出了部分3。因此,MRSH本节提出有助于提高测试运动员的姿势估计精度,并实现这样一个好的结果在有限的实验设备,因为MRSH设计考虑的影响大小和一部分的优势大知觉领域的推理模糊人工关节。因此,MRSH可以充分了解不同尺度的特征信息,在训练和学习关节之间的关系在一个足够大的接受域,从而大大提高了运动员的姿态估计的准确性。
4.3。应用程序分析运动员的姿势估计系统
对人类构成评价模块使用6体育视频帧的数量在每个体育视频的姿势应该是发现被称为“的帧数来衡量,”和帧的数量构成的各个体育视频检测到被称为“的帧数来衡量。“数据的比较如图7。
评估步骤的影响模块在SDCNN设计摘要人体姿态估计的性能,本节分别进行警察数据集使用不同数量的步骤模块在同等条件下其他的实验设置。图8给SDCNN训练模型的实验数据结果由不同数量的步骤模块下两个评估标准,卡式肺囊虫肺炎和PCK PCK阈值为0.2和卡式肺囊虫肺炎阈值为0.5,为所有实验。
从实验结果中,我们可以看到,当步骤模块的数量逐渐增加,相应的SDCNN训练模型的性能对人类构成估计任务也不断改善,当4步模块数量的增加,训练模型测试和精度高,经过大量的实验步骤的增加模块,我们发现当步模块的数量继续增加,测试结果显示没有明显改善的精度值。梯子的最后数字模块最好的网络警察使用的数据集是4,而梯子模块最好的网络上使用太阳能发电数据集是5。
5。结论
卷积神经网络提出了一种multiresidual模块运动员姿态估计方法,它使用三个不同的残差与高级运动员姿态估计方法。此外,使用中间监督还避免了网络训练过程中的梯度消失的问题。实验结果表明,提出的准确性MRSH测试人类和关节部分改善。的方法是基于检测框架运动员第一次预处理的图像去除背景非专业运动员,然后使用自底向上的体式检测想法完成运动员在体育比赛视频,估计,提高了检测速度,同时减少错过的检测。在本文中,我们探讨了运动员检测和姿态估计算法对体育游戏的视频,我们取得了一些进展在提高模型的可重用性和减少标签和培训成本。本文方法检测每一帧的运动游戏视频,和检测结果仍然有些不同在不同的体育游戏视频帧,即使两帧相邻和内容是相似的。当结果是体育游戏视频帧,检测帧相同的运动员会抖动。改善视觉效果,引入体育游戏视频跟踪检测帧可以被认为是战略。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作在本文中被吕梁大学支持。