文摘

随着计算机技术的不断发展,基于各种类型的体育数据集的分析技术也在变化。典型代表是基于图像的运动识别技术,使视频动作识别与一定程度的可行性。在篮球技术动作视频,技术动作有着明显的特点。运动员在体育视频的画面是相对固定的,和场景是相对均匀,所以技术动作分析篮球技术动作的视频有一定的优势。然而,有许多挑战在篮球技术动作识别中,主要包括这样一个事实:篮球技巧很多,而且很复杂。为了解决上述问题,本研究提出了一种三维卷积神经网络框架,两种不同分辨率图像的输入执行在篮球技术动作的数据集。实验结果表明,算法流程设计在这个研究是有效行动识别在篮球技术动作的数据集。

1。介绍

近年来,随着人口的身体健康意识的觉醒,各种体育运动的推广和普及。在中国,篮球是最受欢迎的运动之一20到35岁之间的年轻人。设备简单,一个法院可以容纳10 - 20人。此外,篮球是人类身体的全面锻炼。较小的玩家可以利用他们的速度穿过人群,而更大的玩家可以使用他们的身体优势发挥的背。因此,无论身体状况一个运动员是什么,他或她可以在球场上找到合适的位置。同时,篮球不仅可以一对一的游戏也是一种竞争的团队运动,在漂亮的有组织的进攻得分的成就感不是不同的大假。

移动设备的升级和视频行业的兴起,越来越多的运动员都在关注使用视频来分析他们的技能在篮球训练(1,2]。同时,识别和分类的图像数据,甚至视频数据与GPU的计算能力的增长成为可能和优秀的建议模型领域的深度学习(3- - - - - -5]。作为一个例子,基于卷积神经网络模型有深度学习的一个重要的地方6- - - - - -9]。此外,还有许多其他的深度学习算法不断被开发,如BP神经网络算法(10,11],back-gradient算法[12),生成对抗网络(13,14),变压器(15,16),和生命周期评价17]。卷积神经网络领域的首次应用图像,实现卓越的性能在这个领域之后,研究人员先后提出的算法模型,将其应用到视频识别,如大规模视频分类(18),multimemory卷积神经网络(19,管卷积神经网络(20.]。如果这项技术可以用来识别技术篮球运动,因为他们出现在视频中,这将是一个重要的深度学习在体育运动中的应用。篮球训练等实际应用蕴含着巨大的希望。例如,它可以用来通知职业球员,分析师,或者篮球教练技术动作,它还可以帮助裁判判断游戏在球场上。深度学习的技术,如穿着传感器对人体关节来提取骨架点的位置信息运动识别有很大的局限性,而更容易和更有效的识别人体运动的动态视频(21- - - - - -23]。因此,大量的研究人员调查行动识别任务,通过深入学习(24- - - - - -26),通过改进的古典结构卷积神经网络获得frame-specific特性和interimage计时信息在视频。

因此,开展工作相关篮球技术动作的识别通过使用深度学习的方法。对于所有类型的教练和职业运动员,这技术将帮助他们更好地分析视频为了为球员提供更有效的指导和培训。

2。基于卷积神经网络的目标检测方法

传统的目标检测算法有流如图1。主要过程是首先截取图像通过一个滑动窗口。拦截窗口的形状和大小各不相同,由于目标的大小,这导致大量冗余的窗口(27]。接下来,窗口中的信息提取功能。有许多特征提取方法,包括基于形状和颜色根据规则方法指定不同的任务。这个步骤的特征提取关键算法性能通常是有因果联系的质量在很大程度上提取的特征。特征提取后,窗口内的目标需要被分类和确定。常用的分类器包括支持向量机和演算法,生成最终的检测结果。


图1
传统的目标检测算法。

刘等人提出了一个地区卷积神经网络基于深度学习(R-CNN)算法,利用卷积神经网络识别的图像(28]。本研究着重于介绍R-CNN、快速R-CNN [29日],和更快的R-CNN [30.]。

2.1。R-CNN

在深入学习相关的目标探测领域,R-CNN是第一个将卷积神经网络应用到目标检测算法。与传统的目标检测算法相比,R-CNN首先获得一个预选的盒子,目标可能是位于并执行特征提取在预选的盒子。这个过程是通过选择性搜索算法实现的,因此,窗口可以在很大程度上避免冗余,导致一个明确的改善网络的检测速度和精度。如图2,R-CNN获得预选的帧从输入图像,然后将图像转换的预选的帧大小一致的后续处理。最后,送入网络模型,特征向量输出,使用分类器来确定它是否属于某个类别。


图2
R-CNN框架。

滑动窗口的目标检测算法相比,R-CNN算法更快,但仍有很大的差距在实时检测结果。主要原因是特征提取过程包括大量的冗余计算,每个候选区域的图像卷积。此外,图像压缩和图像裁剪操作上执行每个候选区域,和一些图像的特征信息是在一定程度上失去了。

2.2。快R-CNN

相比传统的损失函数,快速R-CNN提出了一种多任务损失函数相结合的损失分类和边境的损失回归和包含到CNN作为一种正确的候选帧的位置信息。

损失函数包括分类和回归损失损失,下列公式所示: 在哪里 是指分类损失。 在哪里 表明回归的损失。

2.3。快R-CNN

快速R-CNN目标探测算法的性能有了很大提高和R-CNN算法相比,但快速的瓶颈R-CNN的步骤是选择搜索算法生成图像的检测框架。快R-CNN生成候选帧通过地区建议网络(RPN)。在这一点上,越快R-CNN被认为是一个端到端的检测算法。

如图3、更快R-CNN使用RPN提取预测帧特征映射,映射预测帧映射到功能,并给他们端到端检测算法。预测帧映射到特征映射,送入快速R-CNN分类和回归。


图3
框架R-CNN更快。

3所示。基于3 d-cnn视频动作识别

在篮球训练,当执行人类行为识别、输入数据是一个视频帧序列。因此,不仅需要考虑在太空行动的表示还原子之间的序列操作动作的视频帧序列。传统的二维卷积网络无法处理原子操作的前后顺序处理动作识别的视频。确定一个动作从一帧在真实的场景中是非常有限的。功能需要从一个连续的视频帧中提取为了更准确地分类操作。这个问题可以解决3 d卷积网络。

3.1。Dual-Resolution 3 d-cnn框架

3 d-cnn (3 d卷积神经网络)的能力来处理连续运动图像之间的信息通过扩展传统的CNN时间维度以外,还有一个2 d的视频数据同时包含时间和空间维度。二维卷积操作相比,三维卷积操作如图4和5。图5连续三帧捕获运动信息通过计算它们的时间维度3。


图4
二维卷积操作。

图5
三维卷积操作。

以同样的方式作为二维卷积内核,3 d卷积内核从堆叠中提取某些类型的功能使用weight-sharing视频帧的方法。得到更好的特性表征,更多类型的特性可以通过增加各种各样的卷积内核中提取或调整卷积内核重量相比,相同的卷积核在整个视频数据集。这是因为网络越深,越地图数据是可用的功能,和更多类型的抽象特性需要生成浅组合的特性。

最直截了当的方式,加快网络训练是减少数量的卷积层和完全连接层参数,但这减少了网络的性能。为了确保培训的性能不改变网络的大小,高分辨率数据可以缩减规模低分辨率的数据,然后,可以进行训练的实验。实验结果表明,虽然网络更快,低分辨率的输入数据仍然失去一些特征信息,和高分辨率的某些细节对识别率的影响。

如图6技术行动,目标是过程连续帧两种不同分辨率输入然后融合特性来进一步提高识别能力。一个视频分辨率为112×112和16个连续帧作为网络的输入。上游是原始帧图像视频预处理后,和较低的流在SSD裁剪的图像目标检测(用红笔圈出来的)。低流后SSD裁剪的图像目标检测(用红笔圈出来),分辨率大小为64×64。


图6
框架dual-resolution 3 d-cnn。

一幅由基于像素点的混合物RGB三原色的不同比例。当原始图像数据直接输入网络,输入数据的数量将会更大,增加了训练时间。然而,在人类行为识别的过程中,图片的颜色信息利用率相对较低,和灰色扩展原始图像可以被考虑。这是因为即使在灰度图像,图像的每个像素仍然有一定范围的变化,仍然可以保留绝大多数的原始图像的信息,如梯度。使用网络来处理灰度图像在一定程度上可以减少计算量,从而实现更有效地使用内存。在篮球技术动作识别中,不同的法院和变化的背景照明和人的衣服上的颜色会影响识别。通过灰色缩放图像,这些分散元素的影响可以忽略在某种程度上,所以灰色缩放技术动作图像是可行的。

3.2。初始化权重策略

为了提高培训效率,本研究提出了一种方法来初始化权值和时间信息相结合的空间卷积图像帧。卷积的3 d层,3 d卷积重量参数初始化使用ImageNet的2 d重量参数。

3.2.1之上。意思是初始化

自连续图像帧的技术动作有相似的背景,相似的图像提取的信息可以通过以下方程:

3.2.2。初始化的扩展

根据方程(5),通过引入一些多样性,可以使用常量的任意组合。

3.3。特征融合

3 d-cnn网络与不同的原始帧和裁剪后决议框架,分别将导致相应的文件。使用模型的权值作为参数,技术动作帧预测分别获得1024维的特征向量对应的帧序列。提取特征后,功能融合,为后续做了分类和识别的熔融特性。有很多方法可以融合的特性,但在这篇文章中,我们选择方程的形式(6)。只要尺寸相同,dual-stream模型可以融合在相应的位置,即使有细微的差别,可以通过填写解决通过翻译的差异。因此,本研究将保险丝双重分辨率流的特性总结的结果两个特征图。让输入连续的技术动作的最终功能表示框架 。在同一空间位置 , 和特性通道 ,的方程 可以表示如下:

只有六个类别分类的篮球技术动作,总共1800视频帧序列,这个样本大小是适合应用支持向量机(SVM)。支持向量机是统计学习方法基于结构风险最小化原则和VC维数。支持向量机算法的主要逻辑与标记训练样本训练和输出一个优化和分离超平面的大多数高维数据同时最小化结构的整体风险。二维点数据之间的区别很简单:有无穷多个两类之间的直线,使训练数据分类正确。一般来说,直线太接近示例类的分类不是最优,因为这种分类的界限更为敏感数据的噪声信号,导致可怜的泛化。对于线性可分的数据,支持向量机获得最优边界通过最小化之间的距离范围,所有的训练样本。当训练样本数据是线性的,支持向量机非线性的低维数据转换成线性可分在高维空间映射它在某种程度上通过一个内核函数。这个操作然后将输入空间的特征向量转化为可分离向量,最后获得表现最好的分类超曲面在高维空间中线性可分的方法。这是见图7。


图7
支持向量机从线性nonpartitionable线性分区地图功能。
3.4。实验结果的比较

帧的数量影响识别输入视频帧的规模时的性能是相同的。如果帧的数量太小了,例如,如果只有一个框架是输入,它会降低一个动作识别基于单帧,这是基于一个框架只是没有时间信息,不执行的连续动作识别。如果帧的数量过高,有必要考虑是否每个视频帧的数量是足够的和考虑使用数据进行扩展,以产生更多的训练数据时没有足够的数据。的帧数越高,越高训练网络模型的体积,和所需的时间越长。表1显示的识别率的比较dual-stream 3 d-cnn模型为不同的数据帧计数输入在这个研究。从实验结果可以看出,该算法实现识别效率最高的96.9%连续15个视频图像帧输入。

表1
实验结果的比较。

以连续15个视频图像帧为例,为了验证的性能dual-resolution 3 d-cnn single-resolution 3 d-cnn技术动作识别篮球技术动作视频集,这个部分比较原始帧3 d-cnn识别算法的性能和裁剪框3 d-cnn识别算法在篮球技术动作视频集。从实验结果可以得出结论,多分辨率的性能3 d-cnn篮球技术动作识别已得到改进single-resolution相比原始帧和裁剪的方法框架,特别是跳射击行动,行动的识别率超过95%。混淆矩阵的结果表明,该实验有一些误分类。例如,转变和山姆Gord移动,这可能是由于一些相似之处,误导后卫的防线前突破从另一边。也有一些混乱,Dunbay之间的移动,可能是因为很少有帧之间的结合球运动技术动作,所以有一些误分类。

4所示。结论

本研究专注于视频篮球技术动作识别的问题,提出了一种识别架构,结合SSD-based目标检测算法和多分辨率3 d-cnn动作识别。此外,这项研究侧重于广泛使用卷积神经网络领域的深入学习。主要的目标检测算法和行为识别算法详细提出。一系列的数据处理过程是用来创建一个数据集1800年篮球技术动作视频基于实用的技术动作发生在NBA职业,受欢迎的亮点,和出版篮球教学视频平台上,根据现代篮球的规则的进化操作。最后,dual-resolution 3 d-cnn架构的视频中篮球动作识别算法是为了建立一个CNN网络行动的认可。算法的有效性验证通过比较原始帧和裁剪后帧和SVM分类融合特性在篮球技术动作的数据集。

虽然在这方面已经取得了一些进展研究一个自制的篮球技术动作的数据集,从实际应用仍有一定的差距,许多实际问题需要解决。在动作识别目标探测的基础上,如何更好地识别技术动作如果字符行动涉及一定的遮挡和干扰,或如果多个不尽相同大小的目标出现在相同的拍摄。在视频篮球技术动作分析,可用于包括攻击者的信息,这名后卫,两者之间的相互作用。法庭上有位置信息如罚球和三分线,这可以用来表示人的位置和使用这个来推断行动。这些有一些承诺的寻找新的线索来实现改进的识别。如果这些问题能被解决,那么他们可以用来提高篮球技术动作识别的性能。此外,高级信息的表示和低级特征技术动作识别利用其他问题之前调查是否有独特的适用于篮球动作和行为表示,在这一过程中,调查比当前更好的表示特性。

数据可用性

标签数据集用于支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持的河北工业大学职业和技术。