文摘

近年来,随着可穿戴传感器设备的发展,研究运动监测利用惯性测量单元已经收到了越来越多的关注;然而,一个特定的系统识别各种篮球投篮姿势不存在为止。在这项研究中,我们设计了一个传感器融合篮球投篮姿势基于卷积神经网络识别系统。使用传感器融合框架,系统收集篮球球员的投篮姿势数据主要力量的手,主力脚传感器融合,用深度学习基于卷积神经网络识别模型。我们收集了12177传感器融合篮球投篮姿势数据条目的13家中国成人18到40岁的男性受试者和至少2年的篮球经验,没有专业培训。然后我们训练和测试使用经典的射击姿势数据视觉几何组网络16深度学习模型。intratest达到平均召回率98.6%,平均精度率98.6%,准确率98.6%。已经达到平均召回率为89.8%,平均精度率达到91.1%,和89.9%的准确率。

1。介绍

篮球是最受欢迎的运动之一,拥有大量的粉丝。竞技体育,篮球需要两支球队的球员使用各种技术动作,互相竞争。篮球比赛包括各种技术统计数据,如得分,篮板,助攻,块,并窃取,其中分数决定哪支球队是中央方面是赢家和输家(1- - - - - -3]。篮球比赛中的得分是通过玩家射击球投到篮子里,拍摄,因此,在这个游戏中扮演一个重要的战术的作用。

近年来,随着可穿戴传感器技术的快速发展和需求的增加篮球在世界范围内,许多研究人员已经使用可穿戴设备集成了一个内部测量单元(IMU)研究篮球投篮4- - - - - -6]。白等。7)使用微软乐队和weSport系统收集数据从攻击和防御两个篮球运动员,他们使用支持向量机(SVM)有效区分投篮和防守在篮球比赛。Aacikmese et al。8),使用一个IMU的手臂,分类六个技术动作(左右盘带forward-backward运球,运球,双手运球,投篮,和休息)由SVM在篮球。赵et al。9)使用四个艾莫斯放置在左和右上臂和前臂收集篮球技术动作数据,使用支持向量机识别运球,传球,接球,射击。这些研究,用手臂上的传感器,解决基本的射击姿势,但忽视综合射击姿势。复合射击姿势是射击姿势,由一系列的手和脚运动(10]。它不足以研究复合射击姿势只使用手臂的传感器数据。

射击是一个技术动作,需要身体协调。在拍摄过程中,脚的运动和运动同样重要的武器1,10]。施等。11)使用智能鞋垫结合艾莫斯区分运球,跳,转身在篮球。彭et al。12)也使用智能鞋垫研究侧滑,回来,十字架,注射,和跳转步骤篮球。这些研究,关注篮球脚步运动使用智能鞋垫与艾莫斯集成,为我们提供了一个基础进行研究,综合射击姿势。

经过100多年的发展,篮球已经发展了许多复杂和微妙的技术动作,如射击。认识到这些技术动作需要强大的识别工具。支持向量机是一个简单的和健壮的算法和技术广泛应用于篮球运动识别(7- - - - - -9]。然而,支持向量机需要特征提取,不能应用于大规模训练样本。卷积神经网络(cnn)已经解决了这些问题。一个卷积神经网络是深度学习的代表算法之一。cnn的研究开始于1980年代和1990年代。在二十一世纪,随着深度学习的引入和发展的计算机硬件能够支持深度学习,有了cnn的快速发展,这些cnn在计算机视觉领域和自然语言处理13- - - - - -15]。CNN的发展,许多研究人员研究了体育使用多个艾莫斯与深度学习的CNN模型相结合。李等人。16)使用深度学习的CNN长期短期记忆模型分类六蹲的位置(一个正确和五个错误);Kautz et al。17)使用深CNN对10种沙滩排球技术动作进行分类。这些研究的有效性,说明了深度学习的巨大潜力模型基于cnn在体育领域的技术动作识别。

虽然有许多运动监测系统基于艾莫斯(6,18,19基于深),仍然没有系统学习模型来识别各种篮球投篮姿势。本研究提出了一种传感器融合篮球投篮姿势识别系统基于CNN识别多种类型的篮球投篮姿势。本研究的主要特点如下:(1)传感器融合框架致力于篮球投篮姿势是为了收集射击姿态数据和执行传感器数据融合(2)10个类型的传感器融合篮球投篮姿势数据集,可用于相关研究(3)10个类型的传感器融合篮球投篮姿势数据集被训练和测试使用经典的视觉几何组网络16 (VGG16)基于CNN,深度学习模型和结果验证深度学习模型的有效性射击姿势识别

本文的其余部分组织如下。部分2简要总结了数据收集的系统框架和方法,融合,分类。部分3介绍了实验和结果。部分4讨论了这项研究的结果。最后,结论提出了部分5。

2。材料和方法

2.1。系统硬件和软件设计

传感器融合篮球投篮姿势识别系统由两个独立的无线传感器模块、USB软件狗,和一台笔记本电脑,如图1。无线传感器模块由一个IMU(微控制器- 9250,包括加速度计和陀螺仪)和一个微控制器单元(MCU,北欧nrf52832,包括蓝牙功能)。该模块是由外部500 mA 3.3 V锂电池。IMU负责收集玩家的原始射击姿态数据,包括加速度计和陀螺仪数据数据。采样率为100 Hz,收集到的数据传输到单片机通过I2C。单片机是无线传感器模块的核心组件,负责传输原始拍摄姿势IMU数据通过蓝牙USB软件狗。USB软件狗包括蓝牙和USB人机接口设备(藏)功能;它负责传输原始拍摄姿势从无线传感器接收数据模块通过一个USB HID一台笔记本电脑。笔记本包含一个由MATLAB开发的数据处理软件,负责接收、显示,原始的射击姿势数据融合形成了传感器融合篮球投篮姿势数据集。

2.2。传感器融合框架

考虑右手球员为例。当一个篮球运动员,他的右手是最主要的力量,同时,左脚脚是主要的力量。的主要力量的手,主力脚在篮球投篮执行的主要任务。他们使射击姿势稳定和最能反映射击姿势的特点(10]。因此,右手的姿态数据和左脚的右手球员关键数据。相应地,左撇子球员的关键数据产生的左手和右脚。现代篮球的几种类型的射击姿势。对于基本的射击姿势,主力手传感器数据反映了射击姿势的特点。等综合射击姿势,停止跳投和收集步骤截图,主力手传感器数据不能完全反映姿势的特点。然而,主要的手传感器数据融合的主要力量脚传感器数据可以充分反映复合射击姿势的特点。因此,本研究提出了一种传感器融合框架,篮球投篮姿势。这个框架收集加速度计和陀螺仪数据使用无线传感器模块放置在主力的主要力量的手,脚的球员。然后,数据融合形成的深度学习模型的输入射击姿势分类。 The sensor fusion framework proposed in this study can classify a variety of complex shooting postures without increasing the number of sensors.

如图2传感器融合框架,提出了本研究包含三个步骤:(1)射击姿势数据收集,(2)数据对齐和合并,和(3)数据分割和排斥。首先,我们同步的两个独立的无线传感器模块和把他们放在玩家的主要力量的手,主力脚。然后,我们收集了射击姿态数据,其中包含时间戳和传输到笔记本电脑,存储在两个不同的文件。因为我们的采样率是100 Hz,时间戳以10毫秒为单位。第二,两个数据文件中的数据一致根据时间戳和合并成一个传感器融合数据文件,如算法所示1。文件_H file_F, file_M代表主力手传感器数据文件,主力脚传感器数据文件,分别和传感器融合数据文件。由于数据丢失在无线传感器模块和其他原因,射击姿态数据的主要力量的手,主力脚不匹配,因此,传感器融合数据频率遭受1.17%的损失。然而,频率降低并不影响射击姿势的识别。最后,我们将传感器融合数据文件分成独立的射击姿势数据条目,删除错误的姿态数据,并存储在传感器融合篮球投篮姿势数据集,如算法所示2,矩阵(i)表示射击姿态数据矩阵。我们标记生成的数据由于传感器误放或不正确的投篮姿势在实验阶段和删除在这个阶段。此后,传感器融合篮球投篮姿势数据集终于形成。

2.3。分类模型

VGG16 [20.- - - - - -22基于CNN[]深度学习模型23- - - - - -25)是图像识别的模型提出的视觉几何集团2014年牛津大学的。这个模型参加了2014年ImageNet图像分类和定位的挑战和取得优秀的成果。因为VGG16深学习模型显示,图像分类、性能优良和VGG16模型和一维卷积内核被用于一维分类数据通过使用加速度计和陀螺仪26),在这项研究中,我们使用一维卷积核VGG16深学习模型对传感器融合篮球投篮姿势进行分类。

VGG16深学习模型的结构主要包括卷积层,马克斯池层,和完全连接层,如图3。卷积的功能层,它由几种回旋的单位,是提取不同的特征输入数据。添加更多的卷积层意味着可以提取更多的复杂特性。卷积层的工作模式可以表示由方程(1),(2)和(3): 在哪里代表了样本数据的向量,代表卷积的向量的内核,样本数据的数量,是输入的数量特征,卷积核的长度,是卷积核的数量。的卷积运算的结果th卷积内核方程所示(4)。 在哪里 。因为我们使用填充,卷积后的向量操作的宽度 。

马克斯池层主要用于降低特征维数压缩数据和参数的数量,减少过度拟合,提高模型的容错。马克斯池层的工作模式可以表示由方程(5)和(6),是一大步。

完全连接层主要的角色分类,用于集成和分布式映射特性表示卷积层和最大池层提取的样品标签空间。完全连接层的输出最终的分类结果。

重量卷积层的初始化和完全连接层使用开明方法(27),它可以加速模型的收敛速度。的 - - - - - -评分方法(28),可以将数据集不同的测量转换为一个统一的测量 - - - - - -分数进行比较,采用数据标准化。模型使用亚当优化器(29日),简单实现的优点,计算效率高,降低内存需求,适用于大规模数据和参数的场景。通常用作随机梯度下降优化算法(SGD)。minibatch梯度下降算法采用模型的高速SGD算法以及批处理算法的稳定性,适合深度学习模型,需要处理大量的数据(25];在提出的模型中,批处理大小设置为200。具体参数设置表中列出1。

3所示。实验方法和结果

3.1。实验方法

进行的这项研究是符合赫尔辛基宣言和批准的协议是IEC中大医院的临床研究,与东南大学(zdsyll151-p01项目识别代码:2020)。

共有13名中国男性成年人(年龄 年,身高 厘米,体重 公斤)被选为主题。尽管他们有篮球经验( 年),他们不是职业球员,没有专业培训,报道在表2。所有受试者右手球员。有两个中心(C),两个大前锋(PF),三个小前锋(SF)、三个得分后卫(SG),和三个控卫(PG)。其中,五个受试者被训练为一个大学团队的一部分。所有科目给他们知情同意包含之前参加了实验。实验的受试者口头通知流程和预防措施实验开始之前。

我们选择了10个类型的篮球投篮姿势(30.- - - - - -33)的实验,总结如表3。这些姿势包括五个基本的射击姿势:勾手投篮,罚球,内射,单手上篮、跳投。此外,我们选择五种复合射击姿势:收集步骤截图,停止跳投,泵假货,抛弃抛出,旋转的跳投。泵停止跳投,假的,和旋转跳投是经常用于篮球。收集步骤截图和抛弃抛出新的介绍体育近年来越来越流行。

实验是在篮球场上进行的南京大学信息科学和技术。受试者重复每10个类型的篮球投篮姿势,如表所示3,50 - 150次。每个射击姿势分为1 - 4组根据体力的受试者,每组25 - 150射击姿势周期。在每个射击姿势周期的开始,受试者球不动了3 s,然后执行相应的拍摄姿势。完成射击姿势时,他们没有动,直到3 s已经过去。后立即射击姿势完成后,工作人员拿起球后,通过主题主题感动。如果测试没有完成,集团下一个射击姿势周期开始后接到球。如果测试组完成的,原始的射击姿势数据存储的数据处理软件,其中含有25 - 150射击姿势传感器数据融合的周期。射击姿态测试过程呈现在图4。

最后,10个类型的传感器融合篮球投篮姿势13数据集对象,共计12210射击姿势数据条目,包括12177个有效数据条目,形成。1228数据集包括1210收集步骤截图,钩,1209个罚球,1223年停止跳投,1221泵假货,1225里面,1218抛弃抛出,1216上篮,1207跳投,1220旋转跳投。加速度计数据波形的10个类型的传感器融合篮球投篮姿势如图5。

3.2。分类

在这项研究中,内部和intertraining和测试方法被用于传感器融合篮球投篮姿势数据集。这两种方法在计算机上进行了配置一个Core i5 - 9400 CPU, 32 GB内存和GeForce GT730显卡。操作系统是Windows 10家,该模型使用MATLAB实现2019 b深度学习工具。

3.2.1之上。Intratraining和测试

所有12177个传感器融合篮球投篮姿势数据条目被随机安排,和训练和测试数据集设计8:2的比例,其中包括9741 2436年训练数据集和数据条目数据条目的测试数据集。训练数据集被用来训练模型和测试数据集被用来测试模型。图6提出了一种比较的损失率和准确率intratraining过程。损失率降低,准确率不断增加,说明培训的持续改进模型。图7介绍了10的混淆矩阵类型的传感器融合篮球投篮姿势intratest测试数据集分类。矩阵的行变量代表召回率和假阴性率,和列变量代表了精确率和错误发现率。

3.2.2。Intertraining和测试

传感器融合篮球投篮姿势数据13名受试者被随机安排;11的数据对象被用来形成训练数据集,和两个对象的数据被用来测试数据集。训练数据条目的总数是10126,和测试数据条目的总数是2051。训练数据集被用来训练模型和测试数据集被用来测试模型。图8显示了一个比较的损失率和准确率intertraining过程。图9提出了10个类型的传感器融合的混淆矩阵篮球投篮姿势已经分类的测试数据集。

3.3。结果和分析

图10描绘了intratest t-SNE图的数据集。t-SNE图显示数据的分布特征直观地通过减少二维数据的高维数据。intratest t-SNE图的数据集,它可以观察到,单手上篮,抛弃,并停止跳投很容易混淆,勾手投篮,内射,罚球。

表4总结了召回率,精确率、平均召回率和精度平均intratest分类结果。intratest的分类结果表明,召回率为98.6%,平均和最大召回率为100%的跳投和旋转的跳投。最低召回率为96%的收集步骤。的平均精度率为98.6%;最大的勾手投篮的精确率为100%,和最小精度跳投率为97.2%。上述数据表明,尽管t-SNE图显示有容易混淆射击姿势intratest数据集,传感器融合篮球投篮姿势识别系统intratest仍然表现良好,由于intratraining和intratest数据集的选择方法。

图11礼物已经t-SNE图的数据集。t-SNE图数据集已经证明在投篮,罚球,勾手投篮、跳投很容易混淆,以及停止跳投和抛弃。

表5报告召回率,精确率、平均召回率和精度平均已经分类的结果。分类的结果已经表明,召回率为89.8%,平均和最大收集步骤的召回率为100%,泵假的,内射,旋转的跳投。抛弃的最低召回率为71%。的平均精度率为91.1%;最大的勾手投篮精准率为100%,旋转跳投,和最小精度内射率为65.9%。按图10,20个罚球和74年钩照片被确认为内部照片。这是因为罚球和内部照片是相似的,只是略有不同的版本的角度和速度。此外,由于我们没有无线传感器模块对左和右手腕,能够区分单独地和双手投篮姿势是轻微的。因此,一些单手投篮,如钩,确定为双手投篮,比如在拍摄。35抛弃将被确定为停止跳投同样的原因。有36个跳投确认为罚球由于类似的射击距离和拍摄角度之间的罚球和跳投。此外,没有指标在本研究收集的数据;因此,没有明确区分跳投篮姿势和nonjump射击姿势。此外,由于研究对象在这个实验中包括五个不同的播放位置(即。,C, PF, SF, SG, and PG), the heights and weights of the subjects were different, the subjects had very different actions in the same shooting posture, and considering that the subjects were not professional players, the shooting postures varied considerably. In addition, stability is poor when physical strength is insufficient [34]。这两点也解释了上述低识别率的射击姿势。最后,少数受试者导致识别率较低。

从分类结果,VGG16深学习模式取得了良好的分类在10个类型的传感器融合篮球投篮姿势识别实验。相比之下,(35)建立了一个深度学习模型在一维卷积网络(1 d-cnn)体系结构和验证在公共数据集UTD-MHAD包含27个类型的活动。在[36],CNN模型被用来确定六种步行模式。在[37),混合深度学习模型的基础上,提出了融合多种时空网络(FMS-Net),这是用于检测行走的四个阶段。上述研究结果达到只有intratest,上述研究结果的比较与intratest VGG16模型用于本研究的结果发现VGG16的分类结果优于其他三种分类模型。比较结果如表所示6。

以验证该系统的准确性和有效性,它是与引用(18,19,38]。文献[18)建立了一个实时可穿戴辅助系统基于加速度计的上肢投掷动作,它使用最长公共子序列(LCS)算法识别的六个阶段棒球投掷姿势。在[19),一个活动评估链建立了评估人类活动使用机器学习(ML)分类六种室内划船中风姿势(一个正确和五个错误)。文献[38)使用可穿戴基于SVM识别和无线系统开销,胸前传球,投篮在篮球。如表所示7系统,类似于上面的三个系统中,提出了利用少量的传感器识别的姿势。这个系统有一定的优势的平均精度与系统提出了参考文献[18,19]。尽管平均精度略低于系统提出了文献[38),系统提出了识别更多的姿势和达到良好的识别,即使对于容易混淆的姿势。此外,相比之下,毫升和SVM模型用于引用(19,38),在这项研究中使用的深度学习模型有更大的发展潜力。基于上述分析,在这项研究中提出的系统自有优势相比其他三个系统。

4所示。讨论

投篮是篮球比赛和训练的一个重要方面。正确区分使用的射击姿势篮球运动员在比赛和训练中可以帮助做出正确评估球员的技术特点,进而证明有助于进行有针对性的指导和训练的球员。本研究提出了一种传感器融合框架,篮球投篮姿势。它融合了传感器数据的主要力量的手,主力脚识别和分类的基本射击姿势和复合在篮球投篮姿势。提出的框架显示了可穿戴设备小说发展方向在篮球,这已经超出了传统的艾莫斯框架只放在怀里。虽然这个传感器融合框架可以识别更多复合射击姿势没有集成传感器,它仍然有一定的局限性,如下:(1)肢体的数据量仍然是有限的,可构成挑战准确地反映受试者的姿态信息(2)在使用该方法时,需要考虑传感器同步的问题,以及如何使两个传感器的数据如果一个传感器丢失数据(3)两个传感器的使用使我们的方法更昂贵比方法,它使用一个传感器

许多篮球投篮姿势有一定的相似之处,和非专业篮球球迷射击姿势通常不是标准和不稳定;因此,他们的射击姿势一般混乱。篮球投篮姿势识别系统提出了选择非专业篮球迷作为主题,使用一个基于CNN,深度学习模型分类10种容易混淆射击姿势,取得良好的分类效果,证明深度学习模型的可行性篮球投篮姿势识别和展示该系统的鲁棒性。此外,与ML如SVM模型相比,本文中使用的深度学习模型具有较强的发展潜力在未来,可以整合成一个低成本的集成电路在未来减少相应的智能设备的成本。因此,这项研究的结果可以用于未来的发展低成本的嵌入式智能为非专业篮球运动员篮球运动识别设备。

篮球投篮,尤其是综合射击姿势,可分为一系列的分解动作。每个分解动作的时序和注意力是不同的(10]。虽然VGG16深学习模型用于这项研究取得了良好的效果在分类10类型的传感器融合篮球投篮姿势,还有射击姿势分类精度较低,如停止跳投和内部照片。如果时间序列和注意判断是添加到深度学习模型,可以进一步提高识别效果。因为研究人员利用深度学习模型,结合时间序列和注意判断分类(39),我们还可以添加时序和注意判断深度学习在我们未来的工作模型,以提高分类精度。此外,轻量级的深度学习模型如MobileNet [40]和SqueezeNet [41)将采取相应的时间和空间效率增加时间序列和后注意判断。

文献[42)研究和快步行走在马术运动四坐标系统校准传感器数据的准确性。同样,传感器数据的准确性对认识篮球投篮的姿势也很重要。与文献[42),本研究仍需加强传感器数据准确性校准。一般来说,传感器会受到传感器漂移后一段时间,从而影响收集的数据的准确性。此外,传感器错位,肢体上的传感器是不稳定的,也会导致其他事故。在[43),作者提出了一个方法结合零速度更新(ZUPT)减少传感器漂移误差。旋转矩阵的方法也提出了(44),获得了良好的性能在处理传感器错位。在以后的工作,提高数据精度的传感器融合长期数据收集,我们将尝试解决传感器错位和传感器漂移通过软件校准,在引用了(42- - - - - -44]。此外,我们将提高无线传感器模块和添加一个绑定软件过滤器来减少传感器错位和传感器漂移的影响,提高传感器融合数据的准确性。

5。结论

在这项研究中,一个传感器融合篮球投篮姿势识别系统设计基于CNN。系统使用一个传感器融合框架收集射击姿态数据的球员主力的手,主力脚和传感器数据进行融合。随后,CNN-based深学习模型被用于分类。共有12177个传感器融合篮球投篮姿势数据条目的右手,左脚是使用这个系统收集13 18到40岁的中国成年男性受试者至少有2年的篮球经验但是没有任何职业篮球训练。射击姿态数据条目都被训练和测试使用的经典VGG16基于CNN通过内部的深度学习模型和intertraining /测试方法,实现令人满意的分类结果。这些分类结果明显优于类似的系统,证明了系统的有效性和未来的发展潜力。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由中国国家自然科学基金资助(41971340和41971340号)和中国国家重点研究和发展计划(批准号2019 yfc1510203)。