文摘

随着计算机视觉技术的发展,人类活动造成识别逐渐成为一个热门的研究方向,但仍存在一些问题在基于姿势识别的应用研究在体育行动协助评估。本文基于深度学习的人体运动姿势识别技术引入这一领域实现sports-assisted训练的情报。首先,我们分析的优点和局限性,最先进的人体运动姿态识别算法在计算机视觉在特定领域。在此基础上,人类的运动空间识别方法提出了基于潜望镜神经网络。首先,传统的雷达信号处理方法用于预处理人类空间位置和产生的回波信号频率图像的过程中人类的空间位置。然后,潜望镜构造神经网络(CNN),和时频图像作为输入数据的CNN训练网络参数。最后,测试方法是通过使用公开数据集在网络。实验结果表明,所设计的CNN可以准确地识别四种不同类型的体育运动,和准确性系数是至少97%。

1。介绍

人类运动姿势的识别已成为关注和广泛应用于计算机视觉1]。视频姿势识别通常意味着输入视频数据提取和分析视频功能通过各种图像处理和识别方法2]。为了实现人类行为识别的视频的目的,它有一个广泛的应用[3。视频的姿势状态识别的关键是提取适当的视频功能,分析和识别这些特性合理和准确4]。物理运动识别技术在各个领域的广泛应用。自然人与自然人识别技术应用到运动识别可以准确识别运动的目的,比较它们与现有的运动,并识别和正确的不规则运动(5]。

人工智能技术在1990年代开始出现,和机器视觉技术经过20年的发展已广泛应用于视频监控、虚拟成像,电影和电视制作,和其他行业6]。特别是,角色建模技术生成二维动画是当前科学技术研究的热点7,8]。与机器学习的应用在图像处理领域的逐渐成熟,深度学习和计算机二维动画的结合成像技术已经成为可能,(9]提出了多伦多大学的一般模型的使用,线框模型建模,建模方法更为高效,简单的图像提取,但数据噪音太大,影响动作的准确性受到过多的数据噪音的影响(10]。其他国内研究单位,仍然在学术探索和研究阶段,该算法在硬件的应用程序通常有很高的计算能力要求(11]。从国内外研究,识别的关键人物体式和2 d动画生成在于提取字符本身的每个操作,图像压缩和后续改进的卷积神经网络处理医学图像显示出强大的优势(12。在本文中,我们专注于深层神经网络的有效组合和姿势识别并提出一种改进的卷积神经网络体系结构,实现在复杂场景实时输出字符构成的多人游戏运动。

2。相关工作

人体运动姿态的检测和识别技术不仅可以应用在军事领域,智能家居也将有力地推动智能武器的发展,具有重要的应用前景。目前,主题空间识别的主要方法是识别基于视觉的可见光和微波。雷达microwave-based人类运动手势识别不受光的影响,可以保护用户隐私,可以穿透某些障碍识别(13]。因此,雷达microwave-based人类运动手势识别技术在智能家居领域的不可替代的地位,远程控制和智能武器。

雷达microwave-based人体运动姿势识别的关键是提取和识别微多普勒特性的回声。在文献中,微多普勒特性提取人类行为姿势的识别和分类等传统算法支持向量机(SVM),正交匹配追踪(OMP),和动态时间正规化(DTW)。虽然上述传统算法可以实现高精度,仅限于传统的监督学习,这需要人类从微多普勒信息提取功能,和提取的特征很难迁移应用程序由于识别对象的限制,而深学习算法可以克服这个限制。在文献[14,15),深入学习算法如cnn和dual-stream融合神经网络(TS-FNNs)被用来从r d提取和识别功能(range-Doppler)手势由调频连续波雷达的地图,和准确率明显提高与传统算法相比。这表明深度学习算法可以把一个伟大的改进雷达手势识别的准确性。然而,深的学习算法需要大量的数据,容易过度拟合和误差传递对于小数据集,导致可怜的识别结果(16]。

本文提出一种CNN-based微波对人类行为的体态识别方法。CNN可以自动提取行动回应没有人类的深度特征提取和模型具有较强的泛化能力17]。相比与传统的BP(反向传播)神经网络,CNN使用卷积内核为本地连接共享和重量,这减少了参数的数量并提高了网络的学习效率,可以更好地解决过度拟合和误差传播问题引起的小数据集(18]。摘要LFMCW雷达用于获取人类行为姿势回波信号,生成人类行为的时频图的姿势,和识别雷达回波图像的四种类型的人类行为姿势:走路,坐着,站着,和下降,CNN (19,20.]。最后的识别精度走路,坐着,站着,和运动下降达到97%以上。

3所示。方法

算法是基于自下而上的人体姿势识别算法,即首先确定人类运动的关键点和各种各样的人在复杂的环境中,然后形成一个骨骼的地图后人体运动的合理链接要点。当使用卷积神经网络处理的基本形象,只需要一个卷积来完成分析。首先,根据人体关节的坐标,关节水平,类型,特征映射人类建立直接联系,这有利于图像的数字处理,然后完成卷积操作,如图1。

在人类特性映射图表示1坐标,水平和类型的联合要点的形式确定特征向量,特征点和 ,相应的特征向量 在哪里代表的概率值类型的特征点 及其对应的关节是和代表父节点的坐标的偏移值的特征点的坐标特征点,特征向量的值。

3.1。收购微分信号

图2显示了LFMCW雷达发射信号时频关系,回波信号和微分信号。

在图2,是信号的起始频率,是最大的时间延迟,是信号的周期,信号的带宽,信号的有效时间是什么 ,也就是说, ,和信号的有效带宽通常小于 。

考虑到multiperiod LFMCW雷达回波信号,为了简化分析,忽略了初始阶段,锯齿LFMCW雷达信号。的复杂形式发出的信号 扫描周期是 在哪里随机传输信号的振幅在哪里 , 传输信号的瞬时频率吗 ,和 调频斜率(调频带宽和吗是扫描周期)。在时间= 0,假设有一个初始点目标的距离对雷达的雷达径向速度和方法(速度远离雷达积极和速度接近雷达为负),回波信号的移动目标的有效时间 扫描周期表示为 在哪里是衰减常数,它反映了环境对电磁波的影响,目标散射电磁波的能力;的目标回波的瞬时延迟 期;和 ,在这是光速。通过混合传输信号和目标回波信号在有效的乐队 期间,所得到的微分信号可以表示为

让 ;然后,替代为 ,带 到(4),而忽略 ,我们得到

傅里叶变换(FT) (5) 时间间隔 收益率差拍信号的频谱。

背景杂波的微分信号频谱,这需要由MTI处理。背景杂波主要是固定目标回波和缓慢移动的杂乱。本文选择巴特沃斯高通滤波器的MTI滤波器来抑制杂波。

3.2。STFT转换以生成回声时频图

当 ,方程(6), ,取得最大值,即

可以看出频率点对应于单一阶段的峰值信号频谱包含距离和速度信息。有必要进行时频分析的光谱成分中的所有repeated-period信号相同频率点STFT,以便获得微分打信号的多普勒频移信息,将它转换成二维信息,然后将它转换成一个时频图21- - - - - -23]。 在哪里是所有重复的周期信号的频谱分量相同频率点,是汉宁窗,距离是窗函数转变。

为了便于计算机处理,信号是离散的,离散的形式(8)是 在哪里x(n)内的所有重复的周期信号的离散谱分量相同的频率点,是汉宁窗,是一个移动窗口函数的步骤,行动步骤的数目,数字频率。

3.3。识别使用有线电视新闻网

时频图作为输入数据和网络参数训练。由于小数据集,构造CNN较少层减少过度拟合和误差传播,如图3和表1和2。

两个卷积层(C1,C2)与5×5卷积核的大小和16和32卷积内核分别在步骤1;两个池层(P1,P2)与3×3和2×2池窗口矩阵分别在步骤3和2;三个完全连接层(D1,D2,D3)与36 992×64、64×32和32×4权重矩阵维度分别)。的激活函数D1,D2 Relu1,除了完全连接层的激活函数D3, softmax。

卷积层(C1,C2)使用多个卷积内核从图像中提取深度特性。让原始图像 ,卷积核是 ,卷积核尺寸 ,和卷积内核移动一步 。 执行卷积操作和输出 ,然后激活函数Relu返回负值,即,

在汇聚层(P1,P2),池窗口矩阵用于提取储层的局部极大值输出,样本矩阵的每个通道输出矩阵维度在池中设置窗口,并将池窗口矩阵。让的输入向量维度1×36992; 是完全连接层的权重矩阵1,2,和3维36992×64×32岁和32×4,分别; 的输出向量D1, D2, BN(批正常化)层维度1×64,1×32岁和1×32岁的分别;和网络的预测值与维度1×4,分别。 是完全连接层的偏见D1,D2,D3,分别。让输出向量的D2层是 ;然后,BN层可以表示为

让softmax的输入向量 ;然后,

网络模型

摘要网络参数由梯度下降法,更新和损失函数交叉熵(交叉熵)

更新的过程参数可以表示为

4所示。实验和分析

上面的方法是通过实验验证使用一个在网络上公开的数据集(24- - - - - -27]。从LFMCW雷达获得的数据集,这人类手势的检测四种类型:走路,坐着,站着,和下降。与106年的实验室内环境参与者获取的运动数据,和每个动作重复2 - 3次。STFT使用汉宁窗长度为0.2和0.19的重叠时间年代(28,29日]。

4.1。CNN泛化性能

为了避免收敛速度慢的现象,由于学习速率太小和振荡时的精度参数收敛到最佳点附近由于太大学习速率,本文采用分段衰变的学习速率战略,也就是说,= 5×当在20轮迭代,= 1×从20到30轮,= 5×从30到40轮= 1×超过40次。

训练集的精度和误差的迭代轮如图4,测试的准确性有4类图像分类如表所示3。

从图4,训练集的准确性达到90%以上在5迭代,表明该网络参数的注意力集中到一个较小的范围内,但曲线振荡幅度更明显是由于学习速率大,当学习速率降低40迭代后,曲线的振荡幅度显著降低由于学习速率的减少,和150次迭代后的准确性达到99%以上,平均误差为0.0114。由于轻微的过度拟合,测试集的准确性总是略小于训练集,150次迭代之后,精度为97.208%,平均误差为0.1106。

4.2。网络参数对CNN的识别效果的影响

的精度和误差的迭代次数的训练集数据所示5(一个)- - - - - -5 (c)。

从图5,我们可以得到以下。①当激活函数改变,150次迭代后,训练集的准确性为98.6%,平均误差是0.1668;相比之前的参数改变,训练集的振荡幅度明显增大,加重过度拟合,并降低模型的泛化能力。②当优化器改变,150次迭代后,训练集的准确性为99.8%,平均误差是0.0162;相比之前的参数改变,训练集的振荡幅度基本上是相同的,减少了过度拟合,并且模型泛化能力基本上是相同的。当学习速率改变,150次迭代后,训练集的准确性为99.6%,平均误差为0.0219。相比之前的参数改变,训练集的振荡幅度略有增加,过度拟合略有减少,提高模型的泛化能力。测试结果如表所示4。

因此,当个人网络参数改变,网络模型的泛化能力将受到影响在某种程度上,但总测试集的准确性仍在94%以上(见表4),这表明,网络模型具有一定的鲁棒性,可以更好的提取和识别微多普勒特性的一些简单的人类行为姿势。

5。结论

人类CNN-based姿势动作识别方法提出了运动动作的判断。方法获得人类行为动作的时频图二维傅里叶变换,然后使用CNN提取微多普勒雷达时频图的特征分类。相比与传统的BP(反向传播)神经网络,它提高了网络的学习效率和更好的解决过度拟合的问题和造成mistransmission小数据集。该方法的鲁棒性和优越性从各个方面评价,实验是完美的和有效的。具体来说,识别精度高的分类是实现四个人类行为构成,即走路,坐着,站着,和下降,和最终的识别准确率达到97%以上,实现了预期的目标。

数据可用性

使用的实验数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。