一种改进的手势分割方法基于CNN和YCbCr手势识别

文摘

人民要求持续改进的互动体验,手势识别被广泛用作基本的人机交互。然而,由于环境、光源,封面,和其他因素的多样性和复杂性对手势识别手势有很大的影响。为了提高手势识别的特点,首先,手的皮肤颜色是透过YCbCr颜色空间独立的手势区域识别,和高斯滤波器用于过程手势边缘的噪声;其次,形态灰色打开操作用于处理姿态数据,使用基于标记的分水岭算法分割的手势轮廓,和eight-connected填充算法用于提高手势功能;最后,卷积神经网络用于识别手势数据集与收敛速度快。实验结果表明,该方法能够快速、准确地识别各种各样的姿势,平均识别成功率为96.46%,不显著增加识别时间。

1。介绍

随着时代的发展和技术,人机交互方法逐渐丰富。典型的交互方式,是活跃在人们的视线包括人脸识别、姿态识别、表情识别、和人类行为识别(1]。人机交互已经从最初的计算机为主体的人本身。手势是一个直观和生动的方式行为,包含各种各样的丰富和重要的信息。近年来,手势识别技术一直是国内外研究人员的研究课题。

手势识别可以从不同领域的研究,主要包括模式识别、信号处理、计算机视觉、和人机交互,和典型的方法包括基于深度学习手势识别,手势识别基于隐马尔科夫模型(HMM) [2手势识别,基于几何特性,基于计算机视觉的手势识别(3]。手势识别所面临的主要问题是不同的地区,不同的习俗有不同的手势含义,使手势有多样性和一词多义4,5]。基于数据手套的手势识别和光学标记使手势识别限制性和复杂,和基于计算机视觉的手势识别手势检测有许多问题,如手势覆盖,背景颜色的变化和场景,各种图像亮度的变化(6),手势识别造成非常大的影响,并增加识别的难度。

早期的手势识别,手势识别主要依靠手套与传感器。污垢(7)1983年第一次使用标志着手套基于棕榈骨定位识别简单的手势。在接下来的十年中,手势识别技术使用手套作为外部设备。高桥和Kishino8)成功地使用手套认识到46个常见的手势。鉴于手套不够方便,手套与传感器取代了手指标记方法。在复杂应用背景,静态手势再也不能满足现实的需要,并在动态手势识别视频已经成为主要的研究方向。手在视频数据流分割研究的复杂背景下,崔和太阳9)用熵分析段手的形状,然后用手形状找到轮廓的质心识别手势,这种方法具有较高的识别率。研究的实时检测、跟踪和识别的反对者在动态环境中,弗朗基et al。10)提升分类器和肤色先验知识用于跟踪和提出的主动学习和指导方法,和方法可以实现更好的结果和提高算法相比,在仿真过程中,该方法的检出率可高达97%,跟踪率可高达99%,而且识别率高达70%。尽管上述算法和手势识别方法依靠外围设备可以完成手势识别,他们不能满足需求由于成本和外围设备的局限性。现在,手势识别基于深度学习已经成为一种主流的研究课题(11- - - - - -14]。

深度学习在计算机视觉领域的独特能力,模仿人类大脑的抽象内存的数据实现机器的声音数据的抽象表达,图片数据,文本数据等等。休博尔和维塞尔15]发现视觉皮层是层次化的,高层特征信息由底层功能,多级萃取后,获得的信息不太可能模棱两可,模仿了这个特性。彦et al。16)提出了一种神经网络模型在1983年视觉模式识别的一种机制。基于这些观察,勒存等。17)在他们的论文中提出了CNN结构,持续改进后,他们提出了一种多层神经网络模型称为LeNet-5识别手写的数字。网络不能胜任培训大规模数据,计算机性能不能满足大规模存储的需求,然后卷积神经网络停滞不前,同时,随着计算机性能的提高和大数据的发展,卷积神经网络层数取得了突破,这使得它可以培养大量的数据(18,19]。2012年的图片中净图像识别中,亚历克斯et al。20.)提出了AlexNet模型和赢得了2012图像识别大赛的冠军。Relu激活函数和辍学在网络,防止过度拟合技术启发提出卷积神经网络的高潮,然后很多研究者提出更多的模型与更高的层次,如ZFNet VGGNet GoogleNet, ResNet。到目前为止,各种神经网络一个接一个的出现和应用。Zhang et al。21)深度学习用于短期(stv)评估电力系统电压稳定,和他们的研究建立了一个评价模型基于长期和短期记忆(LSTM)通过学习系统动力学扰动后的时间依赖性;培训评估模型用于实时判断系统的稳定性,该方法可以准确、及时评估系统的稳定,优于传统基于浅层学习的评价方法。林等。22)使用深度学习识别疲劳驾驶和高识别率,和许多其他应用程序如23- - - - - -25]。此外,许多公司都投入了大量的精力在深度学习,这也促进了深度学习的发展。

李等人。26]提出了一种基于雷达的手势识别系统来提高识别精度,应用领域适应手势识别差异最小化用户的手势信息在学习和使用阶段,并提出系统的分类精度为目标领域数据集平均为98.8%。庇古等。27]探索深架构手势识别的视频,提出了一种新的端到端可训练的神经网络体系结构将颞隆起和双向复发。自那时以来,许多研究人员(28- - - - - -31日从不同方面]研究手势识别,而样本数据的问题是受到环境的影响,光,和其他因素存在,因此,手势特征并不明显,神经网络模型的识别率较低。

为了解决这个问题,姿态数据混乱,手势特征并不明显,预处理方案提出了能有效提取手势功能,和本文的贡献如下:(1)本研究使用YCBCR空间肤色颜色过滤段的手势区域提高特征手势。(2)第二,高斯滤波用于过程分段肤色区域周围的噪音;然后,我们使用形态学开操作处理手势图像数据,基于标记的分水岭算法部分手势区域,和eight-connected填补手势区域填充算法提高姿态特征信息。(3)最后,AlexNet卷积神经网络模型用于列车姿态数据集处理,实验结果表明,平均识别成功率是96.46%没有显著增加了识别时间。

2。姿态数据预处理

手势数据预处理主要是消除干扰特性的数据图片,突出手势功能,简化数据规模,提高训练效率,提高识别精度。摘要预处理方法包括肤色检测,概略介绍分水岭算法,eight-connected种子填充算法,和尺度归一化预处理流程如图1。

2.1。基于YCbCr肤色检测手势

姿态数据在不同时期,不同的灯光,和不同的环境,和手势特征干扰干扰特性,这增加的难度动作训练。为了减少亮度干扰特征、数据图像的RGB颜色空间转换到YCbCr空间,可以分离色度和亮度,和转换关系

的Cr通道YCbCr颜色空间中提取。为了减少干扰的高斯噪声手势特征,高斯滤波对数据执行图片,和二维高斯分布

的公式,x和y像素的坐标数据, 是参数。值越大,高斯模板的差异系数越小,图像的平滑作用越明显。本文使用一个内核对称高斯滤波,和肤色检测效果如图2。

2.2。分水岭算法和Eight-Connected种子填充算法

样品处理的数据通过肤色检测,图像分割的数据使用mark-based分水岭算法,这是一种连接相邻的像素灰度值到一个轮廓达到图像分割的目的,这是容易段图像噪音和不规则的梯度。基于标记的分水岭算法解决分水岭算法,遇到的问题和算法需要一个标志形象,指连接组件的图像分割,和连接组件的高度可以像一个大坝,可以防止当地下缘淹没,不可分割。mark-based分水岭算法能有效地分割的手势功能通过标记图的指导,和mark-based分水岭算法的处理过程如图3。

手势功能是准确地分割后,eight-connected种子填充算法来填补的内部像素分割不规则的手势区域。eight-connected种子填充算法的升级四个相连的填充算法,它是从一个注入点的区域,在四个方向延伸,覆盖区域中的所有像素,而eight-connected种子填充算法加速的速度填充整个地区扩展到八个方向。通过eight-connected种子填充算法,手势特征数据。eight-connected种子填充算法如图4。

2.3。规模标准化和手势标签

图像的分割和填充数据后,规模标准化操作可以确保一致性的特征提取,然后标签姿态进行神经网络训练数据和明显的特性。在这篇文章中,获得的图像数据分割和填充被规范化为227227,可以有效地提高模型的收敛速度和准确性在训练和防止梯度模型的爆炸。

3所示。手势识别基于AlexNet网络模型

深度学习指的是使用机器学习的深层神经网络模型,通过合理的建模、建设合理的损失函数,向前传播,反向传播,和大量的训练数据机训练,以模拟输入数据,输出数据的函数,使用训练有素的函数来处理新的输入,包括但不限于预测和分类。一般来说,神经网络分为三层:输入层、隐藏层和输出层。输入层是一层接收输入,它接收一个向量。即使输入数据并不是一个向量,例如,一幅画需要转换成一个向量为输入。隐藏层是中间层的转换函数特性。输出层输出层的结果。神经网络的本质是一个函数,这就完成了从输入数据转换到输出。

3.1。向前和向后传播过程的分析

深层神经网络意味着向前传播,输入数据后,通过计算数据流到下一层,然后到输出层。任何两层之间的函数 在哪里的重量值吗神经元的层的神经元的层,的抵消吗神经元的层,是神经元的层,激活值通过向前传播。在卷积神经网络中,卷积内核池用于特征提取和卷积层的特征提取 是卷积层的输出特性。如果有米卷积的层,是第i个输入功能,对应于卷积内核,是偏差矩阵,和反面是卷积计算函数。卷积层后,输出特性矩阵集中减少特征矩阵的维数。多个卷积池操作后,完全连接层是用来激活重量转换,并可以得到分类结果。函数表达式

的公式,是权重矩阵,输入特征数据,偏差。使用交叉熵(交叉熵)损失函数计算的损失价值向前传播,和反向传播调整为下一次迭代卷积神经网络参数,最大限度地减少损失函数的输出。更新功能如下:

的公式,通过计算和更新的学习速率和重量值吗 ,和通过计算和更新的学习速率和偏差 。

3.2。模型建立

本文指的是使用众所周知的卷积神经网络AlexNet,在2012年提出了图像网络图像识别竞争和赢得冠军。Relu激活函数和辍学预防技术提出了神经网络训练的网络有良好的性能。AlexNet模型有八层;其中,前五层是卷积池层,最后三层完全连接层。将softmax层可以输出1000 -维矩阵,即1000种标签分布;模型的详细结构如表所示1。

输入层是227227图像数据,第一层的卷积层使用11113卷积内核,使用Relu激活函数,然后使用33步长2池单元池。池的输出层是272796功能映射,然后输出图像归一化局部响应。的参数是K= 2,n= 5, , ,和27的特征图像输出2796人分成两组,每一个都是一个27岁2748功能形象。在第二个卷积层,填充= 2,边缘填充= 2,卷积内核中的5个5使用48,Relu激活函数。再次执行池,当地执行反应正常化后输出。相同的参数是第一层,并通过第二个卷积层,四组生成的输出,每一个都是13岁13128功能映射。

第三和第四层只有卷积层,它使用一个33256卷积内核,他们充满了的边缘填充= 1;卷积的步骤是1,我们使用Relu激活函数。通过卷积两层,输出是一个特征矩阵的大小1313384年。第五层使用填充= 1边灌满水,一个33192内核为卷积,卷积和输出是一个13岁13256特征矩阵。使用Relu激活函数,然后使用一个33池单位步长为2的池、和输出是一个66256特征矩阵。

第六层是完全连接,辍学是用来防止过拟合。第六层是第一个完整的连接层,共有1024卷积核,每一个都是66256年。因为卷积核心和输入特征矩阵是相同的大小,复杂的像素大小是102411,也就是说,1024个神经元。辍学是用来抑制过度拟合。第七层是整个连接层,第六层,输入1024个神经元,通过Relu激活函数,然后使用防止过拟合的辍学生。第八层是最后一个输出层。最后1024个神经元由softmax分类功能。从本研究只需要10个类别,输出是10浮点值。通过上述过程,AlexNet建立神经网络模型训练数据预处理。

3.3。模型的优化策略

AlexNet模型使用Relu激活函数 和当地反应正常化(LRN-Local反应正常化)。LRN达到局部抑制使反应更大,提高了模型的泛化能力。函数是 在哪里代表的输出我th卷积核 协调功能图通过Relu激活函数,代表相邻卷积核的数量,代表卷积核的数量在这一层。的值 和参数如下:

辍学的全部连接层中使用AlexNet模型来有效防止过拟合。在培训期间,神经元是随机灭活的概率为0.5,它收敛速度翻倍。

3.4。培训过程和结果

预处理的姿态数据集作为输入构建AlexNet网络模型,模型的训练是迭代正向传播和反向传播的过程。隐层的参数更新,减少损失值,提高模型的识别精度。本文的迭代的数量是3000,批量设置为32,和网络模型通过3000次迭代训练可以达到超过95%的识别精度测试数据集,和识别成功率的变化曲线在培训过程如图5。

4所示。实验结果和分析

4.1。实验环境

我们的实验是在PC上实现配备Nvidia Geforce GT 635 (GPU),英特尔酷睿i5 - 7500处理器,8 GB内存和Windows 10系统(64位)。识别和分类过程被PyCharm Community Edition 2020.3.2实现,配置在Python3.5 tensorflow模型的训练,OpenCV的安装包和公益诉讼方案图像处理、pyqt5包设计交互式界面。

4.2。实验过程和结果

模型训练在这个实验中可以从0 - 9检测十种手势,电脑收集的数据集,每个手势数据收集200个图像数据。首先,20姿态数据收集10个科目每个类的不同时期,共有2000个数据样本。通过训练动作3、4、5,培训效果不好。添加示例数据可以有效地提高培训效果。因此,每个手势类别添加100姿态数据,然后识别成功率显著提高。如图的手势表示方法6。

为了提高培训效果,必须丰富的数据集。同样的手势,在不同的光源,不同的角度,不同的个体,图片上的位置不同,和图7显示不同的数据相同的姿态。

如图8显示,一些手势训练集的数据。样本数据预处理作为输入,并培育训练的神经网络模型,经过训练的神经网络模型具有较好的识别率的姿态在复杂的背景,和所有测试数据集的识别精度可以达到96%以上。

4.3。实验结果分析

而面向梯度直方图的(猪)和局部二进制模式(LBP),本文中使用的预处理方法提高了识别率的算法与其他两种方法相比,和比较结果如表所示2。

100年识别率测试,测试采集标本测量在不同的时间段,92次成功识别,识别错误的7倍,姿态并没有检测到一次。非常黑暗的环境中测试的结果并不理想,和手势的识别错误4和5是4倍。这是因为手势特征不能被分离在黑暗的环境中,和手势4和5之间的相似度太高了。在正常环境下,该模型获得的数据预处理方法,提高手势功能,可以实现一个非常理想的识别率。为了测试模型的鲁棒性和稳定性,四组样本数据中随机选择测试数据集,和每组数据是30测试数据图。每组数据被确认和测试。测试后,该模型具有良好的鲁棒性和稳定性。比较结果如表所示3。

因为辍学是用来防止过拟合,提高模型的收敛速度。在培训过程中,经过多次尝试,改善批值可以减少迭代次数,加快训练速度。然而,由于迭代次数的减少,它可能无法提取数据特征,降低识别率。测试后,批32时,训练时间和统一模型稳定性好。图9是损失的比较图表曲线不同的批处理的值。

为了验证的手势识别方法的识别效果不同的个体在这项研究中,三个人都是随机选择的测试实验室。每个测试人员都需要测试每一个手势50次,分为两组,每组25倍;当白天有足够的光线,晚上光线不足时,每一个手势测试500次。三个测试的测试结果如图所示10。十个手势的识别利率的三个测试人员94.4%,94.6%,和93.8%,分别。手势识别的平均成功率的三个测试人员为94.27%,和识别率略有下降,证明个体差异对手势识别有一定的影响。其中,姿态2最低平均识别率,因为手势2和手势3太相似;手势1和6平均识别率最高,因为手势1和6有明显的特性和高的识别,结果表明,我们的手势识别方法研究具有良好的可扩展性和兼容性。

5。结论

在本文中,基于手势识别的深度学习,利用肤色检测,概略介绍分水岭算法,和种子填充算法进行预处理的姿态数据,姿态数据具有明显的手势特征。然后,通过十种姿态的训练数据预处理后AlexNet卷积神经网络识别测试集数据的识别成功率在自然光条件下可以达到96.46%。本文中采用的预处理方法可以有效地降低姿态的干扰环境的检测和识别,和它并没有带来再培训和检测时间。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这部分工作是支持下的河南省科技重点项目批准号202102210370。

引用

1. k . Simonyan和a . Zisserman”很深的卷积网络大规模图像识别,”2014年,arXiv预印本arXiv: 1409.1556。视图:谷歌学术搜索
2. d .先生,m . Konyo h .长野et al .,“稳定触觉反馈代空中手势交互:一个隐藏的马尔可夫模型的运动合成方法,”ROBOMECH杂志》第六卷,没有。1,1卷,2019页。视图:出版商的网站|谷歌学术搜索
3. e . Tzeng j·霍夫曼,k . Saenko, t·达雷尔“对抗歧视领域适应,”《IEEE计算机视觉与模式识别会议火奴鲁鲁,页7167 - 7176年,美国,2017年7月,你好。视图:谷歌学术搜索
4. c . Jobanputra j . Bavishi, n . Doshi“人类活动识别:一项调查,”Procedia计算机科学卷,155年,第703 - 698页,2019年。视图:出版商的网站|谷歌学术搜索
5. c . Szegedy et al。与旋转会更深在CVPR,波士顿,MA,美国,2015年。
6. y Lecun (y Bengio g·辛顿,“深度学习”,自然,卷521,不。7553年,第444 - 436页,2015年。视图:出版商的网站|谷歌学术搜索
7. g·j·格兰姆斯,”数字数据输入手套接口装置”,美国专利,1983年,4414537号。视图:谷歌学术搜索
8. t .高桥和f . Kishino手势编码基于实验使用手势接口设备,“Acm Sigchi公告,23卷,不。2、67 - 74年,1991页。视图:出版商的网站|谷歌学术搜索
9. 崔和z的太阳,“基于模型的视觉指导灵巧的手姿态跟踪机器人的手,“光学通信,卷235,不。4 - 6,311 - 318年,2004页。视图:出版商的网站|谷歌学术搜索
10. h·弗朗基、j . Ruiz-del-Solar和r . Verschae“实时手势检测和识别使用提高了分类器和主动学习,”《太平洋学报研讨会上图像和视频技术,页533 - 547,圣地亚哥,智利,2007年12月。视图:谷歌学术搜索
11. s . p .莫尔恰诺夫表示,古普塔,k金et al .,“手势识别与三维卷积神经网络,”《IEEE计算机视觉与模式识别会议研讨会美国,页1 - 7,波士顿,MA, 2015年6月。视图:谷歌学术搜索
12. k .兴z叮,年代江et al .,“基于深度学习的手势识别方法,”学报2018年IEEE第三网络数据科学国际会议(DSC),页542 - 546,广州,中国,2018年6月。视图:谷歌学术搜索
13. j . j .顾z . Wang Kuen et al .,“最近卷积神经网络的进步,”模式识别卷,77年,第377 - 354页,2018年。视图:出版商的网站|谷歌学术搜索
14. 张,z, j .聂et al .,“回顾人类活动识别使用的方法,建立“医疗保健工程卷,2017篇文章ID 3090343, 31页,2017。视图:出版商的网站|谷歌学术搜索
15. d·h·休博尔和t·n·威塞尔接受字段,双目交互和功能体系结构在猫的视觉皮层,“《生理学,卷160,不。1,第154 - 106页,1962。视图:出版商的网站|谷歌学术搜索
16. k .福岛、美国宅一生和t .伊藤”Neocognitron:神经网络模型的视觉模式识别机制,“IEEE系统,人,控制论,SMC-13卷,不。5,826 - 834年,1983页。视图:出版商的网站|谷歌学术搜索
17. y LeCun (b·e·波沙j·s·德克et al .,“手写数字识别与反向传播网络,”先进的神经信息处理系统丹佛,有限公司,1990年版。视图:谷歌学术搜索
18. 朱x x, d . Tuia l .备忘录et al .,“深度学习在遥感:全面审查和资源列表,“IEEE地球科学和遥感杂志,5卷,不。4,8-36,2017页。视图:出版商的网站|谷歌学术搜索
19. 孟r, s . g .大米,j . Wang和x的太阳,“融合隐写算法基于R-CNN更快,”CMC、计算机、材料和连续,55卷,不。1,硕士论文,2018页。视图:出版商的网站|谷歌学术搜索
20. a . Krizhevsky i Sutskever, g·e·辛顿“Imagenet分类与深卷积神经网络,”先进的神经信息处理系统25卷,第1105 - 1097页,2012年。视图:出版商的网站|谷歌学术搜索
21. y . j . m . Zhang Li Li和r·徐“深度学习的短期电力系统电压稳定评估,”IEEE访问9卷,第29718 - 29711页,2021年。视图:出版商的网站|谷歌学术搜索
22. 林z . t .秋张l ., s, p . Liu和zμ,“疲劳驾驶识别基于深度学习和神经网络图,“生物医学信号处理和控制,68卷,2021年。视图:出版商的网站|谷歌学术搜索
23. 问:苏、t .徐和w·h·周”预测孔隙水压力在TBM前使用深度学习方法,“国际地质力学杂志,21卷,不。8,2021。视图:谷歌学术搜索
24. n .托米- s桑娜s Taavi et al .,“检测病理特性和预测骨折风险的双能x线吸收仪图像,采用深度学习”骨的报告,14卷,2021年。视图:出版商的网站|谷歌学术搜索
25. m . Duje p .卢卡,马克,马克,l·斯文,“自动缺陷检测的超声图像,采用深度学习”IEEE超声学,铁电体和频率控制,2021年。视图:出版商的网站|谷歌学术搜索
26. h·r·李,j .公园,Y.-J。Suh”,提高分类精度的手势识别基于60 GHz FMCW雷达与深度学习领域适应气候变化,“电子产品,9卷,不。12篇文章ID 2140 2020。视图:出版商的网站|谷歌学术搜索
27. l·庇古a Van Den Oord, s Dieleman et al .,“超越时间池:复发和时间曲线玲珑的手势识别视频,”国际计算机视觉杂志》上,卷126,不。2、430 - 439年,2018页。视图:出版商的网站|谷歌学术搜索
28. n . Jaouedi n . Boujnah和m . s . Bouhlel,“一个新的混合深度学习人类行为识别模型,”沙特国王大学计算机与信息科学杂志》上,32卷,不。4、1 - 11,2019页。视图:谷歌学术搜索
29. g . Varol。拉普帖夫海和c·施密德,“长期时间旋转动作识别,”IEEE模式分析与机器智能,40卷,不。6,1510 - 1517年,2018页。视图:出版商的网站|谷歌学术搜索
30. m . Ciliberto l . p . Cuspinera, d . Roggen”WLCSSLearn:学习算法模板matchingbased手势识别系统”学报2019年联合第八届国际会议信息,电子和愿景(ICIEV)和2019年第三国际会议上成像,视觉和模式识别(icIVPR)IEEE,页91 - 96年,斯波坎,佤邦,美国,2019年6月。视图:谷歌学术搜索
31. f·伯纳德·f·穆勒,o . Sotnychenko et al .,“Ganerated手的实时3 d手跟踪单眼rgb,”《IEEE计算机视觉与模式识别会议页49-59盐湖城,UT,美国,2019年6月。视图:谷歌学术搜索

版权

版权©2021燕罗等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。