印度古典舞蹈动作与卷积神经网络识别和分类

文摘

从无约束提取和识别复杂的人类运动在线/离线视频序列在计算机视觉是一项具有挑战性的任务。本文提出了印度古典舞蹈的分类操作使用一个强大的人工智能工具:卷积神经网络(CNN)。在这个工作中,人类行为识别在印度古典舞蹈视频在录音上执行离线(控制记录)和在线(现场表演,YouTube)数据。离线数据创建十个不同主题表演200熟悉舞蹈手印/构成不同的印度古典舞蹈形式在不同背景环境。在线舞蹈收集数据从YouTube十个不同的主题。每个舞蹈姿势占领60帧或图像视频的情况下。CNN执行培训与8种不同的样本大小,每个组成的多个集的主题。剩下的2个样品用于测试训练CNN。不同CNN架构设计与我们的数据和测试,获得更好的识别精度。我们取得了93.33%的识别率比其他分类器模型在相同的数据集。

1。介绍

人类行为自动识别对计算机视觉科学家是一个复杂的问题,涉及采矿和人类带来的视频分类空间模式。人类行为的定义是人体的时空变化。过去的十年里已经在在线视频创建和需要的算法可以搜索视频序列中为一个特定的人类构成或感兴趣的对象。问题是提取和识别人类的构成和分类成标签基于CNN训练特征地图。这项工作的目的是提取特征图谱的印度古典舞蹈从在线和离线数据构成。

然而,约束是视频分辨率、帧率、背景灯光,场景变化速率,模糊等等。分析在线内容是一个复杂的过程,大多数的用户上传的视频质量较差,显示所有的约束是阻碍自动化的视频对象分割和分类。舞蹈视频序列在线有远很多限制人类之舞的顺利提取特征。舞蹈动作自动提取复杂是因为复杂的姿势和动作表现速度不同沉入音乐或声音听起来。图1显示一组在线和离线(实验室)捕获印度古典舞蹈视频帧进行训练和测试提出了CNN算法。

创建的离线数据集有200印度古典舞蹈手印/姿势由10本机古典舞蹈演员(即。10集)的速度每秒30帧(fps)。培训与三种不同批量大小开始。在批我的训练只有一组,也就是说,200姿势由舞者2秒每30 fps,共有 图像的舞蹈动作。第二批培训使用5集,共 图像的舞蹈动作。在第三批的培训,8套标志图像。训练有素的cnn测试有两个独立视频集与不同背景不同的舞蹈演员。健壮性测试执行两种情况。如果我的测试,相同的数据集,也就是说,使用一个训练数据集,如果二世的测试使用不同的数据集。类似的培训和测试完成对在线数据。图1显示了示例数据库创建这项工作。CNN算法的性能测量在线和离线数据基于召回其准确性和认可率。

2。文献综述

本地信息的人类行动的视频是流行的特性识别和分类在最近一段时间。本节将重点介绍给当前的趋势在人类行为识别和如何使用它的近期作品分类舞蹈表演。人类行为识别被细分为视频对象提取、特征表示和模式分类(1,2]。基于这些模型,大量的视觉插图提出了基于形状模板的辨别人类行为在时空1)、形状匹配(2],时空兴趣点2 d模型[3),表示使用运动轨迹(4]。密集的轨迹为基础的方法(5行动]显示好的结果识别跟踪采样点通过光学流场。光流场是基于预处理在亮度和运动视频对象(6)通过假设均匀亮度变化和物体运动连续帧。找到这样一个视频有均匀的亮度发生在电影或者在实验室设置。因此,这些方法需要强劲评估人类活动。数据驱动的方法与多特征融合7)与人工智能模型(8)目前正在探索的增加计算能力。

印度古典舞蹈形式练习了5000年世界范围内。然而,一个舞蹈爱好者很难完全保持性能,因为它的内容是由手姿势,身体姿势,腿动作,手与脸和躯干,最后面部表情。所有这些运动应该同步精度与声乐歌曲和相应的音乐为各种乐器。除了这些并发症,舞者穿着复杂的礼服和一个漂亮的化妆有时在性能背景变化取决于故事,真正使这一个开放式的问题。莫汉蒂et al。9)强调了困难在骨架等使用先进的姿态估计算法估计(10)和姿势估计(11]未能跟踪舞者动作在离线和在线视频。Samanta et al。12)使用直方图面向光学流(蹄)特性与稀疏表示。在我们以前的工作,我们走近SVM分类器的问题13)舞蹈视频,发现只有多类支持向量机应考虑。获得的平均识别率在实施演算法(14)、人工神经网络(ANN) [15),深安(16),和自适应图像匹配(AGM) [17在舞蹈数据不及格。

在最近的研究中,应用深度学习的对象识别是最合适的。CNN是解决最强大的基于计算机视觉的任务(18- - - - - -22)如目标识别(23和分类24]。分类速度在一个巨大的数据集是一个复杂的问题。没有一个专家的知识使用深隐藏层CNN提取图像信息,避免了复杂的特征提取的过程。第一个深CNN是引入了勒存等。25)有两个卷积层。作为大规模的图像数据集变得,这需要一个更广泛和更深入的CNN等ImageNet [26]。通过增加网络的深度进一步Simonyan Zisserman [27]VGGNet求婚。

Andrew Ng等人表现基础研究在美国有线电视新闻网CNN算法的实现改进的性能和结构优化28- - - - - -31日]。勒存等人在25)强调,深CNN是一个突破图像,视频,音频和语音处理。到目前为止,没有做过广泛的研究,探讨了深CNN对印度古典舞蹈的分类。本文的目的是将表现出CNN认识情态/ ICD的姿势。

深入学习方法也可以用于评估ICD分类系统。然而,仍有进一步改进的空间。深CNN适合给解决复杂问题的一个巨大数量的数据24]。例如,分类精度提高ImageNet数据集(24)拥有120万图像几乎覆盖1000类别。在这种情况下,我们需要考虑如何利用CNN。

卷积神经网络,我们需要考虑如何设计和训练网络,适应各种对象。要解决的主要问题是图像的质量和大小。不平衡的低和高质量图像的数据集导致不平衡的分类。

动机实现印度古典舞蹈的深层CNN模型识别是CNN是高度自动化的功能学习从输入图像,避免了复杂的提取的各种特性对传统分类器识别标志。通过深层结构,学习特性视为低水平的更高级别的抽象表示信号图像。因此,我们开发印度古典舞蹈的深层CNN模型识别。

在本文中,一种新颖的基于CNN印度古典舞蹈识别方法提出了实现更高的识别率。不同的CNN架构实现和测试在我们的舞蹈为识别数据的架构。三个不同的池技术,即意味着池、马克斯池、随机池,实现随机池被发现是最好的为我们的情况。在识别证明CNN的能力,结果与其他传统的最先进的技术支持向量机相比,AGM,演算法,安,安和深度。

剩下的论文如下:在部分3CNN的建议的体系结构。部分4讨论了在不同情况下的结果。最后,部分5本文总结的结果。

3所示。系统架构

我们设计了多级CNN模型,获取知识后(21,25]。模型是由输入层,四个卷积层,五纠正线性单元(ReLu),和两个随机池层致密和一个SoftMax输出层。图2显示了拟议的系统架构。

拟议的CNN架构使用四种卷积层在不同窗口大小紧随其后的是一个激活函数和非线性修正线性单元。卷积窗的大小 , , , 分别从1到4层。三种池策略测试通过的意思是池、马克斯•池和随机池和随机池被发现适合我们的应用程序。特征表示是通过考虑两层随机池。只有两层的池发起,以避免大量信息丢失特性表示。分类阶段实现密集/完全连接层随后激活功能。SoftMax回归采用分类。

印度古典舞蹈的视频帧大小 作为一个输入到系统。作为第一步,帧是由调整预处理 。调整输入视频帧会增加计算能力的高性能计算(HPC)的方案正在实施。用于训练的HPC CNN是6-node CPU-GPU加工机械。

让我们假设一个输入视频帧的大小 。卷积核的大小被认为是卷积的步伐和填充物填充输入视频帧边界。的大小是由卷积的输出层 我们的CNN的体系结构模型由四个回旋的层。虽然前两层提取低水平特性(如线,角落和边缘),最后两层学习高水平的功能。层的详细信息和它们的输出大小参数列在下表中1。

卷积的输出层通常是用以下标准方程来表示 在哪里代表了th层,卷积的内核,代表偏见,输入地图是由 。CNN使用双曲正切激活函数与一个添加剂偏见作为制定

代表特征地图主管训练和偏见 , 分别是内核的宽度和高度。在的位置是内核的重量吗 。在一个地区,获得的最大价值功能使用池技术,减少了数据的方差。我们实现了我们的架构与随机池技术通过计算每个区域的概率值。对于每一个功能图 ,的概率是 在哪里神经元激活函数在一个点吗 在空间坐标和 是称重的功能窗口。相比其他池技术,随机池使CNN收敛速度和提高泛化能力的处理不变的特性。

这个印度古典舞蹈识别是一个多类分类问题。因此,SoftMax回归层由一个假设的功能被用作 必须训练的方式成本函数要最小化。 SoftMax回归层的分类概率分类一个输入作为一个类别给药 网络训练学习的特性通过监督学习的舞蹈动作。内部功能表示反映了训练样本之间的相似性。我们从ICD大纲200姿势(离线数据)由10古典舞蹈演员。整个数据集的大小是2000每跳舞姿势记录规范化2秒或每秒60帧形成共有120 k帧。同样,从YouTube在线舞蹈数据下载,每个姿势规范化60 fps。一起了解所学到的特征表示CNN系统,最大化激活神经元提取准确识别舞蹈姿势。最后,特征图谱可视化的平均随机响应的图像补丁更高的层次。

4所示。结果与讨论

这项工作的主要目的是正确识别ICD从一个数据集的舞蹈动作。我们尝试印度古典舞蹈识别使用支持向量机分类器(13),自适应图像匹配(17),传统安(15),和深安16]。在这些分类中,深安表现大规模识别利率维持在较低的速度。但ICD的实时实现高速分类器识别要求。为了提高识别的速度,演算法分类器(14]介绍了。尽管识别是快,分类结果发现有时有点不可靠。因此,本文介绍了利用强大的CNN工具分类ICD姿势以更快的速度和识别率最高的。

CNN的提出的模型应用于在线和离线印度古典舞蹈数据库进行分类。从YouTube和离线下载的在线数据库创建数据库在我们实验室中提到的部分1。每个舞蹈构成图像的数据集预处理降低它的维度 这将提高CNN的计算速度。

4.1。批我:CNN训练只有一组数据

训练我们的提议CNN模型在三个批次。在批处理我的训练,只有一组数据,也就是说,200年提出了由一个古典舞蹈演员用单反相机捕获2秒30 fps形成一个集共有12000张图片,使用。图像预处理和培训开始使用我们提出的CNN架构。同样,在线数据预处理和培训开始。CNN算法实现在Python 3.6平台上使用高性能计算(HPC)机6 CPU-GPU组合。

CNN在两个阶段培训使用梯度下降算法。前馈通过第一阶段处理多类分类问题训练样本类。第二阶段是反向传播。计算误差函数 在哪里的标签th的模式th维度和层单元的对应值。卷积的输出层tanh激活函数的值。反向传播通过从高到低层次和错误th层是计算的 的重量层是根据更新 。

在单独训练的在线数据和离线数据,不同特征图观察到不同的层。数据3(一个)和3 (b)可视化特征图卷积获得一个离线舞蹈构成框架的层1和卷积层2 16过滤器和数据3 (c)和3 (d)网络框架的舞蹈动作。

低层次功能,如线,边缘和角落从卷积层1和2。高水平特色从卷积层可视化在图3和图44。一个随机池相结合的优势和最大池技术实现。它还克服过度拟合的问题。增加池层的数量将会增加大量的信息丢失。因此,只有两层实现的随机池是通过计算每个区域的概率值。

在批处理我我们使用一个数据集进行训练。在两种情况下进行测试。如果我的测试,使用相同的数据集(例如,training and testing were done on the same dataset); for Case II of testing, different dataset is used. In both the cases, good recognition rates were obtained and are tabulated in Table2。

4.2。第二批:CNN培训两组数据

在这种情况下,两组数据从两个古典舞蹈是创建用于培训。对这批数据集创建与200年印度古典舞蹈姿势5本地古典舞蹈2秒每30 fps。培训执行两组数据在HPC机100年时代。测试是在上一节中提到的两种情况。我的测试使用相同的数据集用于培训。测试案例二世的第六集。获得识别利率与在线和离线数据列在下表中2。这里,通过增加的数量数据集训练观察到大量的识别是实现批处理相比我训练。也观察到回忆的准确性造成大幅增加训练数据集的数量增加。然而,训练时间增加了50%比我训练的批处理过程。

4.3。第三批:CNN训练三组数据

进一步提高识别速度是通过增加训练CNN。总共十创建数据集,其中8数据集被用于训练和2套测试。识别率提高了使用这批培训。图5显示了训练精度和精度验证第三批训练集的情节。这表明验证精度好,少数量的过度拟合。

数据6(一)和6 (b)情节的损失在训练的第三批离线数据和在线数据,分别。有小差异在训练和验证损失总体低于正常损耗系数。平均混淆矩阵生成基于匹配的识别速度和数量第三批的培训和二级测试离线数据和在线数据数据所示7(一)和7 (b),分别。为了更好的可视化,它只显示了数量有限的ICD姿势。第三批8的多个数据集训练表现出更好的识别与其他两个批次。然而,我们牺牲训练识别计算时间。每帧时间的实时识别是0.4秒,很快相比,支持向量机和模糊分类器的算法。

所有与不同的滤波器卷积实现层窗户的大小 , , , 。减小过滤器的大小可以提高识别率,但由于增加了计算时间的增加数量的过滤器。所以,我们用卷积窗的大小 , , , conv1、conv2 conv3,分别和conv4层。表3比较选择不同的滤波窗口大小的性能。

随机池采用的平均识别率达到93.33%。实现最大池,池产生的识别率为91.33%和89.84%,分别。

进一步了解印度古典舞蹈的健壮性和效率实现识别与CNN,相比其他分类器应用于我们之前的作品。更快的识别中,我们使用支持向量机(13),以分类率很低。进一步,我们取代与演算法支持向量机分类器14),发现适度的认可率。之后,我们使用自适应图像匹配(AGM)模型数据,发现良好的认可率。我们也尝试了传统人工神经网络(ANN),未生产好识别利率。进一步,分类好成绩通过使用深安印度古典舞蹈识别。我们提出的新颖CNN模型测试通过比较与其他知名CNN架构LeNet [25和VGG净27]。从表4和5,观察该CNN架构是充满希望地工作在确定一个正确的标签特定舞蹈动作的姿势。

识别精度进一步提高取代安深安和报道识别率提高了5%。更好的识别精度和改善4%上升15%测试速度与卷积神经网络中观察到这个工作。尽管CNN花费更多的时间训练,测试需要一个相对较小的计算时间。识别利率获得不同的分类器对离线数据和在线数据比较表4和5,分别。因此,cnn是一个合适的工具,模拟印度古典舞蹈准确识别。测试是在一个64位CPU在Python 3.6 4 GB ram内存和OpenCV Keras深度学习库。

5。结论

CNN是一种强大的模式分类的人工智能工具。在本文中,我们提出了一个CNN架构分类印度古典舞蹈姿势/情态。CNN架构设计有四个回旋的层。每个卷积层以不同的滤波窗口大小是可以改善识别的速度和准确性。随机池技术相结合实现马克斯和意味着池技术的优点。200年我们在创建数据库离线古典舞蹈ICD姿势与10古典舞蹈2秒30帧生成120000帧。培训执行在不同批次知道cnn所需巨大的培训模式的鲁棒性。在第三批培训,培训执行八组数据(即。96000视频帧)和最大限度地提高ICD的识别。训练精度和精度验证CNN架构比以前提出的ICD分类模型。数量少的训练和验证损失是观察与拟议的CNN架构。 The average recognition rate of the proposed CNN model is 93.33% and is higher compared with the other state-of-the-art classifiers.

的利益冲突

作者宣称没有利益冲突有关的出版。

引用

1. a . h,压力面,m .沙”学习人类行为的深度模型识别从新颖的观点,“IEEE模式分析与机器智能,2017年,页1 - 1。视图:出版商的网站|谷歌学术搜索
2. e . Rodola s . r . Bulo设计t . Windheuser m . Vestner d·克莱莫,“使用随机森林茂密的非刚性的形状对应,”美国27日IEEE计算机视觉与模式识别会议,CVPR 2014哥伦布,页4177 - 4184年,哦,美国,2014年6月。视图:出版商的网站|谷歌学术搜索
3. Das黎明和s·d·h·谢赫”,全面调查人类行为识别与时空兴趣点(STIP)探测器,“计算机视觉,32卷,不。3、289 - 306年,2016页。视图:出版商的网站|谷歌学术搜索
4. h . Wang和c·施密德,”行动与改进的轨迹,识别”学报14 IEEE计算机视觉国际会议(ICCV 13),页3551 - 3558年,悉尼,澳大利亚,2013年12月。视图:出版商的网站|谷歌学术搜索
5. a . h . Wang兰、c·施密德和C.-L。刘,“行动由密集的轨迹,识别”《IEEE计算机视觉与模式识别会议(CVPR 11)2011年6月,页3169 - 3176。视图:出版商的网站|谷歌学术搜索
6. p .诉诉基肖尔,m·v·d·普拉萨德·d·a·库马尔和a·c·s . Sastry”光流跟踪和活动轮廓手形状特征连续手语识别与人工神经网络”学报第六届国际先进计算会议,2016年反腐败大会Bhimavaram,页346 - 351年,印度,2016年2月。视图:出版商的网站|谷歌学术搜索
7. 答:塔拉,y, y . Kim s卡马尔和d·金“健壮的人类活动识别使用时空multi-fused特性,从深度视频”模式识别卷,61年,第308 - 295页,2017年。视图:出版商的网站|谷歌学术搜索
8. 霁,w .徐、m·杨和k . Yu”3 d卷积神经网络对于人类行为的识别,”IEEE模式分析与机器智能,35卷,不。1,第231 - 221页,2013。视图:出版商的网站|谷歌学术搜索
9. 莫汉蒂a, p . Vaishnavi, p . Jana et al .,“Nrityabodha:朝着理解印度古典舞蹈使用深度学习方法,“信号处理:图像通信47卷,第548 - 529页,2016年。视图:出版商的网站|谷歌学术搜索
10. y杨和d . Ramanan“铰接构成与灵活mixtures-of-parts估计,”学报2011年IEEE计算机视觉与模式识别会议,CVPR 2011,页1385 - 1392,科罗拉多斯普林斯,科罗拉多州,美国,2011年6月。视图:出版商的网站|谷歌学术搜索
11. f . Wang和y,“超越物理连接:树模型在人类造成估计,”学报》第26届IEEE计算机视觉与模式识别会议,CVPR 2013俄勒冈州波特兰市,页596 - 603,美国2013年6月。视图:出版商的网站|谷歌学术搜索
12. s . Samanta p Purkait,钱德,”印度古典舞蹈分类学习舞蹈姿势基地,”《2012年IEEE计算机视觉的应用研讨会,WACV 2012出台,页265 - 270年,科罗拉多州,美国,2012年1月。视图:出版商的网站|谷歌学术搜索
13. k . v . Kumar和p v基肖尔,”印度古典舞蹈情态分类使用猪特性和支持向量机分类器,”智能计算技术和信息卷,77智能创新、系统和技术,页659 - 668,激飞新加坡,新加坡,2018年。视图:出版商的网站|谷歌学术搜索
14. k·v·库马尔,p v基肖尔和d阿尼尔•库马尔(Anil Kumar)“印度古典舞蹈的分类与演算法多级分类器Multifeature融合,“数学问题在工程卷,2017队,2017页。视图:出版商的网站|谷歌学术搜索
15. g . a . Rao p v v基肖尔,d·a·库马尔和a·c·s . Sastry”连续手语识别神经网络分类器与视频有问题,“远东电子和通讯》杂志上,17卷,不。1,49 - 71年,2017页。视图:出版商的网站|谷歌学术搜索
16. g·a·拉奥和p v v基肖尔,“有问题基于视频的连续印度手语识别系统”Ain Shams工程杂志,2016年。视图:出版商的网站|谷歌学术搜索
17. 杨x、h·乔和Z.-Y。刘”,由一个新的三阶点对应图匹配算法”模式识别卷,65年,第118 - 108页,2017年。视图:出版商的网站|谷歌学术搜索
18. z盾和x田”,多层次的照片质量评估与视点的特性,“Neurocomputing卷,168年,第319 - 308页,2015年。视图:出版商的网站|谷歌学术搜索
19. x z,沈、h·李和x田,“照片质量评估的DCNN理解图像,”学报》国际会议多媒体建模(嗯)课堂讲稿在计算机科学,524 - 535年,2015页。视图:出版商的网站|谷歌学术搜索
20. 林x, z, h·金,j .杨和j . z王”快速:评级使用深度学习绘画美学”学报2014 ACM多媒体会议,2014毫米,页457 - 466,美国,2014年11月。视图:出版商的网站|谷歌学术搜索
21. a . Krizhevsky i Sutskever, g·e·辛顿“Imagenet分类与深卷积神经网络,”学报》第26届年会在神经信息处理系统(捏12)太浩湖,页1097 - 1105年,内华达州,美国,2012年12月。视图:谷歌学术搜索
22. x y太阳,小王和x唐,“深度学习的脸表示从10000年预测类”《IEEE计算机视觉与模式识别会议(CVPR 14)俄亥俄州哥伦布市,页1891 - 1898,美国2014年6月。视图:出版商的网站|谷歌学术搜索
23. k . Jarrett k . Kavukcuoglu m . Ranzato和y LeCun(“最好的对象识别多级架构是什么?“在IEEE学报》12日计算机视觉国际会议(ICCV ' 09)《京都议定书》,页2146 - 2153年,日本,2009年10月。视图:出版商的网站|谷歌学术搜索
24. h·李,r . Grosse r . Ranganath, a . y . Ng”卷积深层信念网络分层表示的可伸缩的无监督学习”学报》第26届国际会议上机器学习(ICML ' 09)加拿大蒙特利尔,页609 - 616,,2009年6月。视图:谷歌学术搜索
25. y LeCun (y Bengio g·辛顿,“深度学习”,自然,卷521,不。7553年,第444 - 436页,2015年。视图:出版商的网站|谷歌学术搜索
26. j·邓、w .盾和r . Socher“ImageNet:大规模的分层图像数据库,”学报2009年IEEE计算机视觉与模式识别会议(CVPR)255年,页248 -迈阿密,佛罗里达州,美国,2009年6月。视图:出版商的网站|谷歌学术搜索
27. k . Simonyan和a . Zisserman”大规模图像识别,很深的卷积网络”学报(ICLR在国际会议上学习表示,2015年。视图:谷歌学术搜索
28. y Bengio”,学习深度为人工智能架构,”基金会和机器学习的趋势,卷2,不。1,1-27,2009页。视图:出版商的网站|谷歌学术搜索
29. y LeCun (l . Bottou y Bengio, p . Haffner“Gradient-based学习应用于文档识别,”IEEE学报》,卷86,不。11日,第2323 - 2278页,1998年。视图:出版商的网站|谷歌学术搜索
30. h·李,a .战斗,r·莱和a . y . Ng,“有效的稀疏编码算法,”诉讼第20届年度会议上的神经信息处理系统(捏06年)2006年12月,页801 - 808。视图:谷歌学术搜索
31. r . Salakhutdinov g·e·辛顿,“深玻耳兹曼机”《人工智能国际会议上和统计,24卷,页448 - 455,清水海滩,佛罗里达州的美国,2009年。视图:出版商的网站|谷歌学术搜索

版权

版权©2018 p v v基肖尔等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。