文摘
由于复杂的舞蹈动作姿态变化,进行准确的检测和跟踪人体目标是为了改善民族地区的舞者的指导能力。一个multifeature fusion-based跟踪算法提出了民族地区的舞者。视频图像的边缘轮廓模型检测到民族地区的舞者,和视频跟踪扫描成像的舞者在民族地区构建模式。舞者在民族地区的视频图像增强的基于初始等高线分布,和舞者的视觉感知模型跟踪图像建立在民族地区。提高算法的估计复杂的姿势,最后完成舞蹈动作识别,特征金字塔网络是用于提取舞蹈动作的特点,然后,multifeature融合模块用于融合多个特性。本文提出的跟踪算法比其它算法具有较高的鲁棒性,有效地减少了错误样本生成的跟踪过程中,从而提高长期跟踪的准确性。
1。介绍
舞蹈在民族地区在我国是传统艺术的宝藏。为了实现继承的舞蹈在少数民族地区,有必要优化指导舞蹈在民族地区1]。随着人工智能的兴起,计算机视觉技术近年来发展迅速。作为计算机视觉领域的一个重要组成部分,视觉物体跟踪也收到了广泛关注和深入研究。计算机视觉(2在许多实际应用中扮演不可或缺的角色。眼睛是人类感知外部世界的一个重要工具。人类用视觉来感知和理解各种信息,如位置,大小,颜色和类型的外部因素(3]。通过传感器设备和计算机视觉图像收集信息获取的图像中包含的信息通过图像处理、检测、识别、理解、等,从而达到感知外部世界的目的。目前,视觉目标跟踪技术发展迅速,尤其是在简单的背景;一些干扰对象或设置限制,跟踪效果能够满足人类的需求(4]。然而,仍有许多挑战在目标跟踪在实际应用程序中,尤其是光照变化,变形、闭塞,背景杂波,在跟踪过程中其他因素有一个伟大的对目标跟踪算法的性能的影响。当前优化算法只能解决一个或几个因素造成的问题,不能完全适应复杂的场景。一个特性的限制很难跟踪算法跟踪过程中处理各种干扰。因此,准确的舞者和健壮的长期跟踪还有很长的发展过程5]。
目标跟踪是计算机视觉领域的一个重要环节。它的主要目的是跟踪和定位移动目标视频序列的每一帧的图像,获得目标的位置信息,移动方向、速度、大小、等,是未来的高级分析的基础目标对象(6]。视频跟踪技术涉及到许多学科,如计算机科学、数学、物理、光学、和形态,它集成了许多技术,如图像处理、视频特征提取、模式识别和人工智能、信息分析、检测、识别和跟踪目标运动信息,具有重要意义和应用前景在民用和军用两方面7]。人体检测和跟踪技术,可以自动识别和跟踪舞者的目标,一直是计算机视觉领域的一个热门研究方向(8]。然而,应用领域具有较高要求人体检测和跟踪技术由于舞台环境的复杂性和动态,并有必要遵循舞者在舞台上的动作实时一致,或跟踪效果会差。必要的硬件和软件条件,目标跟踪提供计算机性能的不断改进,广泛、深入地研究计算机视觉算法(9]。目前,最常见的方法选择和理解特性表示融合和基于手势的特征。然而,由于舞台背景和服装的舞蹈动作多变,闭塞和遮挡是常见的在表演过程中,表示信息融合无法完全准确、表达人类运动信息在大多数情况下10]。针对性的培训和标准化校正能力的运动可以提高学习民族舞蹈的跟踪技术,分析民族舞蹈的运动特征,通过特征提取由专家指导和判断。本文提出一种multifeature fusion-based舞者跟踪方法在少数民族地区。
虽然目标跟踪在许多领域已经应用了很长一段时间,环境的变化目标所在地和目标本身的状态的变化会影响跟踪算法的性能(11]。因此,找到一个可靠的、适应性强、高效的跟踪算法一直是研究者的研究课题12]。随着图像处理的发展设计、视频监控和视觉图像分析的方法用于重建图像和识别舞者在民族地区的特点。根据图像分析的结果,舞者的动作可以纠正和标准化,舞蹈的训练和优化指导能力可以提高民族地区(13]。本文提出一种multifeature跟踪舞者在民族地区的融合方法。舞者在民族地区的视频图像样本进行了分析,以及舞蹈的视频图像的轮廓模型在民族地区构建。地图通过连接高和低分辨率特性,深功能地图样本与全球信息融合与浅的特性,所以每个阶段的高分辨率特性地图地图表示低分辨率特性。为了验证的有效性和可行性multifeature融合跟踪舞者在本文提出的方法,建立了舞蹈基本数据集,也就是说,记录舞蹈视频从前面和侧面的角度和收集wi - fi信号信息对应的同步运动。然后,比较实验的目的是在这个数据集。实验结果表明,该方法基于multifeature融合比其他方法具有更高的跟踪精度。
2。相关工作
文献[14)提出了一个运动人体跟踪算法基于区域分割轮廓,更准确和复杂闭塞环境中性能稳定。在文献[15),一个基于multitemplate回归加权平均数的人体目标跟踪算法提出了转变。目标模板轮廓集是由改变身体姿势和角度的目标,具有较好的实时目标检测(16]。多个样本放置在样品袋,每个样品包对应一个标签,和目标跟踪使用示例包的在线学习。根据文献[AdaBoost-STC和随机森林,17提出了一个眼动跟踪和定位算法。基于地图的可能性和光学流,文献[18)提出了一种实时演算法级联面对追踪。该算法提出了文献[19)使用循环矩阵的性质来实现类似的目标密集采样的周边地区获得大量的积极的和消极的样品和构造目标分类器使用岭回归和相关过滤原则,以及在傅里叶空间中循环矩阵。许多属性有助于加速模型训练和检测通过简化矩阵的计算。此外,内核映射岭回归技术介绍了从线性到非线性空间,从而提高算法的跟踪性能。文献[20.检测模块添加到跟踪算法和计算加权平均的结果检测和跟踪获取目标的位置。模型的在线更新学习通过学习模块,进行长期跟踪是实现了纠正的错误跟踪模块通过检测模块。在文献[21),直接在线结构化输出支持向量机用于预测目标的位置变化在每一帧图像的获取跟踪结果,而不是传统的分类目标和背景。中提出的算法(22)也考虑了周围地区目标跟踪过程中,减少了跟踪目标遮挡造成的失败的风险通过构造一个空间背景模型和时空背景模型。文献[23)解决目标跟踪样品数量不足的问题,提高了跟踪能力运用强大的对象表示能力训练的深度学习图像分类数据集上跟踪问题。文献[24)直接使用跟踪视频作为训练样本训练CNN网络(25)获得一个通用目标表示能力。同时,由于目标本身的差异,运动模式,照明,等在不同跟踪序列,共享层和分支组成的多畴的网络层设计。共享层学习的一般特征跟踪的目标。分支层,另一方面,一个特定的目标跟踪序列。
本文提出一个舞者在民族地区基于multifeature融合跟踪算法,基于全面文献之回顾。重量,实现自适应的特性功能可靠性评判融合之前,体重是偏向能力强的特征表示。区域像素特征重建方法是用于执行三维信息重建图像跟踪的舞者在少数民族地区,轮廓检测和像素跟踪的舞者在少数民族地区,以及像素跟踪和识别能力提高民族地区的舞者。实验结果表明,该方法优于其他方法的改善民族地区的舞者跟踪和识别。
3所示。方法
3.1。目标跟踪系统和相关算法
针对视觉来获取各种各样的信息的重要性,提高人类的生活质量,并提高工作效率,机器视觉应运而生,它可以被视为人类的视觉和知觉的延伸。随着科学技术的进步和电子设备的发展,人类越来越高要求的全面性、准确性和实时的信息。一些电子设备可以逐渐取代人类的眼睛来获取信息,这是更多的紧急使用更高性能的计算机为人们提供更有效的视频信息服务,这将大大促进领域的深入研究和开发机器视觉。近年来,为了统一评估各种目标跟踪算法的跟踪效果,许多研究个人和社区建立了标准数据库和评价标准评价和也评估和分析大量的目标跟踪算法。
早期目标跟踪常用背景不同,框架不同,光流法,等等。帧间差分法使用两个或两个以上的图像帧之间的差异计算获得移动目标的位置。背景差分法得到的目标通过计算当前帧的图像之间的差别和预先构建的背景模型的形象。当背景发生变化时,它需要不断提取背景区域更新背景模型(26]。光流法计算图像中的像素的运动速度匹配和实现移动物体的检测通过检测背景像素之间的差异和目标像素的速度,但光流方法需要大量的计算,和检测光学流很容易受到光照变化和其他干扰的影响。最常见的动作捕捉系统是光学运动捕捉系统。其基本原则是运动员穿的光敏节点在每个肢体,三维信息被摄像机安装在捕获字段可用于恢复运动员的运动(27]。有两种类型的光敏节点:主动和被动。活跃节点主动发光,而被动节点涂有特殊的材料,使他们非常暴露在明亮的光线。函数,一个完整的系统需要多个摄像头的协作。最基本的技术之一,是计算机视觉领域的对象跟踪。目标是发现和跟踪移动物体在视频序列显示跟踪结果。图1描述了目标跟踪的过程。
机器学习的相关理论方法也被广泛引入对象跟踪。机械动作捕捉系统是由多个关节和刚性连接。它的工作原理是捕获的运动关节每时每刻通过角度传感器安装在人体的每个关节。因此,与光学捕获系统相比,它具有不容易被环境,系统是稳定的,但系统有点笨重,捕获的对象的运动极大地限制是由于连接的链接。目标跟踪的工作过程分为5个步骤:(1)目标的初始化阶段,(2)特征提取阶段,(3)建立目标模型阶段,目标搜索阶段,(4)和(5)目标模型更新阶段。目标跟踪的任务可以简单地概括为给定的目标位置在第一帧视频序列,需要估计目标的位置在随后的视频图像(28]。目标跟踪器的设计一般考虑方面的特征提取,构建目标模型和模型更新和构造一个完整的目标跟踪算法系统通过适当的组合。
为了获得准确的运动数据,一般来说,运动后信息的捕获的人了,有必要进一步提取其关键关节和骨骼的运动轨迹和使用这些信息的运动模型。适当的组织和表示这些联合信息也至关重要后续行动数据处理(29日]。不同的特征通常有不同的优点和缺点。跟踪视频序列的过程中,跟踪目标往往受到各种环境因素如光照、旋转、遮挡和背景杂波。因此,一个功能是用于目标跟踪。很难适应所有分心的情况。如果您使用多个特性来跟踪目标的同时,你可以利用不同的特性。当某一特性未能跟踪在特定环境中,其他功能可以补充它,这功能可以更好地适应之间的互补效应。跟踪过程中各种环境。特征提取算法流程如图2。
目前,有许多优秀的目标跟踪算法,和这些跟踪算法的模式主要分为三类:一代模式,区别的模式,基于深度学习。然而,仍有许多挑战在目标跟踪领域;尤其是在实际跟踪过程中,目标对象将受到各种因素的影响,如光照变化、变形、背景杂乱,规模变化,和阻塞,使它很难使用一个独特的追踪。各种环境因素的变化可以很容易地打扰它30.]。有许多跟踪算法集成多个特性,以便更好地描述目标从多个角度,除了使用单一特征来表示目标外观模型。大部分的现有融合策略直接连接不同功能或简单地使用一个预设参数对不同特性的跟踪结果进行线性插值,从而不能充分利用不同特性的好处。同时,为了适应目标环境的变化在跟踪期间,模型必须实时更新。后更新权重的传统方法一组风险引入噪声数据的帧数,导致跟踪漂移。
3.2。在少数民族地区Multifeature融合舞蹈人员跟踪
在图像搜索、基于特征的跟踪框架的核心问题之一是跟踪目标的选择功能。如何构建一个稳定、有效的特征模板已成为当前研究的一个热点问题。为了实现跟踪和识别的舞者在少数民族地区,有必要建立一个舞者在民族地区的视频跟踪扫描成像模型和检测视频图像的边缘轮廓模型舞者在少数民族地区。视频图像跟踪技术是用来分析舞者的详细特征,并根据运动特征提取结果的舞者在少数民族地区,它指导舞蹈训练和教学在少数民族地区。在单眼视觉的情况下,当人体旋转,翻译,和延伸,也就是说,当人体的连续移动,更难以检测到人体。因此,人体形状模型采用基于统计学习模型,实现人体检测。
单一特性可以提高跟踪结果在跟踪一个特定的环境中,但是在现实世界中复杂的跟踪场景,灯光等因素,目标运动状态,不断变化的态度,和目标。跟踪基于单个特征的适应性算法通常是有限的。它能更好地适应变化的场景和照明条件和实现更好的性能,如果各种特性用于目标跟踪的信息,和表达能力不同的特性在不同环境中用于调整重量和互补的优势。multifeature融合跟踪算法的良好的结果表明,不同功能之间的互补性可以更有效地描述目标的特征,并且可以显著提高跟踪算法的性能,特别是对于变形、运动模糊、背景相似的对象干扰,光照的变化,等等。这种情况导致了显著改进跟踪失败。
采取的空间坐标,舞者在民族地区的特征提取,在民族地区和舞者的视频图像自适应增强和输出。
特征融合算法用于检测的视频图像的舞者在民族地区和跟踪视频的一帧视频图像。 在哪里 视频图像的角坐标舞者在民族地区和 舞者的单帧视频定位坐标是在少数民族地区。
目标图像的有效特征提取非常重要,它不仅是快速和有效的跟踪的基础,也由训练样本学习的重要内容。常见的图像特征包括颜色特征、纹理特征和边缘特征。结合视频特性分析和图像采集技术,舞者在民族地区的动态视频信息样本收集,舞者的动作民族地区由摄像机和图像传感器跟踪和识别,和视频帧格式特性进行了定量分析。结合机器视觉重建的方法,提取的舞者在民族地区的特点,在民族地区和舞者的位置和姿态跟踪根据特征提取的结果。剩余模块通常由两个分支。第一个主要由两个分支 卷积层和一个 卷积层增加深度和提取功能。第二个分支的核心是不同传统剩余模块为了控制输入通道和输出通道的数量。剩余模块由数字控制输入通道和输出通道的数量可以操作任何规模的图像。
对于每一个像素的每一帧图像,弱分类器的定义如下。
的公式,是样本,是调整分割超平面。计算方法如下。
的公式,样品标签,是一个矩阵,是一个对角矩阵。更新样本权重的方法
质地光滑的量化、粗糙度和规律性的目标表面,以及亮度变化的测量。纹理创建需要的一系列处理步骤。舞蹈的特点是复杂的和大规模的变化,跟踪和识别的舞蹈动作需要使用深学习模型提取特征时理解每个规模的需求。人的取向、肢体的安排和相邻关节之间的关系必须从全局上下文推断和确认数据,和本地数据可以精确定位。
交叉熵的功能是比较区别真正的标签的行动视频和Softmax预测的标签。如果二者之间的区别是非常接近,它可以证明了模型优化效果好。交叉熵可以表示如下:
在哪里代表样本的实际行动,代表类别中包含的数据集的数量,和代表了预测Sofmax动作输出。使用随机梯度下降法来调整双流式网络模型建立,和损失函数如下所示:
在这篇文章中, 选择代表一个小批量的大小。调整的应用多级损失函数在每个小批量,并不断更新的参数通过反向传播算法网络模型。停止损失时的优化函数是不会改变的。
在相关滤波跟踪框架,构造相应的滤波器模型分别对每个通道的特性在跟踪过程中,和相关响应计算。相应的融合权重为每个通道的反应然后计算跟踪结果的可靠性分析,首次响应地图融合使用重量计算权重,这样每个特征对应于一个响应映射基于通道融合。作为使用最广泛的特征,颜色特征具有明显的优势,使它适合描述变形和部分屏蔽目标。也是稳定的目标形状变化,平面旋转,和非刚性的身体,而颜色特性是敏感光照变化和不包含任何目标像素信息。在概率跟踪框架,计算候选区域的颜色直方图,计算目标颜色的概率响应。结合相关滤波器的响应帧得到第二个融合,相应的权重也得到响应的可靠性分析图表,然后,目标响应的结果相关性过滤器和颜色概率框架融合权重获得的最终目标响应算法。
4所示。结果分析和讨论
舞者在民族地区的跟踪仿真是在本章进行验证的性能改善效果multifeature融合方法在本文提出的目标跟踪算法。估计复杂的要点是使用multifeature融合处理模块。剩余模块用于改善每一层的特征提取,导致丰富的语义特征。同时,每个阶段的特征分辨率是提高upsampling操作以获得更好的地方特色。算法的有效性,本文介绍了通过比较这几个著名的目标跟踪算法的性能使用标准数据集和统一的评价标准。
为了分析和验证人类本文跟踪算法,进行了仿真实验。选择一块民族舞蹈视频从数据集中样本数据。动作视频包含800帧。初的舞蹈动作,演员有一个长期的准备动作,动作后,演员返回到初始状态从过去的姿势,导致最后温柔的联合距离的变化位置,然后剧烈的变化。通过开放实验的准确性和成功率计算;即只跟踪算法初始化位置在每个视频的第一帧序列,并在每个视频序列算法只运行一次。实验包括整体性能与其他主流算法比较测试标准数据集和不同目标下的性能对比测试属性。人类该算法的检测效果定量评估其鲁棒性分析。翻译错误的人体检测在800帧视频序列如图3。
从图可以看出3人类该算法的检测效果好和较低的平均误差的翻译。边缘是一个属性的结区和另一个属性区图像,这集中大量的图像中像素的灰度变化,和是图像信息最集中的地方和丰富。边可以描述目标的大纲和显示的形状,方向,一步自然、直观地和其他信息的目标,这是一个重要的通道选择功能图像识别和分析。
模型的初始样本只能获得视频的第一帧视频跟踪目标时,和目标的状态将改变在许多方面在跟踪过程中。跟踪模型在跟踪过程中必须实时更新适应目标变化。附近的采样和更新目标时,如果目标位置获得的前一帧不准确或目标是闭塞的,大量的背景信息将被视为积极参与更新样品,导致模型的分辨率逐步减少并趋于背景。逐渐积累的这些错误将导致跟踪漂移或失败。为了定量比较跟踪性能,该算法的比较实验,学习演算法和自适应卡尔曼滤波器算法进行同样的视频序列。图4展示了人体的三个算法的跟踪结果。
从图可以看出4,没有明显差异的中心点像素误差三种不同算法在早期阶段。然而,随着时间的增加跟踪,本文跟踪算法有很强的优势在中心点的像素误差,同时学习演算法和自适应卡尔曼滤波器算法的区别不是很大,这显然是高于组合算法。这表明本文提出的算法是优秀的在相同的条件下的稳定性和鲁棒性。所有有效的表示能力特性在当前帧检测,和相应特征的权重动态调整根据判断的结果,和功能强大的表现能力得到更大的权重,反之亦然。
舞者在民族地区的视频图像校准,在民族地区和舞者的视频图像增强根据初始等高线分布,和跟踪图像的视觉感知模型建立了舞者在民族地区实现舞者跟踪。信心在目标跟踪结果反映在响应图。我们分析的特征响应图来判断跟踪结果的可靠性,我们动态地选择不同的权重融合结果通过分析不同追踪的结果的可靠性。一个算法的能力,适应各种复杂的情况的背景是很困难的。约束是常用的实验,以提高目标算法对于一个给定的情况。然而,一旦在实际场景中,失去了约束,和传统的跟踪算法漂移等问题,错误检测和故障,这将严重影响后续跟踪任务。为了处理复杂背景、复杂背景学习模型建立了基于多尺度歧视协助跟踪算法跟踪环境适应快。
为了比较这些算法的整体性能,每个算法进行实验,每个跟踪算法的成功率和准确性由图表成功率和准确性评估表。图5是图的精度。图6图的成功率。
分析的数据5和6很明显,使用multifeature融合目标跟踪算法的性能明显优于其他三种算法只使用单一特征跟踪。同时,本文提出的算法优于其他三种跟踪算法的准确性和成功率。该算法可以满足实时处理的要求。
视频图像的边缘轮廓特征的舞者在民族区域分解和视点跟踪和切换方法用于提取视频特征的舞者在民族地区和跟踪和识别技术的趋势。规模的一个重要目标的性质,规模和估计精度的变化会影响跟踪效果的跟踪算法。为了使跟踪算法适应目标变化在跟踪过程中,目标选择样本实时跟踪模型跟踪过程中。在样本选择的过程中,图像的矩形目标规模将被视为目标区域。如果抽样规模大于目标的实际规模,太多的背景信息将作为目标模型更新,导致模型的区分目标和背景的能力恶化。然而,如果抽样规模小于目标的实际规模,只有一部分的目标将取样,样本信息不完整。各种变化将不可避免地发生在跟踪目标的运动,和目标的特征将会改变结果。最初的功能模板显然是不能满足要求的精确和实时跟踪。跟踪窗口的大小和目标的特征模型将同步调整适应目标的运动状态。当外部环境发生变化时,例如当一个移动的目标受阻或视角的变化,视频跟踪信息丢失,和准确性受到损害。 The success rate of tracking is improved by combining multiple features. Dance videos were used in experiments to test the effectiveness of a single feature in complex scenes. The success rate of video sequence tracking is shown in Figure7。
从图可以看出7目标跟踪算法基于multifeature融合有最好的整体识别率与其他三个单一特征的目标跟踪方法。同时,multifeature组合方法也表现出更多的优势,和本文中使用的方法的识别率明显高于单一方法。结合每个特性的优点,它提高了重量的特性与稳定性好,识别率高,提高了跟踪的鲁棒性和准确性。远比其他单一特性的影响。
的前提下最大响应值反映了跟踪结果的可靠性是目标跟踪模型能有效区分背景区域的目标。一旦目标外观变化很大和模型未能及时适应,可能存在一种情况,即使当前的最大响应值是准确的,响应值很小,或者当目标模型失去辨别能力;即使最大响应值很大,它预测错误的目标位置。因为每个像素被认为是独立的,这也会导致错误的结果。最近,视频分割取得了好的结果通过限制相邻像素的空间一致性。马尔可夫随机场模型是用来制造时间和空间推理在图像获取更准确的前景和背景。定义一个复杂的能量函数,它取决于图像数据和标签。能量最小化的时空一致性保证前/背景图像序列和消除奇点。
本章的仿真实验表明,该方法能有效地跟踪和识别舞者在民族地区,提高成像质量。本文提出的方法具有一定的优势。人类运动检测的平均误差较低,鲁棒性较高。与其它方法相比,本文提出的方法具有更小的像素错误的人类运动的中心点,是适合长期跟踪的过程,具有更好的稳定性。
5。结论
人工智能和计算机视觉在最近几年越来越流行,在每天的生活中变得越来越重要。目标跟踪技术是必不可少的在今天的科技社会中,它有一个广泛的应用程序。传统的目标跟踪算法,在一般情况下,只能满足跟踪要求在特定的场景。在实践中,通常需要提高适应不同的场景。因素,如光照变化、变形、遮挡背景杂波,和其他人对目标跟踪算法的性能产生重大影响,所以克服这些因素对跟踪性能的影响是研究的热点。探讨民族舞蹈家跟踪技术,分析民族舞蹈的运动特征,并进行专业指导和判断使用特征提取的方法,为了提高培训的针对性和标准化运动校正的能力。本文中描述的跟踪算法可以充分利用目标和背景之间的关系特性,体重的比例良好的表达能力,有效应对外部环境变化和扰动,并跟踪当地目标持续和有效。人类的目标探测是完成使用multifeature融合检测方法,有效地改善人类检测的鲁棒性。同时,当与其他主流跟踪算法相比,本文提出的算法提高了跟踪性能在各个方面,它仍然可以实现良好的跟踪效果,即使各种因素,如杂乱的背景,闭塞,和视图中,存在,展示良好的适应性。然而,它也可以处理实时处理的要求。 This method can effectively improve the pixel tracking and recognition ability of dancers in ethnic areas, so as to realize the video guidance of dancing in ethnic areas. However, due to the limitation of my research and energy, the algorithm proposed in this paper still has defects and deficiencies, and further research and improvement are needed in the future.
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者没有任何可能的利益冲突。