CIN 计算智能和神经科学 1687 - 5273 1687 - 5265 Hindawi 10.1155 / 2021/3110416 3110416 研究文章 不合作的步态识别的智能监测系统使用周期一致的生成对抗网络(CCGANs) https://orcid.org/0000 - 0002 - 1304 - 2651 Alsaggaf Wafaa Adnan 1 https://orcid.org/0000 - 0001 - 7864 - 957 x Mehmood 伊尔凡 2 https://orcid.org/0000 - 0002 - 5969 - 9333 Khairullah Enas Fawai 1 https://orcid.org/0000 - 0002 - 6492 - 3977 Alhuraiji 萨玛 3 https://orcid.org/0000 - 0002 - 4233 - 1647 萨比尔 摩诃法鲁克年代。 4 https://orcid.org/0000 - 0001 - 7199 - 6587 Alghamdi 艾哈迈德·S。 5 https://orcid.org/0000 - 0002 - 5068 - 2033 Abd El-Latif 艾哈迈德。 6 Gomez-Donoso 旧金山 1 信息技术部门 计算和信息技术阿卜杜勒阿齐兹国王大学的教员 吉达23713 沙特阿拉伯 2 工程与信息学院 学校的媒体 设计和技术 布拉德福德大学 布拉德福德 英国 bradford.ac.uk 3 计算机科学部门 计算和信息技术学院 阿卜杜勒阿齐兹国王大学 吉达 沙特阿拉伯 kau.edu.sa 4 信息系统部门 计算和信息技术学院 阿卜杜勒阿齐兹国王大学 吉达 沙特阿拉伯 kau.edu.sa 5 网络安全部门 计算机科学与工程学院 大学吉达 吉达 沙特阿拉伯 uj.edu.sa 6 数学系和计算机科学 理学院 Menoufia大学 Shibin Kawm 32511 埃及 menofia.edu.eg 2021年 13 10 2021年 2021年 15 6 2021年 13 9 2021年 29日 9 2021年 13 10 2021年 2021年 版权©2021 Wafaa Adnan Alsaggaf et al。 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

监测仍然是一个重要的研究领域,它有许多应用程序。智能监测需要一个高水平的准确性即使人不合作的。步态识别的研究认识到人们的行走,即使他们不愿意合作。这是另一种形式的独特属性的行为生物识别系统的一个人的步态分析来确定他们的身份。另一方面,一个大的限制步态识别系统既不合作的环境中,画廊和探针集是由不同行走和未知的条件下。为了解决这个问题,我们提出一种基于深度学习方法与正常步行训练对个人条件,处理一个不合作的环境和认识到个人与任何动态行走条件,一个周期一致的生成对抗的网络使用。这个方法将一个基从不同的协变量因素打扰到正常的基。它就像无监督学习,培训期间,基从不同的协变量因素扰乱了每个个体和作为源域,正常走个人条件是我们的目标领域的翻译是必需的。周期一致的甘斯自动找到一对个人的帮助下周期损失函数并生成所需的基,由CNN模型来预测测试ID。所提出的系统评估的人在一个名为CASIA-B的公开的数据集,并取得了优秀的成果。此外,该系统可以实现在敏感地区,像银行,研讨会大厅(事件)、机场、大使馆、购物中心、警察局、军事领域,为安全目的和其他公共服务领域。

 机构基金项目 ifphi - 033 - 611 - 2020 教育部——沙特而王国 阿卜杜勒阿齐兹国王大学 1。介绍

生物识别系统采用人类独特的生理或行为特征来确定自己的身份。所有的这些特征区分从另一个人 1]。同样,步态识别系统也是一个生物识别系统,识别一个人基于他们走路的方式。它是一种相对较新的技术,近年来吸引了大量的研究。以前开发的生物系统,如人脸识别、虹膜识别、指纹识别、使用物理属性的个体建立自己的身份,但步态识别研究个人行为的识别,使其行为生物识别系统( 2]。步态识别的优势生物视觉生物识别技术包括步态识别是适当和有效地识别人即使他们的脸了,也当监控摄像头和个人之间的距离约为50米。另一方面,虹膜识别要求一个人必须从相机3厘米的距离,和人脸识别需要约5米。除此之外,视觉生物识别技术还需要高质量的图像进行准确的识别,需要在鉴定主体的参与。另一方面,步态识别是这样一个令人钦佩的生物系统,不需要合作的时候检查监控摄像头,和这方面使它有效地确保安全在公共安全领域 3]。

不同的研究者进行步态识别在两个不同的实验设置。一个是合作方式,和其他是不合作的环境。以合作的方式,模型训练和测试已知的行走条件( 4]。更具体地说,如果一个模型训练几人正常行走在一个没有携带任何的视频对象或项目,然后测试在不同的视频个人但走相同的条件,即。,正常行走。在这种情况下,个人的行走条件被检查的模型验证。另一方面,在一个不合作的方式,个人条件隐瞒行走模型。模型训练在一组人走正常的风格和测试在同一个人,但不同的走路方式如走路携带物品,如袋子和箱子在手中,或与不同的衣服外套和夹克。这些物品,或者不同条件下行走,被称为协变量因素,导致个体步态特征被中断。此外,第二个实验设置是更现实的和非常具有挑战性的任务在计算机视觉,因为步态识别模型的性能大幅下降当个体带有未知变量和协变量的条件。这些都是动态行走条件和强烈的影响从他们的步态识别个体的识别率。在现有工作,当受试者视为合作,也就是说,协变量条件是已知的在系统的培训,然后模型或系统揭示了一个非常优越的整体性能。然而,有一个下降的结果在实验场景当不合作的环境考虑,和画廊和探针集是在未知的行走条件下形成的。

在这个研究中,我们试图改善深度学习模型的识别性能与这些协变量因素的存在。为了改善结果,使系统强大的动态变化,我们雇佣周期一致的生成对抗网络(CCGANs) [ 5]。本研究的主要目的是培养一个模型与一个行走条件的个体正常行走和验证和测试模型未知和动态行走条件,即。,如果一个人有一袋或外套和其他动态实时状态。我们首先利用深CNN模型,火车在一套独特的画廊在所有个体与正常走路的风格。在第二阶段中,我们验证了模型与个人拎手提包或穿外套或任何其他的事情。这些协变量的存在因素修改个人和不同的步态特征的特征提取的CNN正常走路。所以,在通过测试图像直接训练CNN模型,它首先通过CCGANs,这意味着步态能量图像(基 6),更紧凑的步态表示)与不同的协变量因素干扰常规走基,复苏CNN的步态特征训练认识到人。CCGANs训练在一个无监督的方式,也就是说,在基基中断正常的翻译,它会自动选择正确的正常基基使用周期中断目标领域的损失。此外,目前,不同类型的甘斯用于不同类型的任务。例如,一个非常基本的氮化镓( 7生成特定的人工图像,它从一个随机向量训练,而且没有控制生成的数据模型。在我们的例子中,我们不想从一个随机向量生成人工数据;因此,甘斯不适用的基本类型。同样的,有条件的甘斯( 8)使用,当我们想把一个图像从一个域到一个图像从一个不同的领域。在这种情况下,我们必须成对的数据,例如,如果我们想翻译的照片映射到航拍照片,然后我们必须指定给定的实例映射图像转换到一个特定的图像的航拍照片在训练。提出问题,扰乱了探针集需要被翻译成一个正常的探针集。但调查集包含图像的各种个人,和是不公正的测试时间与袋一定基的一个人走,人- id - 001,等翻译成人- id - 001与正常走路。因为在测试时间,我们不知道这个人的实际标签或ID。所以,有条件的甘斯也不适合这个问题。然而,CCGANs没有这样的限制。用人CCGANs的主要原因是,我们想要将图像从协变量因素的影响正常盖斯没有透露人的id。CCGANs无人监督的机制是一个完美的匹配解决手头的挑战,因为它会自动找到确切的对特定的人紧随其后的是一个翻译的形象。这项工作的主要贡献如下:

使用CCGANs处理未知的和动态步行环境。

重建的步态特征,由变量失去了协变量因素。

CCGANs不是以前用于步态分析步态恢复功能。CCGANs实验结果证明能力的恢复人的步态特征的不合作的环境和提供更好的性能。

我们的方法与其他方法的比较分析显示了该方法的优越性。

本文的其余部分被组织成几个部分。部分 2介绍了相关工作,部分 3描述了该方法和部分 4介绍了结果结论紧随其后。

 2。文献综述

目前,步态识别方法主要分为两种主要的方法:一种是基于模型的方法( 9- - - - - - 11),另一个是外貌的方法( 12- - - - - - 14]。在基于模型的方法中,人类的身体结构是集中使用不同的身体中提取步态特征参数,包括步幅、速度、大小不同的身体部位,和所有其他的静态和动态参数。这种类型的方法是计算昂贵,因为它需要高分辨率的图像,即使步态识别方法应该使用低质量的图像和最少的光。另一方面,外貌的方法研究人类的轮廓提取不同的序列,和主要的运动人体主要集中在这种方法。这种方法可以处理低质量图像,适合实时公共监督。外貌的方法进一步分为手工特性采用方法和基于深度学习的方法。

传统的机器学习方法的上下文中,Anusha和Jaidhar 12]提取手工特征步态能量选择性区域的图像(基) 15),这是一个受欢迎的步态表示使用面向修改局部最优模式(MLOOP)功能描述符后跟降维算法来减少提取特征向量,然后,进行分类。拟议的方法是验证CASIA-B和OU-ISIR B步态数据集,它出色地工作在所有的实验。同样,Lishani et al。 16)也采用传统的步态识别的机器学习技术。在这个工作中,多尺度局部二进制模式(MLBP)和伽柏滤波器组特征描述符是用来提取特征光谱紧随其后内核回归判别分析(SRKDA)特征选择算法。最后, K最近的邻居分类器是用于分类,取得了92%的识别评分。Rokanujjaman et al。 17)引入了一个新的步态表现称为频域步态熵(EnDFT)的特性从EnDFT影响较小的部分,和一个距离度量是用来区分人类。同样,巴希尔et al。 13)选择成对特性使用他们的提议步态图像熵(GenI)和自适应组件和判别分析(联盟)。此外,古普塔et al。 18]提出了基于边界能量图像(贝)步态轮廓的代表人类平均的所有轮廓图像。他们使用降维主成分分析(PCA)和线性判别分析(LDA)分类,达到鼓励性能。

目前,基于深度学习方法显示特殊表现在计算机vision-related任务在不同领域( 19- - - - - - 22]。同样,步态识别,也被证明是一个优秀的方法个人从他们的步态识别的特征。Alotaibi和马哈茂德 14)提出了一种深专业八层的卷积神经网络(CNN)对研究对象进行分类。该模型验证在CASIA-B步态数据集有不同的实验设置。hawa et al。 23)提出了cnn的光学流基增加模型的性能。光流排除了静态基高像素强度的一部分,只代表基强度高的动态部分。同样,琳达et al。 24]提出color-mapped步态轮廓图像(CCGIs)和深CNN cross-view步态识别。CCGIs有助于识别人类行走时间信息序列。模型评估CASIA-B步态数据集和准确性评分平均为94.65%。苏et al。 25]介绍了中心排名的损失在其深层神经网络集成信息的正负样本。黄等。 26)提出了基于关键帧的步态识别模型与深度学习技巧。总帧序列对步态特征有不同的贡献。为此,他们提出了一个提取模块提取关键帧从一个给定的步态序列和结果的提取高度特色。姚明et al。( 27)提出了一个骨架步态能量图像(SGEI)使用multibranch cnn,哪一个部门负责预测信心地图,第二个分支是用来预测关联字段。之后,结果和图像的特征从两个分支连接进行步态识别。凌et al。 28)使用注意机理方法在步态识别强调不同的地区。他们验证方法OU-ISIR跑步机上的数据集B处理协变量条件下的问题。此外,使用转移学习也用于步态识别中吴et al。 29日)提出了DenseNet-based转移学习方法。步态的空间信息给出基作为输入DenseNet每个主题的提取特征,最后,然而,用于个人分别进行分类。

此外,在一些最近的研究,人类行为在不同领域的研究也是剥削。在活动中识别、蜀et al。 30.解决这一问题的小组活动在多人场景识别。他们提出了图LSTM-in-LSTM (GLIL)为基础框架,同时个人和组级别的活动模型。同样,唐et al。 31日)使用人类的运动特征来解决小组活动识别的问题。有关运动的人被约束的上下文连贯性(STCC)和全局上下文连贯性(GCC)。Kabir et al。 32)认识到人类的活动使用整数线性建模。系数矩阵是用来定义状态和输入之间的关系。此外,最先进的蜀等的研究。 33)旨在预测未来运动的个体基于目前观察到的运动。此外,不同的活动识别算法的局限性也在研究。崔书记et al。 34)显示高操作的复杂性资讯活动识别算法,提出一个方法来降低这种复杂性。除了步态识别在生物识别技术领域,还存在一些其他可能的场景和应用领域,如大数据和其他物联网系统,可以应用在类似的工作。内容分析的视频也用于其他领域。例如,歌曲等。 35)分析和回顾了最新行动视频的内容分析的方法识别。而不是动作识别,人类的行为也用于姿态,演讲,和wrist-activity识别。例如,乔et al。 36)提出了新方法基于隐马尔科夫模型(HMM)语音识别。他们的方法是基于一个修改版的维特比得分方法。为了确定一个最优的匹配模型,维特比得分在语音识别系统中起着显著作用基于嗯。一个动态的基于人类的手势识别系统由陈et al。 37),适用于IPTV遥控器。硬件加速器也用于目标检测的实时移动对象。这些监测系统从几个摄像头捕获视频,而这些视频经常遭受各种噪音。不同的研究人员也提出了不同的技术来解决噪音问题。例如,妞妞et al。 38]提出的方法去除模糊强度的图像监控系统的视频在一个下雨的环境。王等人。 39)提出了一个新颖的方法对水下目标噪声处理。这种方法是进一步结合cnn识别水下目标。

目前,计算机应用算法和技术的发展正在迅速增加,对许多日常生活用例。最先进的算法生成对抗网络( 7]。它们是生成模型基于深度学习方法和监督和非监督分类模型。周期一致的生成对抗网络(CCGAN)是一种无监督的类型生成模型,在无监督执行图像翻译方式( 5]。适用于大多数的电脑vision-related域。最近,卡尼et al。 40)注意机制参与CCGANs执行图像翻译MRI的CT扫描。同样,Armanious et al。 41)翻译正电子发射计算断层扫描(PET)图像CT扫描图像使用CCGANs连同nonadversarial周期损失。另一方面,当谈到步态识别,Yu et al。 42)提出了一个框架,即GaitGAN个体步态选择不变的特性减少协变量的影响因素。然而,提出监督的方式方法使用甘斯模型训练的源和目标盖斯已经知道。同样,视图相关步态识别,他等。 43)采用多任务甘斯直接改变视图的特定属性潜在空间。呈现时此外,阿尔法混合甘斯李受雇于et al。( 44)翻译的盖斯受到对象盖斯没有对象。得出结论是合理的,分析人类行为的不同类型的任务,比如人生物识别系统的识别,语音识别、手势识别和动作识别,是活跃的研究领域,在当前时代。

 3所示。提出的方法

提出了方法论的步态识别系统呈现在图 1。如图 1一个画廊,我们首先训练CNN模型集,它是由个人的盖斯在一个正常的走路。之后,我们使用了CCGAN模型将图像从协变量因素破坏常规盖斯和不合作的设置使识别可能的和准确的实验。

提出的步态识别框架不合作的环境。

 3.1。输入数据

受欢迎的步态表示,即步态能量图像(基)作为输入该方法( 6]。它可以计算,首先提取帧序列的单个其次是计算每一帧的轮廓使用背景减法。在最后,所有的轮廓图像序列的一个特定的个人平均和排列形成一个步态能量图像表示。方程( 1)显示基的数学公式: (1) 基 = G x , y = 1 T ∑ t = 1 T 我 x , y , t 。

在方程( 1), G x , y 代表产生的基,在那里 我 x , y , t 表示轮廓图像帧数 t 和协调 x , y ,而帧总数为代表 T 。这种步态表示的主要优势是更少的存储空间和计算时间。轮廓图像容易产生噪声,处理每个轮廓框架成本太高;因此,盖斯是最有效的步态表示。此外,盖斯也非常敏感,不同的协变量因素,强烈影响基的形状。一些例子的步态能量CASIA-B数据集的图像具有不同条件如图行走 2。

CASIA-B步态数据集的例子中,第一行对应于盖斯与正常走路,背着一个大包对应科目,第二行和第三行对应科目穿外套。

 3.2。CNN架构

提取所有科目的盖斯后,我们调整和新 240年 × 240年 × 1 图像尺寸和给他们作为输入CNN架构。我们使用相同的CNN架构提出的布哈里et al。 4]。卷积在CNN的架构,有四个街区。每一块组成 3 × 3 卷积层,其次是 2 × 2 max-pooling层来减少输入数据,选择的空间维度最大值从输入地区根据以下方程: (2) y k 。 w 我 = 马克斯 0 ≤ 一个 , b ≤ p x 我 k × p + 一个 , w × p + b 。

在上面的方程中,神经元或单位 y k 。 w 我 在抽样层是出现在一个特定的位置 k , w 在 我 th 输出映射。在该地区 p × p ,最大的价值选择和分配 y k 。 w 我 神经元的 我 th 输入地图 x 我 。随后,激活函数卷积后使用每个层漏ReLu实现非线性。它是定义在以下方程: (3) f x = x 如果 x > 0 0.01 x 否则 。

在上面的方程中, x 是一个功能从卷积层地图了。如果值 x 大于零,保存;否则,他们是乘以一个小值为0.01。这个激活函数是ReLu激活的一种改进形式。在ReLu激活函数的情况,梯度是0输入值小于零,去活化神经元在这一地区,可能导致死亡ReLu问题。另一方面,漏ReLu克服这个问题。在ReLu漏水的情况,而不是将所有负梯度0,它返回一个小的数字乘以0.01倍 x 。这个小值地图显示负值的影响特性 x 。值越高,影响越低。因此,它还产生输出负值。此外,所有的运算不填充。特征图,卷积的输出层,可以计算由以下方程: (4) X = b 我 ∑ k = 1 n W 我 , j ∗ Y 。

在上面的方程中, X 是输入层和 Y 输出层的吗 ∗ 表示卷积的操作, b 我 是偏见, W 我 j 我 , j ∈ N 是按重量重量优化优化算法,输入数据的大小是用 n 。此外,我们建议的体系结构的所有卷积模块负责提取基的语义信息和特性集,是每个基于步态的歧视。最后,使用两个完全连接层。在最后一层神经元的数量等于一系列的类标签或个人出现在数据集紧随其后的是“softmax”激活函数,它返回每个类的概率。

架构是124人出现在CASIA-B步态训练数据集与正常行走的条件。此外,时代与重量优化器设置为30亚当随着学习速率为0.0001,分别。

 3.3。周期一致的生成对抗网络(CCGANs)重建的步态特征 3.3.1。问题公式化

满足了工作的贡献,我们采用了循环生成对抗网络(CCGANs)一致。本研究的主要目的是处理未知的和动态的步行环境。更具体地说,我们寻求重建步态特征,被协变量因素的存在。因此,编译后的形式输入数据为每个主题,盖斯我们创建了CNN模型。这CNN模型训练在正常行走序列(视频)的主题,也就是说,124年。现在,如果其中的一个124人的一个监控摄像头,同时携带一袋进行识别,然后系统由于阻塞表现不佳的袋子,这扰乱了步态特征。因为当一袋放置在身体的某些部位面前,他们成为隐藏起来,因此,重要的信息关于步态的个人风格也失去了。同样的情况与其他携带物品和穿着条件。因此,难以识别。我们也可以认为这是如何识别个人的脸上如果面临被面具覆盖因为面具遮挡,隐藏的特点。 So, a cycle consistent GAN model is deployed to recover/reconstruct the original image or gait features that are affected by these covariate factors. This model was proposed by Zhu et al. for image-to-image translation tasks when the source and target images are not paired [ 5]。这种模型的优点是它没有配对图像进行训练。在我们的场景中,我们重建的包和外套盖斯每个相应的正常基功能恢复和人类的识别是可行的和CNN是能够预测对象ID和更准确的结果。此外,CCGANs有效地处理动态协变量条件对模型未知的包和外套;我们火车CNN模型对个人与正常走路风格和验证它个人的行走而携带包,穿着外套。此外,表 1显示所有使用符号或符号来描述关键词。

符号和定义。

符号 定义
D 一个 鉴频器模型的域(探测包/外套)
D B 鉴频器模型的域B(正常的盖斯)
一个 训练样本的域 一个 我 我 = 1 N ∈ 一个
B 训练样本的域B b 我 我 = 1 N ∈ B
F b 翻译正常盖斯
l c y c 周期的一致性损失函数
l G 一个 N 敌对的损失函数
G 翻译的领域
F 域B的翻译
米 我 n 最小化的变量
米 一个 x 最大化的变量
3.3.2。CCGANs的架构和设计机制

周期一致的甘斯的模型架构由两个发电机模型和两个鉴别器模型。发电机模型负责生成所需的图像,和鉴别器模型用于区分真实和虚假图像生成的人工。我们的源域包含的包和外套盖斯(域),而目标域包含个人的正常行走盖斯(域B)。第一个发生器的输入(发电机)是图像域B,也就是说,盖斯与正常走路,和输出是翻译领域一个图像,这是包包和外套盖斯。类似的,第二个发生器的输入(发电机B)是图像域,和输出转换图像域B .每个发电机模型与相应的鉴频器模型。鉴别器将输入图像的包和外套,这是域图像以及人工生成的图像从发电机和预测,图片是真实的还是假的。类似的,第二个鉴别器B需要正常的盖斯和人工生成正常盖斯从发电机B,然后预测是否真实或假的。敌对的零和损失都用来训练发生器和鉴别器模型。发电机模型的主要目的是最好的傻瓜鉴别器模型的帮助下生成的图像,并且学会了鉴别器模型预测和检测的虚假和真实图像域。此外,CCGAN模型使用术语周期,因为在整个生产过程中创建一个循环。发生器的输入B图像域是一个,也就是说,包包和外套,和发电机的输出B是正常的盖斯,这是我们需要翻译。 This output is the input of the generator A to generate images of domain A and hence the cycle is created. Similarly, the identical procedure is followed with generator A.

鉴频器的体系结构配置和发电机模型描述的一样在前面的文献[ 5]。鉴频器只是一个CNN,执行图像分类和预测,图像是真实的还是假的。规范化卷积操作,其次是实例而不是批量标准化CCGANs用于鉴别器模型。激活函数用于整个ReLu鉴别器模型是有漏洞的。所有曲线玲珑的卷积核的大小为4 ∗ 4所示。此外,hyperparameters鉴别器模型包括损失函数,即均方损失(MSE),和亚当优化用于优化权值学习速率为0.0002。计算的公式MSE损失在基翻译是由以下方程: (5) 均方误差 = 1 n ⋅ ∑ 我 = 1 n y 我 − y ^ 我 2 , 在哪里 y 我 和 y ^ 我 实际和预测模型和类标签 n 是类的总数。在另一方面,发电机的结构模型是基于一个encoder-decoder结构。发电机模型首先downsamples形象得到图像的背景下的瓶颈层然后编码这个上下文的帮助下ResNet层使用跳过连接随后upsampling层解码上下文所需的输出图像。

 3.3.3。CCGANs培训机制

鉴别器模型的训练包括真实的和人工生成的图像而发电机模型训练的帮助下他们的鉴别器模型。发电机模型使用敌对的损失和更新,减少它的预测鉴别器作为“真实”生成的图像。这鼓励发电机模型生成的图像更接近我们需要的目标域图像,即。,正常的盖斯。此外,使用的其他损失函数发生器模型包括身份损失,损失,并向后损失。敌对的损失,考虑的映射函数包/外套正常基翻译 G : 一个 ⟶ B 和鉴别器B的域 D B,即,normal GEIs, then the objective is expressed in the following equation: (6) l 氮化镓 G , D B , 一个 , B = E b ∼ p d 一个 t 一个 b 日志 D B b + E 一个 ∼ p d 一个 t 一个 一个 日志 1 − D B G 一个 , 在哪里 G 是一个发电机,学会生成所需的图片吗 G 一个 看起来更接近的图像域B,即。,我米一个ges with recovered gait features, while the objective of the discriminator D B 区分生成的图片吗 G 一个 和真实的图片 b。 G 试图减少这一目标,而对手 D 正寻求最大化。 (7) 最小值 G 马克斯 D B l 氮化镓 G , D B , 一个 , B 。

同样,映射函数 F : B ⟶ 一个 介绍了类似的对抗性的损失,以及鉴别器 D 一个和计算由以下方程: (8) 最小值 F 马克斯 D 一个 l 氮化镓 F , D 一个 , B , 一个 。

此外,向前和向后循环一致性也计算。考虑一个图像 一个 从域 一个 的步态特征的重建是必要的。发展周期的一致性,整个周期CCGAN形象翻译能带来一个形象 一个 原来的形式, 即。 , 一个 ⟶ G 一个 ⟶ F G 一个 ≈ 一个 。同样,为了向后循环一致性,我们有实例 b 从域 B , G向后和F还应满足的方程周期的一致性: b ⟶ F b ⟶ G F b ≈ b 。因此,所有周期的一致性损失的机理给出了以下方程: (9) l 赛克 G , F = E 一个 ∼ p d 一个 t 一个 一个 F G 一个 − 一个 1 + E b ∼ p d 一个 t 一个 b F G b − b 1 。

此外,完整的目标是由以下方程: (10) l G , F , D 一个 , D B = l 氮化镓 G , D B , 一个 , B + l 氮化镓 F , D 一个 , B , 一个 + λ l 赛克 G , F 。

在上面的方程中,可以控制两个目标的相对重要性 λ 。主要目的是解决目标给出了方程( 10): (11) G ∗ , F ∗ = 参数 最小值 马克斯 G , F , D 一个 , D b l G , F , D 一个 , D B 。

可以看出这个模型可以被视为培训两个“autoencoders”[ 45]。一个汽车编码器 F ∘ G : X ⟶ X 与第二autoencoder共同学习 G ∘ F : Y ⟶ Y 。然而,autoencoders都他们的内部结构,用于将图像映射到一个中间表示本身是一个翻译的图像从一个域到另一个域。这些场景可以观察到工作的一个特例“对抗autoencoders”[ 46),其中的瓶颈层autoencoder是训练的帮助下敌对的损失来生成任意目标。在我们的例子中,域 B ,其中包含正常盖斯不同的主题,是目标autoencoder分布 一个 ⟶ 一个 。

 4所示。实验装置和结果 4.1。数据集

在计划的工作,我们有一个流行的数据集用于步态识别命名CASIA步态数据集提供的中国科学院(CASIA) [ 47]。它由三个主要部分命名CASIA A, B和c的研究,CASIA B被认为是。CASIA B是一个大型的多视图步态数据集与观点从0到180度。对于每一个视角,它由124每个主题都有主题的数据共有十序列可用。十序列,六个序列是正常走序列[nm-01 nm-06),两个序列中走袋(bg-01, bg-02),和两个序列服装条件集中和主题走路穿大衣[cl-01, cl-02]。

 4.2。评价指标

评估该模型,性能测量包括精度、F1score,精度和召回被认为是 48]。每个测量下面的细节:

4.2.1。准备精度

正确预测的总数由底层模型从总体预测精度测量,它定义在以下方程: (12) 精度 = T P + T N T P + T N + F P + F N 。

4.2.2。精度

精密测量的积极类模型预测的总数实际上是积极类预测,是数学计算以下方程: (13) 精度 = T P T P + F P 。

4.2.3。回忆

召回措施积极类的总数由所有积极的情况下,该模型预测,数学计算有以下方程: (14) 回忆 = T P T P + F N 。

4.2.4。F1的分数

的精度和召回指标都合并在F1的分数来衡量整个模型的性能。在数学上,它是描述以下方程: (15) F 1 = 2 ⋅ 精度 ⋅ 回忆 精度 + 回忆 。

4.3。结果与讨论

所有python实现的模拟运行在谷歌与一个12 GB Colab NVIDIA Tesla K80 GPU。有必要提及,在整个实验的设置中,我们处理未知的和动态行走条件;也就是我们的画廊集包括所有124人正常行走条件每个个人都有四个序列(nm-01-nm-04)所使用的其他人员( 13, 29日, 49]。所以,CNN模型训练这个画廊集有124个人。在这之后,训练有素的CNN模型权重保存。我们创建了两个探针集模型评价,一个与衣服条件(外套)和其他条件(袋)的124人。当我们直接输入这些探针集训练CNN模型,然后结果是贫穷。CNN模型未能识别相同的124人它是训练有素的,因为在这个时候,所有124个人有一个未知的行走状态。他们穿着外套和携带袋;因此,这些协变量因素改变124人全部的步态特征,导致系统无法检测到它们。如表所示 2,训练有素的CNN模型的准确性只有38%和24.19%在探针组包和外套。作为一个解决方案,我们恢复特性集生成采用周期一致对抗网络(CCGANs)。它转换数据的124人与包包和外套正常走路图像和删除所有协变量因素。CCGANs训练的时候,源和相应的目标图像并不是已知;即CCGANs自动找到包的正常基基特定个人的帮助下周期的损失。CCGANs消除所有协变量因素,使识别困难。之后,翻译后的数据被送入CNN为了识别。表 2显示的结果直接输入协变量数据到CNN和CNN + CCGANs的结果。很明显从表中,我们建议的方法的准确度与CCGANs由于步态特征的重建。在探针集袋,我们取得了79%的准确率,外套,结果提高27.61%。同样,准确性、召回和F1袋得分是0.72,0.79,和0.79,分别而外套,他们是0.38,0.51和0.41。

CNN和CCGANs的结果。

老不。 探针集 精度(%) 精度 回忆 F1score
1 正常(CNN) 97.98 0.98 0.97 0.97
2 袋(CNN) 38 0.29 0.38 0.31
3 外套(CNN) 24.19 0.17 0.24 0.19
5 袋(CNN + CCGANs) 79年 0.72 0.79 0.74
6 外套(CNN + CCGANs) 51.8 0.38 0.51 0.41

除此之外,在训练的时候CCGANs,发电机和损失值鉴别器两域如图 3。在图 3dA_loss1鉴别器的损失在真实的例子域图像,也就是说,袋或大衣图片,而dA_loss2鉴别器的域是一个假的例子,即。人工生成的塑料袋或大衣图片。同样,dB_loss1和dB_loss2域B的鉴别器的损失是真的和假的例子,即。、原始和翻译普通的盖斯。此外,发电机的两域给出g_loss1和g_loss2图 3。这些损失是周期的加权平均一致性的损失 l 赛克 (向前或向后)和敌对的损失 l 氮化镓 在方程( 10)。这些损失都是按照时代的记录。此外,我们还计算出损失每例在训练称为每个时代的步数。每例损失图表为探针集给出的数据 4, 5, 6, 7。在这些数据中, x设在表示每个时代的步骤, y设在表示损失的鉴别器和生成器。我们终止培训后12400步(50时代),因为没有进展,除此之外的损失。表 3还包括一个与之前的方法相比,考虑到严格的协变量条件。从表 3,它是观察到,我们建议的方法优于现有方法。

比较分析与现有的协变量的条件下工作。

老不。 方法 正常的 袋 外套(%) 平均精度(%) 协变量
1 巴希尔et al。 13] 100.0% 78.3% 44.4 74.2 是的
2 古普塔et al。 18] NA 86.2% 61.4 73.8 是的
3 hawa et al。 23] 97.6% 45.3% 49.6 64.1 是的
4 Yu et al。 50] 95.97% 65.32% 42.74 68.01 是的
5 姚明et al。( 27] NA NA 38 38 是的
6 苏et al。 25] 93.2% 72.8% 59.1 75.03 是的
7 该方法 97.98% 79% 51.8 76.26 是的

图形不同的损失函数在两个探针集。

损失的鉴别器在每个时代的步骤数袋。

失去了发电机在每个时代的步骤数袋。

损失的鉴别器与外套每个时代的步骤数。

发电机损失与外套每个时代的步骤数。

 5。结论

步态识别没有人类参与的是一项复杂的任务在计算机视觉,因为所有深学习算法不像更好的抓住每一个可能的动态步行环境。一般来说,计算机视觉算法训练在一个特定类型的数据提取独特的特点,然后基于这些提取的特征进行分类。然而,在步态识别不需要人工参与的情况下,协变量因素改变个人的步态特征出现在盖斯与深度学习模型的训练。这些协变量因素是未知的模型,使其表现很差。所以,本研究使用CCGANs重建的盖斯模型的相同功能恢复训练。CCGAN模型训练以一种无监督的方式找到一个相应的正常袋/外套基基的一个特定的个体。然后,结果翻译图像是由CNN模型进行测试。此外,我们取得了一个非常令人鼓舞的准确性分数79%的携带状况和在服装条件也可接受的性能。这项工作进一步改进和扩展使用各种传感器,获取步态数据而不只是视觉数据并结合深度学习技术,使系统更加准确、可靠。

 数据可用性

在生成的数据集和分析在当前研究可从相应的作者在合理的请求。

 的利益冲突

作者宣称没有利益冲突。

 确认

这项研究是由机构基金项目批准号ifphi - 033 - 611 - 2020。因此,作者欣然承认的技术和财政支持教育部和阿卜杜拉国王大学,安全域,吉达,沙特阿拉伯。

 Wayman j·L。 耆那教徒的 答:K。 Maltoni D。 Maio D。 生物识别系统:技术、设计和性能评价 2005年 柏林,德国 施普林格科学与商业媒体 王ydF4y2B一个 C。 王 l Phoha 诉V。 在步态识别的一项调查 ACM计算调查(CSUR) 2018年 51 1 35 张 Z。 胡 M。 王 Y。 先进的生物特征的步态识别的调查 《中国会议上生物特征识别 2011年 柏林,德国 150年 158年 10.1007 / 978 - 3 - 642 - 25449 - 9 - _19 2 - s2.0 - 81155133302 布哈里 M。 Bajwa k B。 Gillani 年代。 Maqsood M。 杜兰尼 m . Y。 Mehmood 我。 优格里 H。 ρ 年代。 一个有效的步态识别方法对已知和未知协变量条件 IEEE访问 2020年 9 6465年 6477年 朱 j . Y。 公园 T。 伊索拉 P。 埃弗 答:一个。 未配对image-to-image翻译使用cycle-consistent敌对的网络 《IEEE计算机视觉国际会议 2017年10月 意大利的威尼斯 2223年 2232年 10.1109 / iccv.2017.244 2 - s2.0 - 85041892358 阿里 H。 他还 J。 阿里 C。 Moung e . G。 步态识别使用步态能量图像 国际期刊的信号处理、图像处理和模式识别 2011年 4 141年 152年 格拉汉姆·古德费勒 我。 Pouget-Abadie J。 阁下 M。 徐 B。 Warde-Farley D。 Ozair 年代。 考维尔 一个。 Bengio Y。 生成敌对的网 先进的神经信息处理系统 2014年 27 伊索拉 P。 朱 j . Y。 周 T。 埃弗 答:一个。 Image-to-image翻译与条件对抗的网络 《IEEE计算机视觉与模式识别会议 2017年10月 意大利的威尼斯 1125年 1134年 10.1109 / cvpr.2017.632 2 - s2.0 - 85030759098 山药 C。 尼克松 m . S。 卡特 j . N。 自动人识别行走和奔跑通过基于模型的方法 模式识别 2004年 37 5 1057年 1072年 10.1016 / j.patcog.2003.09.012 2 - s2.0 - 1842832783 Tafazzoli F。 Safabakhsh R。 基于模型的人体步态识别使用腿和手臂的运动 人工智能技术的工程应用 2010年 23 8 1237年 1246年 10.1016 / j.engappai.2010.07.004 2 - s2.0 - 77958062547 Bobick 答:F。 约翰逊 a . Y。 iso9001步态识别使用静态,“特定组织-”等参数 《2001年IEEE计算机学会学报计算机视觉与模式识别会议CVPR 2001年12月 考艾岛,嗨,美国 8 14 10.1109 / CVPR.2001.990506 Anusha R。 Jaidhar c, D。 面向服装不变的人体步态识别使用修改局部最优模式二进制文件描述符 多媒体工具和应用程序 2020年 79年 3 - 4 2873年 2896年 10.1007 / s11042 - 019 - 08400 - 8 巴希尔 K。 香 T。 龚 年代。 步态识别没有课题合作 模式识别的字母 2010年 31日 13 2052年 2060年 10.1016 / j.patrec.2010.05.027 2 - s2.0 - 77956056043 Alotaibi M。 马哈茂德 一个。 改善步态识别基于专业深卷积神经网络 计算机视觉和图像理解 2017年 164年 103年 110年 10.1016 / j.cviu.2017.10.004 2 - s2.0 - 85034605674 汉 J。 寻找 B。 个人识别使用步态能量图像 IEEE模式分析与机器智能 2005年 28 316年 322年 Lishani a . O。 Boubchir l 哈利法塔 E。 Bouridane 一个。 人体步态识别使用GEI-based当地多尺度特性描述符 多媒体工具和应用程序 2019年 78年 5 5715年 5730年 10.1007 / s11042 - 018 - 5752 - 8 2 - s2.0 - 85042071374 Rokanujjaman M。 伊斯兰教 m . S。 侯赛因 m·A。 伊斯兰教 m·R。 Makihara Y。 八木天线 Y。 有效的部分原因步态识别使用频域步态熵特性 多媒体工具和应用程序 2015年 74年 9 3099年 3120年 10.1007 / s11042 - 013 - 1770 - 8 2 - s2.0 - 84928375897 古普塔 美国K。 Sultaniya g . M。 将挑战 P。 一个有效的描述符的步态识别使用时空线索 新兴技术在建模和图形 2020年 柏林,德国 施普林格 85年 97年 10.1007 / 978 - 981 - 13 - 7403 - 6 - _10 阿里 Z。 Irtaza 一个。 Maqsood M。 一个高效U-Net肺结节检测框架使用人口扩张的隆起相连 《华尔街日报》的超级计算 2021年 1 22 10.1007 / s11227 - 021 - 03845 - x Maqsood M。 娅斯敏 年代。 Mehmood 我。 布哈里 M。 金 M。 一个高效的肺结节分割DA-Net架构 数学 2021年 9 13 1457年 10.3390 / math9131457 Maqsood M。 布哈里 M。 阿里 Z。 Gillani 年代。 Mehmood 我。 ρ 年代。 荣格 Y.-A。 一个residual-learning-based肝脏肿瘤检测多尺度parallel-convolutions-assisted高效的CAD系统 数学 2021年 9 10 1133年 10.3390 / math9101133 萨勒曼 a·G。 Kanigoro B。 Heryadi Y。 天气预报使用深度学习技术 《2015年国际会议上先进的计算机科学和信息系统(ICACSIS) 2015年10月 印尼Depok市 281年 285年 10.1109 / icacsis.2015.7415154 2 - s2.0 - 84964461804 哈瓦 a。R。 El-Khobby h·A。 Abd-Elnaby M。 Abd El-Samie f·E。 步态识别的卷积神经网络和光学流 多媒体工具和应用程序 2019年 78年 18 25873年 25888年 10.1007 / s11042 - 019 - 7638 - 9 2 - s2.0 - 85067019677 琳达 g . M。 Themozhi G。 Bandi s R。 Color-mapped步态轮廓图像cross-view步态识别使用卷积神经网络 国际期刊的小波多分辨率和信息处理 2020年 18 01 1941012 10.1142 / s0219691319410121 2 - s2.0 - 85071682033 苏 J。 赵 Y。 李 X。 深度学习基于center-ranked损失步态识别的指标 学报》2020 - 2020年ICASSP IEEE国际会议音响、演讲和信号处理(ICASSP) 2020年5月 西班牙巴塞罗那 4077年 4081年 10.1109 / icassp40776.2020.9054645 黄 G。 陆 Z。 双关语 c . M。 程 l 灵活的步态识别基于流量调节关键帧之间的地方特色 IEEE访问 2020年 8 75381年 75392年 10.1109 / access.2020.2986554 姚 l Kusakunniran W。 吴 Q。 张 J。 唐 Z。 杨 W。 基于骨骼健壮的步态识别使用混合描述符步态能量图像 模式识别的字母 2019年 150年 凌 H。 吴 J。 李 P。 沈 J。 Attention-aware网络服装不变的步态识别的潜在语义分析 电脑,材料和连续 2019年 60 3 1041年 1054年 10.32604 / cmc.2019.05605 吴 X。 杨 T。 夏 Z。 步态识别基于densenet转移学习 国际科学与环境杂志》上 2020年 9 1 14 蜀 X。 张 l 太阳 Y。 唐 J。 开始:图LSTM-in-LSTM小组活动的认可 IEEE神经网络和学习系统 2020年 32 663年 674年 唐 J。 蜀 X。 杨ydF4y2B一个 R。 张 l 一致性约束图LSTM小组活动识别 IEEE模式分析与机器智能 2019年 10.1109 / tpami.2019.2928540 卡比尔 m . H。 Thapa K。 杨 j . Y。 杨 s . H。 基于状态方程的线性建模人类活动识别在智能空间 智能自动化和软计算 2019年 25 673年 681年 蜀 X。 张 l 气 g . J。 刘 W。 唐 J。 时空co-attention复发性神经网络对人类骨骼运动预测 IEEE模式分析与机器智能 2021年 10.1109 / tpami.2021.3050918 崔书记 s T。 赵 w·D。 金 j . H。 金 k . H。 减少操作的事例算法的时间复杂度薄;集群在wrist-activity识别 智能自动化&软计算 2020年 26 4 679年 691年 10.32604 / iasc.2020.010102 首歌 W。 余 J。 赵 X。 王 一个。 动作识别和视频内容分析研究基于和MLN款 电脑,材料和连续 2019年 61年 3 1189年 1204年 10.32604 / cmc.2019.06361 乔 J。 金 h·G。 公园 i . C。 荣格 b . C。 柳 H。 修改维特比得分HMM-based语音识别 智能自动化和软计算 2019年 25 351年 358年 10.31209/2019.100000096 2 - s2.0 - 85074108945 程ydF4y2B一个 c . H。 程ydF4y2B一个 c . Y。 刘 n Y。 硬件设计的codebook-based移动物体检测方法,动态手势识别 智能自动化和软计算 2019年 25 375年 384年 10.31209/2019.100000099 2 - s2.0 - 85074078039 妞妞 J。 江 Y。 傅 Y。 张 T。 Masini N。 在多雨的环境图像去模糊的视频监控系统 电脑,材料和连续 2020年 65年 1 807年 816年 10.32604 / cmc.2020.011044 王 N。 他 M。 太阳 J。 王 H。 周 l 楚 C。 程ydF4y2B一个 l IA-PNCC:噪声处理方法对水下目标识别卷积神经网络 电脑,材料和连续 2019年 58 1 169年 181年 10.32604 / cmc.2019.03709 2 - s2.0 - 85064805712 卡尼 V。 除 b P。 佩里 一个。 王 T。 陈 j·W。 马 l 莫林 O。 日子 美国年代。 索伯格 t D。 Attention-aware歧视MR-to-CT形象翻译使用cycle-consistent生成对抗的网络 放射学:人工智能 2020年 2 2 e190027 10.1148 / ryai.2020190027 Armanious K。 江 C。 Abdulatif 年代。 Kustner T。 Gatidis 年代。 杨 B。 无人监督的医学图像使用cycle-MedGAN翻译 学报2019年27日欧洲信号处理会议(EUSIPCO) 2019年9月 加盟西班牙 1 5 10.23919 / eusipco.2019.8902799 余 年代。 程ydF4y2B一个 H。 加西亚雷耶斯 e . B。 Poh N。 Gaitgan:不变的步态特征提取使用生成对抗的网络 《IEEE计算机视觉与模式识别会议研讨会 2017年7月 美国檀香山,嗨 30. 37 10.1109 / cvprw.2017.80 2 - s2.0 - 85030265646 他 Y。 张 J。 山 H。 王 l 多任务甘斯在步态识别视图相关功能学习 IEEE取证和安全信息 2018年 14 102年 113年 李 X。 Makihara Y。 徐 C。 八木天线 Y。 任 M。 步态识别不变的对象使用alpha混合生成对抗的网络 模式识别 2020年 105年 107376年 10.1016 / j.patcog.2020.107376 辛顿 g . E。 Salakhutdinov R R。 降低数据的维数和神经网络 科学 2006年 313年 5786年 504年 507年 10.1126 / science.1127647 2 - s2.0 - 33746600649 Makhzani 一个。 Shlens J。 Jaitly N。 格拉汉姆·古德费勒 我。 弗雷 B。 对抗autoencoders 2015年 https://arxiv.org/abs/1511.05644 余 年代。 唐ydF4y2B一个 D。 唐ydF4y2B一个 T。 一个框架来评估视角的影响,服装和携带在步态识别条件 18学报》国际会议模式识别(ICPR 06年) 2006年8月 中国香港 441年 444年 10.1109 / icpr.2006.67 2 - s2.0 - 34147109171 Kalsoom 一个。 Maqsood M。 Ghazanfar m·A。 Aadil F。 ρ 年代。 维数约简效率软件故障预测用fisher线性判别分析(FLDA) 《华尔街日报》的超级计算 2018年 74年 9 4568年 4602年 10.1007 / s11227 - 018 - 2326 - 5 2 - s2.0 - 85046017853 Anusha R。 Jaidhar c, D。 面向人类步态识别的基于直方图的梯度和haralick纹理描述符 多媒体工具和应用程序 2020年 79年 11 - 12 8213年 8234年 10.1007 / s11042 - 019 - 08469 - 1 余 年代。 程ydF4y2B一个 H。 王 Q。 沈 l 黄 Y。 不变特征提取步态识别仅使用一个统一的模型 Neurocomputing 2017年 239年 81年 93年 10.1016 / j.neucom.2017.02.006 2 - s2.0 - 85012919008