文摘

步态实现人在视觉识别是一种新兴趋势监测由于其独特性和适应性低分辨率的视频。现有的步态特征提取技术如步态轮廓图像和步态能量依赖人体的形状。人体的形状变化根据主题的衣服和携带的条件。服装的选择每天变化,导致更高的组合方差和更低的组内的方差。因此,验证和步态识别是识别所需的人。此外,服装的选择是高度受主题的文化背景,和公开的步态数据缺乏的表示南亚本地服装步态识别。我们提出一个动态步态特征提取技术,保留了时空的步态模式运动估计。动态步态特征在不同用例的衣服和携带条件适应性强的步态验证和认可。动态步态功能的互相关分数解决步态验证的问题。互相关的标准差得分是0.12到0.2的范围,反映了很强的相关性在同一个类的动态步态特征。 We achieved 98.5% accuracy on Support Vector Machine based gait recognition. Additionally, we develop a multiappearance-based gait dataset that captures the effects of South Asian Native Clothing (SACV-Gait dataset). We evaluated our work on CASIA-B, OUISIR-B, TUM-IITKGP, and SACV-Gait datasets and achieved an accuracy of 98%, 100%, 97.1%, and 98.8%, respectively.

1。介绍

步态识别人的身份获得了足够的重要性,因为它是不同的生物特征识别和难以隐藏或变形。虽然脸,眼睛,指纹生物识别技术与口罩演变,超大的眼镜和手套。步态识别视觉监视包括生物识别(1,2),性别识别(3- - - - - -5)、种族分类(6),年龄估计(7- - - - - -9),和怀疑在法医鉴定10,11]。

步态biometric-based人识别挑战由于视角差异,的方向行走,行走的速度,衣服和携带物品。在所有这些挑战,主题的外观是至关重要的,因为它每天变化,改变他/她的身体的形状。主题的形状的身体是步态特征提取的主要视觉提示。此外,宽松的衣服减少步态动力学的可见性,如遮挡由于长外套和礼服,减少下肢的可见性,同时携带物品,如手提包和背包增加摇摆运动动态噪声。

步态识别的挑战强大的外表方差引入了两个重要问题:高组合方差和低阶级之间的方差。更高的组合方差是指同一主题的现象看起来在不同的衣服有不同的组合。降低组合方差是指不同的主题类似的现象在类似的服装组合。更高的组合方差需要验证之前步态识别。提出了动态步态特征(DGF)提取,保存时空步态动力学与亚像素运动估计。的贡献提出了工作概述如下:(1)一种新颖的步态特征提取方法,提出了动态步态特征(DGF)。动态步态特征保持时空步态动力学的帮助下亚像素运动估计技术。动态步态特征步态的有效性验证与互相关的分数(CCS)统计证明。(2)利用互相关分数作为支持向量机的特征向量classifier-based步态识别。我们的工作相当的准确性与现有最先进的技术。(3)开发一个新的数据集命名SACV-Gait捕捉南亚服装外观差异引起的。动态步态特征评估CASAI-B, OUISIR-B TUM-IITKGP, SACV-Gait数据集。

剩下的纸是组织如下:部分2总结了现有的步态特征提取技术。部分3解释了材料和方法适应我们的工作。部分4和5占我们的工作的结果和讨论。部分6简要解释了我们的研究工作的关键。

2。现有的工作

步态识别技术依靠shape-dependent等特征提取步态能量(基)和步态轮廓图像。人体的形状变化由于衣服和携带物品和结果步态识别技术的性能下降。

利用基步态识别的研究包括不同基变体等多尺度高斯模糊步态能量图像(MGEI)和骨架步态能量图像。Choudhury和Tjahjadi12]适应多尺度高斯步态能量图像(MGEI)服装不变的步态识别。在[13],巴希尔等人采用典型相关基步态特征学习强度在不同的观点。吴et al。14)采用深层神经网络与基步态识别不同的步行环境。在[15),徐等人改编胶囊网络和基健壮的步态识别multiwalking条件和multiclothes条件。在[16],玉等人采用深层神经网络与叠加多层autoencoders合成步态功能强劲的把衣服和携带的条件。在[17],张等人适应基于短期记忆autoencoder网络姿势步态特征的学习。姚明et al。(18)利用骨架步态能量图像(SGEI)和卷积神经网络与不同服装的步态识别条件。

对步态识别的研究,利用步态轮廓包括学习,提出特性三维步态建模和光学流实地步态特征提取。茶等。19介绍基于区域利用步态轮廓的方差和最近邻分类器。Kastaniotis et al。20.内核)直方图提取步态特征和基于希尔伯特的特征空间稀疏表示的步态识别。在[21],El-Alfy等人轮廓变成曲率和发展正常距离地图。唐et al。22)利用轮廓的三维步态特征和适应多重线性步态识别的子空间分类器。在[22,23),三维步态建模与稀疏重建适应步态识别的观点和服装方差。在[24],玉等人适应光学流场和直方图对步态识别的外观差异。Mahfouf et al。25)计算光流的步态特征的神经网络步态识别。在[26),王等人利用步态轮廓图像和改编为一组三个多通道神经网络。廖et al。27]提出了基于姿势的时间空间网络步态识别的外观差异。

基有助于保持空间特征的适应,但时间方差不是解决。同样,步态轮廓的适应约束特征提取轮廓水平,而平坦的地区不考虑步态特征提取。我们提出了动态步态特征保存捕获的步态模式的时空性质和步态图像之间的运动估计。

3所示。材料和方法

3.1。准备的步态数据集

我们已经评估拟议的框架CASIA-B [28],OUISIR-B [29日],TUM-IITKGP [30.),SACV-Gait数据集。CASIA-B数据集被认为是一个基准评估步态识别技术。CASIA-B数据集有三个用例的外观差异叫正常,袋,和长外套。我们认为这些用例的参考点外观从OUISIR-B方差和选择类似的用例,TUM-IITKGP, SACV-Gait数据集。这三个用例定义服装的影响在这个问题上的身体形状。第一个用例代表合身的衣服,比如裤子衬衫。第二个用例代表衣服和携带物品带来轻微改变主题的身体形状,如夹克、袋、和宽松的裤子。第三个用例代表宽松的衣服带来显著变化的形状的身体,如长大衣,礼服,abbaya和无领长袖衬衫。表1总结了三个使用案例为每个数据集。

表1
描述用例1、2和3在CASIA-B [28],TUM-IITKGP [30.],OUISIR-B [29日),SACV。

OUISIR-B步态数据集了外观方差在32个组合分为用例1,2,3。表2描述衣服的代码组合从OUISIR-B数据集。图1描述(从上到下)用例场景CASIA-B, OUISIR-B, TUM-IITKGP, SACV数据集评估拟议的工作。

表2
服装类型OUISIR-B步态数据集分类在用例1中,2和3 (28]。

图1
(从上到下)CASIA-B的用例。OUISIR-B、TUM-IITKGP SACV数据集。
3.2。SACV-Gait数据集

SACV-Gait数据集捕捉南亚民族服装和配饰如长衬衫,abbaye,围巾,一条,和帽子。SACV-Gait数据集了衣服和携带物品在四个用例命名合身的衣服,合身的服装袋,宽松的衣服,宽松的衣服和一袋。

3.2.1之上。道德的数据收集和使用情况

Bahria大学的伦理审查委员会已经批准了研究目的在应用程序的数据收集号码ERC / ES / 002。它确保程序用于数据收集不有害的参与者和SACV-Gait收集数据仅用于研究目的。

3.2.2。设备

我们使用一个监控摄像头模型生产的蚱蜢S2-GE-20S4M-C点灰色的数据收集(FLIR愿景)。视频数据的屏幕分辨率是1600×1200像素与8位深度和30帧的帧速率。

3.2.3。数据收集的环境

室内数据收集设置于Bahria大学,卡拉奇有一个场景深度(相机和主体之间的距离)的6米,和参与者走12米长的路径。我们安装了一个视觉相机在2米的高度,它捕获的侧面步态数据。主题和相机之间的视角改变45°、90°和135°的开始,中间和最终的路径。图2说明了步态数据收集的相机设置。


图2
室内数据收集设置SACV-Gait数据集。
3.2.4。主题的统计数据

共有145名学生参加了这项研究。121年的145例预处理后被选择。我们有了步态在四个用例。SACV-Gait数据集已经在4:男性和女性参与者1的比例。参与者的年龄范围在18 - 25年。

3.2.5。用例

SACV-Gait数据集有121名受试者在四个不同的用例,如合身的衣服,合身的服装袋,宽松的衣服,宽松的衣服和一袋。

3.2.6。渐进的观点差异

SACV-Gait数据捕获逐步视图方差的影响。根据场景深度、长度的路径,和摄像机的位置,的视角开始,中间,和结束的步行过程已经观察到45°,90°和135°。

3.2.7。共

参与者沿着两个方向的直线路径(从右到左,从左到右)。提供的数据收集的监控摄像头的适应稍微倾斜的图像类似于现实生活监控视频。图3抓住了男性SACV-Gait数据集的主题在不同的用例。图4抓住了女性SACV-Gait数据集的主题在不同的用例。图5代表主体的步行从左到右和从右到左的方向。


图3
男性SACV-Gait数据集的主题在不同的外观。

图4
女性主题SACV-Gait数据集的不同的表象。

图5
SACV-Gait数据集的主题在唐森和rl方向走。
3.3。动态步态特征步态验证和认可

提出了研究适应动态步态特征提取,互相关分数为步态分析验证,和基于支持向量机的步态识别。图6代表了步态的完整框架验证和认可。步态的台阶提供了验证和识别算法的算法1。


图6
DGF -的工作流和基于步态验证和认可。
:预处理
:
,
:
算法1
DGF-based步态验证和认可。
3.3.1。预处理

步态数据的预处理是进行前景提取和步态周期检测。图像差分技术(30.)是用于前景提取。步态周期之间的时间间隔定义为连续的实例初始foot-to-floor接触同样的脚(31日]。步态周期检测,我们已经考虑了连续两个局部最小值边界框的步态周期的开始和端点。图7预处理后代表一个完整步态周期。


图7
步态数据后前景提取和步态周期检测。
3.3.2。步态特征提取

动态步态特征提取的过程进行了亚像素运动估计(32在步态图像。以下是运动估计的步骤动态步态特征:(1)亚像素运动估计初始参数设置,如块空间,搜索空间,步态图像。(2)绝对差的总和计算已经适应了运动估计。(3)运动估计细化执行了泰勒级数部分推导。(4)估计运动被称为动态步态特征。步态特征包含完整的步态周期特征提取。(5)每个主题的动态步态特征在不同的用例计算步态特征发展。(6)步态签名是由连接动态步态特征

我们实现了动态步态特征提取与亚像素运动估计连续“GI步态图像。“让步态周期捕获”n“图像表示为胃肠道1胃肠道n。方程(1)和(2)总结泰勒系列,运动估计计算导数。泰勒级数简化了多变量的复杂任务推导为线性函数的偏导数。方程(3)定义了动态步态特征提取在不同情况下使用k是用例的数量。

CASIA-B, OUISIR-B TUM-IITKGP,k= 3。

SACV-Gait数据集,k= 4

在方程(1)和(2),推导之间连续步态图像(GI)已被视为动态步态特征。对于导数计算,步态图像被认为是f(x,y)。的偏导数f(x),f(y)代表连续步态图像之间的运动估计方程(所2)。估计运动被称为动态步态特征。步态特征包含完整的步态周期特征提取。步态签名是由连接之间的动态步态特征连续胃肠道(GI等1,胃肠道2),…(GIn−1和胃肠道n),n图像的总数在步态周期。图8显示了动态步态特征提取连续帧步态周期的。


图8
DGF提取通过连续步态图像之间的运动估计。
3.3.3。互关联强度为步态分析验证

动态步态特征之间的互相关的分数不同的用例计算分析同类功能一致性。的标准偏差和相对标准偏差互相关得分帮助确定动态步态特征相同的主题在不同的用例相关的或不一致。较低的标准偏差的互相关得分(SD < 0.3)表明,动态步态特征在不同表象属于同一主题。相对标准偏差值(30% - -70%)表示的传播动态步态特征在特征空间中。互相关得分帮助推断同类动态步态功能是相关的和一致的足够步态验证。方程(4)- (6)总结计算协方差、均值-方差和互相关的分数。

(1)互相关的分数(CCS)。互相关分数提供了两个时间序列数据之间的相似性。互相关分数提供统计证据分析,动态步态特征相同的主题在不同用例是强烈相关。互相关的范围值分数−1和1之间变化。

(2)标准偏差(SD)。标准差的分数反映了方差的数据点的意思。低标准偏差的互相关分数统计证明动态步态特征是一致的和高度相关,尽管外观差异显著。的最大互相关评分观察标准偏差为0.3。SD的计算互相关分数解释方程(7)。

(3)相对标准偏差(RSD)。相对标准偏差代表标准差和均值之间的差异的数据点。相对标准偏差越低,表明财富紧密聚集数据点,和更高的标准偏差值显示数据点的传播。相对标准偏差分数在于从30%到70%不等。更高的相对标准偏差值表明,互相关得分步态特征要求步态识别非线性分类器。方程(8)解释了计算相对标准偏差。相对标准偏差值越高表明的传播特性和适用性的非线性分类超平面。

3.3.4。与支持向量机的步态识别分类

我们采用互相关二次得分支持向量机分类器进行步态识别。支持向量机分类器是通过定义两个类之间相对决定边界。二次支持向量机内核利用超平面相似hyperparameters深层神经网络的分类。基于深度学习方法(17,27,33,34步态识别也适应hyperparameters-based步态识别)。

为SACV-Gait数据集动态步态特征提取与计算细节如下。

我们认为不同的步态周期长度为每个数据集。如SACV-Gait数据集,步态周期长度7和11个图像之间的变化。而在CASIA-B OUISIR-B数据集,它位于21到36张照片的范围。周期长度=n= 7 (GI1胃肠道7)图像大小的SACV = 1200×1451×3特征向量之间的动态步态特征2连续步态图像= 60×72双特征向量动态步态特征的完整周期= 300×72双互关联的动态步态特征向量在4种不同的用例= 1×4双。特性计算和存储在双格式捕获详细大小的变化。

4所示。结果

我们评估动态步态特征步态CASIA-B验证和认可,OUISIR-B, TUM-IITKGP, SACV-Gait数据集进行评估。

4.1。实验结果在CASIA-B

CASIA-B步态数据集(28)由三个用例命名的124例正常,长外套,包捕获从90°视角。对1的互相关的分数(正常、袋),对2(正常,长外套),对3(袋、长大衣)进一步分析标准偏差和相对标准偏差。标准差的一对1,2和3是0.12,0.2和0.2。对1的相对标准偏差,对2,和一对3为30%,50%,33%。我们采用互相关得分与支持向量机的步态识别,达到100%。图9代表标准偏差与正态分布曲线绘制一对1对2和3。图10总结了散点图、混淆矩阵和接受者操作特征曲线的步态识别。


图9
标准差和正态分布曲线对1对2和3。

图10
步态识别与互相关得分,混淆矩阵,CASIA-B ROC曲线。
4.2。实验结果在OUISIR-B

OUISIR-B [29日]数据集包含65例32个不同类型的服装组合。我们分类服装组合成三个用例正常,松散,长大衣。表2提到每个用例下的着装规范。对1的分数互相关计算(正常,宽松),对2(正常,长外套),对3(宽松,长大衣)进一步分析标准偏差和相对标准偏差。标准差的一对1,2和3是0.141,0.144和0.140。对1的相对标准偏差,对2,和一对3为70%,70%,80%。我们采用互相关得分与支持向量机的步态识别,取得了100%的准确率。图11代表对1的正态分布曲线,对2和3。图12总结了散点图、混淆矩阵和接受者操作特征曲线的步态识别。


图11
标准差和正态分布曲线对1对2和3。

图12
步态识别与互相关得分,混淆矩阵,OUISIR-B ROC曲线。
4.3。实验结果在TUM-IITKGP

TUM-IITKGP数据集(30.]包含35个学科有三个相关用例:正常,袋和礼服。我们进一步分析了互相关的一对1(正常、袋),对2(正常,礼服),3(袋、礼服)和标准偏差和相对标准偏差。对1的标准偏差,对2,和一对3为0.141,0.144和0.140。对1的相对标准偏差,对2,和一对3为60%,50%,50%。图13代表对1的正态分布曲线,对2和3。我们采用互相关得分与支持向量机,取得了97.1%的准确率。图14总结了散点图、混淆矩阵和接受者操作特征曲线的步态识别。


图13
标准差和正态分布曲线对1对2和3。

图14
步态识别与互相关得分,混淆矩阵,TUM-IITKGP ROC曲线。
4.4。SACV-Gait数据集的实验结果

SACV-Gait数据集包含了121名受试者的四个用例下安装,安装了袋子,膝盖,膝盖的袋子。我们进一步分析了互相关的一对1(安装,安装包),对2(安装,膝盖向下),对3(膝盖,膝盖与袋),和一对4(配备了袋子,膝盖与袋)标准偏差和相对标准偏差。标准差的一对1,2,3,和一对4为0.23,0.22,0.23和0.19。对1的相对标准偏差,对2,和一对3为54%,50%,44%,40%。我们采用互相关得分与支持向量机分类器,取得了98.8%的准确率。图15代表对1的正态分布曲线,对2组3,4。图16总结了散点图、混淆矩阵和接受者操作特征曲线的步态识别。


图15
标准差和正态分布曲线对1,2,3,和一对4。

图16
步态识别与互相关得分,混淆矩阵,SACV-Gait ROC曲线。

5。讨论

5.1。步态验证

本研究工作适应动态步态特征步态验证和认可。对于步态验证,我们计算了不同用例之间的互相关的分数。互相关的标准差有助于了解组内色散特性进行评分。互相关分数低标准偏差的分数显示动态步态特征的一致性,尽管外观差异显著。总的来说,互相关的标准差得分在0.12至0.23的范围。表明动态步态特征之间的相关性和一致性不同的用例。

步态验证对1(正常、袋),对2(正常,长外套),和一对3(袋、长大衣)CASIA-B数据导致标准差得分为0.12,0.2和0.2。总体方差的标准偏差为0.08。对1的分数相对标准偏差,对2,观察和对3 30%,50%,33%。较低的标准偏差显示更高DGF特性之间的相关性在同一类。相对标准偏差的值越大表示用例之间的显著差异及其对色散特性的影响。

步态验证对1(正常,宽松),对2(正常,长外套),和一对3(宽松,长大衣)OUISIR-B步态数据集导致标准差得分为0.141,0.144和0.14。总体方差标准偏差为0.003。的相对标准偏差值1,2,观察和对3 70%,70%,80%。标准差得分最低,RSD为最高的在所有的数据集。得分较低的标准偏差的验证互相关的适应性得分步态验证。相比之下,更高的相对标准偏差值表示的异构和空间多样化性质的服装组合考虑OUISIR-B数据集。

步态验证对1(正常、袋),对2(正常,礼服),和一对3(袋、礼服)TUM-IITKGP数据导致标准差得分是0.18,0.14和0.15。总体方差的标准偏差为0.04。对1的相对标准偏差,对2,观察和对3 60%,50%,50%。

步态验证1副(安装,安装包),对2(安装,膝盖向下),对3(膝盖,膝盖与袋),和一对4(配备了袋子,膝盖与袋)SACV-Gait数据集的导致标准差得分是0.23,0.22,0.23和0.19。总体方差的标准偏差为0.04。对1的相对标准偏差,对2,3,和一对4为54%,50%,44%,40%。表3总结了标准偏差和相对标准偏差值的互相关值动态步态特征。

表3
标准偏差和相对标准偏差得分步态的CCS验证。
5.1.1。标准偏差(SD)

所有数据的标准差的分数范围从0.12到0.23。集体,标准差的分数小于0.3。标准偏差越低表明动态步态特征高度相关,尽管外观差异显著。标准差反映了组内动态步态特征的一致性和确保步态特征提取的不同表象属于同一主题(步态验证)。图17说明了一对互相关的标准差得分计算1对2和3。


图17
SD的CCS中观察到一对1,2,和3。
5.1.2中。标准差(SD)的方差

总的来说,标准偏差的方差从0.003到0.1不等。该模式表明,互相关值是一个有效的方法来开发统计上一致的步态特征的同时捕获各种服装的组合。

5.1.3。相对标准偏差(RSD)

互相关的相对标准偏差的分数成绩在于从30%到80%不等。更高的相对标准偏差值的分数反映了互相关得分方差明显不同的用例。标准差分数反映动态步态特征的组内的一致性和保证步态特征提取的不同表象属于同一主题。表3总结了标准偏差和相对标准偏差的互相关的分数。图18代表的互相关的分数计算相对标准偏差对1对2和3。


图18
相对标准偏差计算对1,对2和3。
5.2。步态识别

步态识别,我们计算动态步态特征之间的互相关的分数在不同的用例。这个互相关的分数被利用为特征向量基于支持向量机的步态识别。我们实现了98%、97.1%、100%和98.8%的准确率CASIA-B, OUISIR-B TUM-IITKGP, SACV-Gait数据集。拟议的步态特征评估CASIA-B, OUISIR-B, TUM-IITKGP达到98%,97.1%,100%的准确率。虽然这些数据集是可用的二进制格式和运动估计在全球层面的轮廓检测区域,提出了步态特征的一致性和辨别力显著。

从轮廓动态步态特征计算类似于正常距离映射(35),这两种技术编码步态动力学在等高级别。在正常距离地图,法向量取决于之间的曲率连续两个轮廓点(36]。动态步态特征与运动估计适应在全球层面帮助各级编码步态动力学和提供稳定的步态特征无论高场景深度。运动估计与光学的基于流程的方法(22,24)表现良好,提供有效像素流跟踪。光流为基础的方法也解释动态噪声运动由于亮度恒常性约束。此外,轮廓图像的平坦区域并没有导致运动估计由于空间平滑约束(37]。

5.3。与现有工作

该工作在执行CASIA-B步态识别,OUISIR-B,和TUM-IITKGP 98%, 97.1%, 100%的准确率。动态步态功能的互相关的分数使我们解决更高的组合方差和步态执行验证。我们利用互相关值作为特征向量基于支持向量机的步态识别。表4总结我们的准确性和现有步态识别技术。

表4
步态识别精度通过我们的工作,现有的工作。

动态步态功能步态识别的准确性相当与现有特征提取技术,如基(12,17,38和步态轮廓22,23,26]。近年来国家艺术品的报道(12,17,23,25),(38]在CASIA-B评估数据集,取得了89%的准确性,92.6%,96%,99%,和90.43%,分别。我们在CASIA-B数据集已经达到了98%的准确率。图19总结我们的工作的准确性及其与现有的工作。


图19
现有的绩效评价,提出了在CASIA-B工作。

CASIA-B是步态识别技术的评价基准。研究工作报告(22,27,39,40),提出了评估工作正常,袋,和长coat-based CASIA-B分别的用例。的准确性(22]CASIA-B的用例正常,袋,和长大衣是99%,96%,95%。同样,用例的准确性TUM-IITKGP正常,袋,和礼服病例为99%,80%,65%。在的准确性(22]下降为第二个和第三个用例CASIA-B TUM-IITKGP。的准确性(27正常报告为96%,79%的包,和61%的长大衣。同样,[的准确性39为正常,袋,长大衣是97.58%,70.16%,56.45%。的准确性(40)是98%,90%和64%的正常,袋,和长外套。图20.图形显示了这个一致的工作及其精度与[22,27,39,40]。


图20
比较我们的工作与22,27,39,40]。

的研究贡献18,27),提出了工作也反映了步态的适应性基础外观不变的步态识别的特征提取技术。通过运动估计动态步态特征提取在全球层面不同搜索空间的大小。运动估计在全球层面有助于各级编码步态动力学和提供稳定的步态特征无论高场景深度。运动估计与光学的基于流程的方法(22,24)取决于像素流跟踪和基于流的技术解释缺乏动态噪声鲁棒性的光学动态噪声运动由于亮度恒常性约束。此外,轮廓图像的平坦区域并没有导致运动估计由于空间平滑约束(37]。

6。结论和未来的工作

标准差分数和百分比精度反映互相关的步态验证和识别分数的有效性与更高的同类和更低的多类分类问题组内的方差。DGF构建一致性在同一类尽管出现显著差异。改编的亚像素运动估计保留了时空的步态特征。此外,DGF提取的不同表象下的总和比手工特征提取是一种更好的方法。在我们的工作中,互相关的动态步态特性降低了特征维数和计算复杂度。我们未来的工作包括DGF的适应与学习神经网络特性不同观点和表象。

数据可用性

相关的数据集将被用于未来的研究步态识别。

的利益冲突

作者宣称没有利益冲突。