行人分类中基于金字塔部分的部分遮挡处理模型

摘要

行人检测和分类在智能交通系统（ITS）中越来越受到关注，在这些具有挑战性的问题中，我们可以发现微小和遮挡的外观、人体姿势的巨大变化、杂乱的背景和复杂的环境的局限性。事实上，在检测行人的情况下，部分遮挡处理非常重要，以避免行人和车辆之间发生事故，因为很难识别当行人突然过马路时进行检测。为了解决部分遮挡问题，提出了一种基于金字塔部分的模型（PPM）建议通过级联金字塔结构，基于可见部分置信度得分的多数投票获得更准确的预测。在INRIA数据集上，该方案的实验结果达到96.25%的准确率，在PSU（松卡拉王子大学）上的实验结果达到81%的准确率我们提出的模型可以应用于现实环境中，利用每个金字塔层的不同部分表示信息对行人的遮挡部分进行分类。

1.介绍

每年，全球约有130万人因道路事故死亡，大多数城市化国家的撞车率不断上升[1.- - - - - -3.］.自世纪之交以来，许多研究人员致力于应用智能交通系统、驾驶员辅助系统、智能视频监控系统、汽车安全系统等广泛的应用，以减轻和缓解道路交通事故。计算机视觉可以越来越像人类视觉，通过广泛的机器学习技术的应用来模拟传感图像和视频，这些技术可以纠正错误的人类视觉，并在日常驾驶中创造一个更安全的环境[4.］.在所有道路使用者中，行人是最脆弱的。为了保护他们和减少其他潜在的风险，行人检测和分类系统被广泛应用。许多行人分类器:整体分类器[5.- - - - - -11]，基于部件的分类器[12- - - - - -20.]，以及深度模型分类器[19,21,22，但仍有一些挑战有待解决，如光照变化，遮挡，姿势和形状的变化，外观的变化，以及环境的不一致。此外，在现实环境中复杂背景下的遮挡处理可能会涉及到更多的困难[8.,14,19- - - - - -21,23］.

在最先进的方法中，大多数研究人员一直在研究两个问题:特征提取方法(手工特征和深度卷积特征)和通过机器学习算法进行分类。一些有前途的手工特征提取方法是定向梯度直方图(histogram of oriented gradient, HOG) [4.- - - - - -6.,14,24,25， Haar小波[2.,25- - - - - -27，尺度不变特征变换[28- - - - - -30.，边缘模板[5.,23,31,32，自适应轮廓特征[2.,23,33,34， Gabor过滤器[15,27，协方差描述符[11,15,19,35]和局部二进制模式(LBP) [6.,11,24,36］.在这些手工制作的特征中，由于在不同的光照变化下特征信息丰富，HOG (histogram of oriented gradient, HOG)是行人检测中一个著名的特征描述符[14,16,20.］.然而，当整个行人的身体出现在系统中时，传统的猪恢复良好，并且在遮挡和杂乱的图像下表现不佳[6.,8.,14,20.,22］.因此，增强的HOG检测器[15,37]，并以其他方法补充HOG [4.,25,32,38)，通过修改HOG来解决行人无法遮挡的问题。

在分类方法中，众所周知的技术，如支持向量机（线性和潜在）[4.,5.,10,12,25,38),演算法(7.,9,34,39，神经网络[2.,3.，随机森林[3.]和cascade [7.,17,27]其中，线性支持向量机是一种在性能和效率方面比潜在支持向量机计算速度更快的有用技术。但是，由于对假设噪声或背景的部分遮挡部分进行错误分类，分类器的性能会降低。遮挡的可见性不合格零件（见图1.)在现实环境中可能会有所不同，而预测的假设取决于分类器的准确估计。为了研究线性支持向量机分类器，使用置信度值来检查行人是否被遮挡。利用线性支持向量机分类器的优势，我们观察到在局部遮挡下，图像不同部分的分类评分可以导致准确的预测。

在行人分类模型中，有两种方法：依赖于行人全身的全身（整体）方法和结合人体结构一组特定部分的基于部分的方法。在整体方法中，一些最先进的行人检测器：级联学习模型[6.,8.,17]，层次共现模型[7.,11,25，以及决策树模型[2.,3.,28，基于基于块的表示，其中从每个块中提取的特征一致地响应分类器是否在该区域发生遮挡。这些模型在遮挡下的行人分类方面取得了良好的性能结果。这些方法中的大多数在发生部分遮挡时使用遮挡映射，并获得更健壮的分类器来处理部分遮挡问题。

相反，已经引入了基于部分的方法来检测人体的闭塞部分，这是基于基于部分的代表性和人类的变形[12- - - - - -20.］.基于众所周知的零件的模型是基于零件的典型培训的模型[12,15]，基于可变形零件的模型[14,17,19,20.]，语法模型[13，混合掩模模型[16，以及部分助推模式[18,19］.在这些模型中，图像被分割为根模板的低分辨率和部分模板的高分辨率的多分量模板。通常，定义人体的特定部位(头部、右/左肩、躯干、右腿/左腿)进行训练，使用潜在的SVM值来学习每个身体部位的特征，以处理遮挡问题。在训练阶段，通过学习的零件滤波器得到零件的检测分值图，将变形惩罚与零件检测分值图相减得到可变形零件的分值[14］.基于零件的方法对处理检测窗口中的遮挡部件进行了很大的关注，并在行人检测中实现了有希望的性能。然而，基于零件的方法需要高计算成本，以总结变形部件的分数值，如果一个部件被遮挡，则检测器的零件得分可能非常低[2.,3.,6.］.通过对以往已知方法的研究，基于块的表示方法通过添加附加信息来知道检测窗口中被遮挡的部分，并且对每个添加了附加信息的块都需要较高的计算时间。相反，基于零件的表示需要大量的计算时间，需要借助人体零件选择结构的变形来学习各个零件的信息。然而，这些知名的最先进的模型得到了最好的选择，以及出色的行人检测性能，以处理遮挡挑战。

近年来，深度卷积特征的高级开发在自动端到端学习方面获得了极大的关注，通过有效的丰富表示来增强手工特征的能力。与手工特征相比，深度模型和深度卷积网络已经取得了成功由于高级特征的分层表示，计算机视觉中图像分类的最新性能。用于大规模数据集图像分类的现有深度卷积神经网络模型ImageNet取得了优异的分类性能（例如VGGNet、GoogLeNet和ResNet）[40- - - - - -44］.最近，使用预先训练的模型来提高小数据集的准确性得到了广泛的关注[40- - - - - -42,45］.其中，GoogLeNet (Inception v3) [40]，加上imagenet加权的参数值，基本上用作图像分类的基准，用两个类注释对行人数据集进行再训练。然而，当输入数据中含有噪声时，深度卷积网络的性能会影响结果[41,42]和闭塞情景[22,41,42］.

为了应对上述挑战，需要考虑部分遮挡处理的两个问题:如何估计部分遮挡部件的位置以及部分遮挡部件在检测窗口中的准确性能。由于局部分类器的有用思想，采用置信度值的假设作为遮挡推理来估计部分遮挡部分在检测窗口中的位置。利用层叠概念的思路，将响应得分与金字塔各层对应的阈值进行比较，计算当前的响应得分位置，以便后续计算。在此基础上，利用整体分类器和局部分类器的优点，提出了基于部分的金字塔模型(PPM)来处理检测窗口中的部分遮挡。首先，利用局部分类器估计图像中部分遮挡的部分;假设分类器的置信度值作为遮挡推理，判断是否在检测窗口出现部分遮挡。其次，如果在给定的输入图像中出现局部遮挡，使用金字塔集成分类器(PEC)预测每个指定金字塔层的个体置信度的假设。此外，将输入图像分割为金字塔形部分表示，计算各部分的置信度，以识别部分遮挡部分。最后，通过与相应阈值的比较，确定个体的评分是否足够自信，从而得到整体评分。此外，通过金字塔结构的多数投票被用于阈值决策从PEC的每个部分的信心得分。 In this paper, we evaluated our proposed method and compared its performance with the baseline HOG + SVM model and the benchmark pretrained GoogLeNet (Inception v3) model, for handling the occlusion under complex scenes. Experiment results on two datasets demonstrated that the proposed model achieved the promising performance for nonoccluded pedestrians and for the partially occluded pedestrians, but not for the seriously occluded pedestrians.

2.相关的工作

图像中特征的相关作用将适用于不同尺度行人的检测。这是由于大尺度图像的特征信息与小尺度图像提取的相应特征信息不同[28］.在相关研究中，定向梯度直方图(histogram of oriented gradient, HOG)是人们熟知的用于行人检测的特征描述符，用于计算梯度方向，但该技术只有在行人的整个身体出现在系统中时才能检测到行人。Dalal和Triggs [5.]提出了人检测中梯度方向特征的归一化直方图，以降低假阳性率。系统的性能改善了各种描述子参数、梯度尺度、方向分类、相对粗糙的空间分类和高质量块[5.］.无论如何，目前单一的特征已经被证明很难处理行人的遮挡部分，基于部分的模型对于具有局部空间不变性的检测结果是有效的。然而，如果附着的物体覆盖了人的身体某些部位，检出率就会显著下降[6.,14］.

为了解决这个问题，Wang等人[6.]方法利用梯度直方图(histogram of gradients, HOG)和局部二值模式(local binary pattern, LBP)作为特征集处理遮挡效果较好。为了了解遮挡部分是否出现在检测窗口中，我们引入了遮挡似然映射来处理遮挡问题。Marín等[8.]跟随Wang等人[6.]的方法，增强分类器与随机子空间用于人类检测，该分类器训练一个子集的图像有部分遮挡和无部分遮挡处理。该方法对部分遮挡和非遮挡数据进行分类和检测，均有较好的评价性能。李等人[7.]对自适应增强算法和级联检测器进行了改进，将它们与定向梯度直方图(histogram of oriented gradient, HOG)特征相结合，更加准确地检测行人。为了识别行人的遮挡部分，提出了基于增强级联算法的局部区域制作地图(local area making map, LAMM)，对检测窗口中的遮挡部分进行解码。

在复杂的背景下，不同可见人体部位的遮挡和变形可能不同。众所周知的一种方法，基于部分的检测器，提出将整个身体部分分成人体特定结构的多个组成部分来处理遮挡问题。在过去的十年中，人们对遮挡行人检测进行了许多评价。Felzenszwalb等人[12]提出了多尺度可变形零件模型的混合模型，该模型在检测器中引入了多分量的概念(即头、右肩、左肩、上腿和下腿)。该系统主要依靠判别训练，利用潜在信息将变形模型与图像进行匹配。崔等人[14]还提出了一种基于人体的可变形零件模型(DPM)，该模型是最近出现的一种有用且流行的检测物体零件的工具。Luo等[14]提出了不同身体部位(即身体、头肩、上半身和下半身)的混合表示，以在多个层次上明确建模视觉变化的复杂混合。提出的模型学习层次特征、显著映射和身体部位的混合表示。Wahyono等人[18]提出了基于零件的人携带行李的检测模型，通过对人的身体部位(头部、躯干、腿和行李部位)进行建模。由于其形状、颜色和纹理的显著变化，专门为行李部分建立了一个混合模型。该模型学习了平行四边形haar类特征、高斯混合模型和身体部分增强模型，用于检测和分类人体携带的行李。

相比之下，从人体结构的每个特定部分学习，并将其与不同的特征相结合，以利用上下文信息，是被遮挡行人处理中常用的方法[6.- - - - - -8.]在处理遮挡行人的误分类和估计这些部位在检测窗口中的位置方面取得了良好的性能。我们的方法与这些方法不同，因为我们采用金字塔部分表示，利用PEC的置信度得分，而不使用额外的上下文信息来处理部分遮挡。

3.锥体部分原因模型

本研究的难点是在行人的某些部位不可见的情况下，如何处理局部遮挡，而部位分类器的评分不准确会影响预测的性能。因此，提出了一种基于金字塔部件的模型(PPM)，通过从上到下级联金字塔结构，基于可见部件置信度的多数投票，获得更准确的预测。所提模型分为两个分类阶段:部分分类器(PC)和金字塔集成分类器(PEC)(见图)2.）.

部分分类器基本上是作为遮挡推理来识别输入图像[+1，−1]范围内的部分遮挡部分。如果零件分类器给出的推断结果不足够自信，则采用遮挡推理过程。此后，推理过程确定存在部分遮挡;为了获得基于金字塔部分表示的检测窗口的准确预测，应用PEC进行分类。在此之后，根据多数投票，通过金字塔结构从PEC的信心得分获得集合得分。PPM过程的详细实现将在下一节中进行描述。

３．１．分类器部分

为了识别图像中部分被遮挡的部分，使用部分分类器得到由特征向量描述的整个窗口的响应。我们跟踪了Wang等人[6.]了解给定图像中是否存在部分遮挡的人体部分的过程。零件分类器的过程有两个必要步骤：特征提取和分类，这两个步骤是获得响应所必需的。此外，分别采用方向梯度直方图（HOG）和支持向量机（SVM）进行特征提取和分类。如果零件分类器的响应不够可靠，则在下一步中应用金字塔零件表示。为了在检测窗口中识别部分遮挡的零件，根据零件分类器的响应值应用遮挡推断过程。详细过程将在下一节中解释。

3.1.1。猪特征描述符

本节描述HOG特征提取的详细过程(见图)3.）.

定向梯度直方图(histogram of oriented gradient, HOG)由Dalal和Triggs提出[5.]，成功应用于行人检测、目标检测、面部表情识别和姿势识别。为了表示任何梯度模式，特征起着至关重要的作用，因为边缘对照明变化和姿势变化不敏感。区域内梯度的方向和空间布局t是通过将图像以多个分辨率划分为非重叠块来获得的[29］.为了评估HOG描述符，将图像分成若干块，然后将每个块直方图的方向梯度连接起来，得到形状描述符。在检测窗口下，图像被划分为密集的矩形单元格网格，每个单元格被分组为块。

梯度的单独方向(ɵ_G(x,Y))和方向梯度(Grad_x和研究生_Y）对于每个小区由具有像素值的梯度掩模计算的我(x,Y）.水平梯度和垂直梯度分别为:

梯度的大小是由梯度的平方根之和计算的，而方向是由梯度的比例决定的Y梯度和x-梯度，分别为:

每个像素的梯度投票累积到直方图方向，直方图方向有9个0-180度的箱子，每个大小的向量根据角度在相邻箱子之间分割。投票值在两个相邻的bin中心之间进行双线性插值，如下式所示: 在哪里表示每个像素的权重。对每个直方图块进行标准化，以减少照明和对比度背景的变化。每个单元格包含9个格的直方图，每个块包含72个数字（9个格）的直方图 × 8个单元格）。该归一化值L2_norm用于以下等式中处理的每个块直方图： 在哪里我是一个从1到72的数字，是块的非标准化向量吗是一个小常数，可以避免被零除掉，近似地假定为1。

3.1.2。SVM分类器

我们使用的分类器是基线SVM算法[5.,6.]作为部分分类器。从输入图像中提取的所有对应的特征向量 为支持向量机分类器的馈源。所需的响应零件分类器是行人的“1”，对于非特记，“-1”为“-1”。支持向量分类（SVM :: C_SVC）用于允许使用惩罚乘法器C的类别不完美分离异常值。使用径向基函数（RBF）内核而不是适用于该区域的线性内核，并且自动发夹功能用于调整分类的最佳参数。

3.1.3。闭塞推理

遮挡推理的过程用于确定输入图像在检测窗口中是否包含部分遮挡部分，使用与Wang等人相同的过程[6.］.我们首先考虑响应值( )输入图像( )应用于零件分类器这属于范围[−1,1]。如果响应保持为正值，我们观察到有一个行人。如果没有，则可能有部分被遮挡的行人。算法描述如下:算法1.．

３．２．锥体系综分类器

之前的部分分类器采用传统的HOG和SVM方法，在正常场景下可以取得很好的性能，但当检测窗口中包含部分遮挡部分时，性能会降低。为了增强部分分类器的识别学习能力，提出了一种多数投票的金字塔集成分类器，以学习基于金字塔结构的附加置信度响应结构信息。有两个主要步骤:部分代表和多数投票。

3.2.1之上。部分表示

我们用金字塔层对行人的整个图像建模为金字塔部分表示，以确定图像中是否存在部分遮挡部分的准确预测。闭塞可能发生在身体的不同部位，有不同的表现。一些研究方法结合了身体的不同部分，从而有效地检测遮挡下的人体[21］.图像金字塔部分表示的目的是将原始图像分解为具有相同尺度的子图像(见图)4.）.

我们在不区分图像不同视点的情况下对零件表示进行建模N金字塔层数我零件被分配到每个层给出不同的尺寸 ．在本文中，我们使用三个层次的实验来预测行人的置信度为1，非行人为−1。每个分割部分从特征向量的置信度得分说明了图像的哪一部分包含遮挡部分。作为部分表示的一个例子，原始图像 是否按图像大小调整 进入基层的特定窗口大小。下一步是将原始图像分为四个部分： ,下一层。后来，有16个部分要分割 以与前一层相同的方式。同样，零件表示过程将遵循相同的程序，直到N^th金字塔层。

3.2.2。Pyramidal-Based多数票

通过金字塔结构的多数投票是根据部分分类器获得的置信度值来定义的。从上到下逐层进行信心评估。提出了金字塔集成分类器的思想，通过金字塔结构根据其上层部分的投票结果精确计算置信度评分值(见图)5.）.

金字塔集成分类器的算法在算法中描述2.并考虑零件分类器集 ,在哪里N是金字塔的层数和我为零件的数量。标准化决策响应从部件分类器响应是一个二进制值吗 ,定义为:

那么，定义为表示投票数的标准化响应的总和

最后，多数票 ,即足够的置信度，由阈值决定 ,如下式所述:

图示了金字塔集合分类的结果示例（见图6.)与分类反应比较(见表1.）.在图的插图中，原始图像包含了行人和一辆车在近尺度上过马路。分类反应1^圣层描述了图像中由于与车辆部件重叠而被错误分类的非行人(−1)。在2ⁿ层，此图像中的零件分类响应与1中的响应相同^圣层的反应。然而,3^{理查德·道金斯}层分类响应转向描述为一个行人(1)的输入图像，其中包含行人。通过对这一结果的分类响应分析，我们发现部分响应被误分类为人体阴影和车辆附着部分的假阳性值。由于噪声的这种误分类，我们可以得出结论:1^圣层响应被描述为一个不受欢迎的。但是，这对所有测试图像无效，尤其是包含复杂的背景和各种外观的PSU数据（图5.）.

4.实验结果

在本节中，描述了实验设置、所提出的技术的操作步骤和评价结果。实验设置基于Intel®Core™i7-8700K CPU @ 3.70 GHz、32 GHz RAM和Windows 10环境，使用OpenCV 3.0.0库和带有TensorFlow后端的Keras。我们对INRIA公开的个人数据集进行了分析[5.]和PSU数据集[46］.

对于零件分类器的训练，我们采用与Dalal和Triggs相同的步骤[5.，通过向支持向量机输入每幅图像的随机数的正和负样本来训练部分分类器。在此基础上，将训练数据分为合理、前后垂直、无复杂场景遮挡和含复杂场景遮挡4个子集，用于估计不同场景在HOG + SVM分类器和PEC上的性能。我们使用金字塔模型的三层进行实验，因为当金字塔的深度增加时，从这一层分割出来的零件数量也会增加，可能包含的人体结构分量会减少。对于1,HOG特征描述符的窗口大小为128 × 256^圣层，64 × 128为2ⁿ第二层和第32层 × 第三组64人^{理查德·道金斯}层(参见3.2.)，由16 × 16块大小，8 × 8单元大小的9个方向箱INRIA数据和PSU数据组成。HOG特征向量用L2_HYS范数进行归一化。我们采用相同的参数值对金字塔融合模型的每个部分进行特征提取。下面的部分介绍实验的细节。

4．1.数据集

描述了不同数据集的比较特征(见表)2.)，并以INRIA和PSU数据集的采样数据为例(见图)7.）.众所周知的标准数据集，INRIA个人数据集[5.，其中部分行人被粗略遮挡，用于评估无遮挡情况下的分类器。为了评估部分遮挡下分类器的性能，PSU数据集[46]用于标注大量部分遮挡的行人。

以下4.4.1。法国人数据集

该数据集包含不同姿态和不同视角行人的高分辨率静态图像，在[5.]，它仍然是人类检测中应用最广泛的数据集之一。数据已经划分为训练和测试子集。对原始正片(包含行人的正片)提供标注。这些图像来自个人数字图像收集，行人在各种背景(室内、城市和乡村)下以不同的姿势展示，这些背景下的人通常是站着或行走的。将训练集中的例子和反例子缩小到96像素的高度(将16像素的边界归一化为64 × 128像素，在其周围添加行人)。

4.1.2。事业单位的数据集

该数据集还包含带有遮挡部分和不同姿态和复杂背景的静态图像。行人数据根据不同姿态从多视图位置捕获:直立，行走，站立，骑自行车，骑摩托车，左，右，后，和闭塞的部分，人们在不同的观点周围的市场区域，或在PSU校园，和一些数据从谷歌。图像分辨率有4种类型:64 × 64、256 × 256、720 × 960、960 × 720像素，将其调整为原始图像分辨率3120 × 3120像素进行训练和测试数据，以得到检测算法的有效评价。每个行人都提供了有用的属性:场景、视图、姿势、遮挡和附件信息，图像的场景包括行人穿过道路、在市场区域或在城市中心的交叉点，或在校园道路，以代表现实环境。

来自inria和psu数据集有四组验证子集（见表3.）.这是因为INRIA数据集中大部分是直立的人，但没有很多部分和严重遮挡的部分可用。然而，PSU数据集包含部分遮挡部分和严重遮挡部分，且场景复杂。因此，我们为实验创建了四组验证集:Vad 1, Vad 2, Vad 3, Vad 4，来评估分类。此外，我们对Vad 1的PSU数据样本和Vad 2的INRIA数据样本进行了训练和测试。为了得到验证的结果，我们将PSU作为训练样本，INRIA作为测试样本，对Vad 3的两个数据集进行交叉训练和测试。对于Vad 4，我们使用INRIA数据样本进行训练，使用PSU数据样本进行测试。

4．2．结果与讨论

本节描述实验结果，以及对所提出技术的讨论。通过不同的实验结果，建立了不同的验证子集，以增强分类能力。

4.2.1.金字塔层的试验结果

根据不同层对PEC的分类性能如图所示8.．为1^圣层，将行人的整个身体作为分类过程中的一个部分，根据遮挡部分只得到71%。在2ⁿ层，将整个body分割为四个部分，分别估计每个部分的预测得分，分类准确率提高了6%。这是因为遮挡部分的错误分类在1中被假定为噪声^圣层。为3^{理查德·道金斯}层，更多的子部分用于分类，从而更好地识别遮挡部分。3号卫星的性能^{理查德·道金斯}Layer比1^圣层的准确性。在结构金字塔表示的情况下，分类性能有所提高，同时层数有所增加；但是，复杂性也有所增加。在我们的实验中，我们选择了3个^{理查德·道金斯}层为最优金字塔结构。

4.2.2。INRIA和PSU数据集的实验结果

在我们提出的框架中，我们发展了基于部件模型和集成学习的思想，使用金字塔部件表示来处理现实环境中的遮挡问题。使用四组训练子集:合理、前/后、无复杂场景遮挡和有复杂场景遮挡，来评估我们提出的分类器的性能，并估计不同场景的性能。合理子集只包含完整的行人，在复杂场景下没有遮挡。前面/后面的子集只包含行人身体的前面和后面的视图，因为之前的分类器在测试行人的后面时获得了下降的结果。另外两个子集包括部分遮挡的无复杂场景和有复杂场景的行人。

在本实验中，我们选择HOG + SVM作为基线分类器，因为HOG在行人检测和分类中有着广泛的应用。但是，在遮挡部分和行人姿势的各种场景下，表演受到限制。我们使用金字塔结构进行基线分类器来学习附加的置信度响应结构信息。我们比较了我们提出的分类器(PEC)和基线分类器与不同组的验证子集。

在INRIA和PSU数据集上描述了四组不同训练组的性能比较(见表)4.）.第一列说明了4个验证子集，以显示无遮挡和遮挡下比较分类器的性能。通常，INRIA包含无部分遮挡的全身行人图像，主要用作评估测试的训练数据。然而，在真实环境中，部分遮挡可以在不同的条件下发生——有或没有复杂的场景。使用不同的子集组进行训练可以帮助不同场景的验证性能。为此，我们使用包含复杂场景下部分遮挡的真实行人图像的PSU数据集进行交叉验证。此外，之前的方法大多是在训练阶段避免遮挡的行人样本，因为该样本中的噪声可能对辅助分类不可靠。

如表中所示4.，当在Vad 1和Vad 3子集上使用遮挡样本进行训练时，结果在总体性能上有所下降，特别是对于复杂场景中的遮挡。表中显示的结果表明，与基本技术相比，我们提出的技术的性能有所提高。这是因为在复杂场景中将行人误分类为背景，而之前的基础分类器在1中假设行人为非行人^圣层。相反，当使用金字塔结构的结构信息时，身体的这个错误分类部分被观察为一个行人。

说明了Hog + SVM分类器与inria上的PEC与PEC数据集之间的整体性能的比较，用于四个数据的数据集（见图9）.结果表明，与HOG + SVM分类器相比，该分类器对四个子集的分类精度均有所提高。可以清楚地看到，与HOG + SVM技术相比，该技术的整体性能提高了14%。特别是对于复杂场景的遮挡，精度结果的提高仍明显高于对比技术。与INRIA数据集相比，PSU数据集在复杂背景中出现部分遮挡时的精度较低。

在合理的情况下，该方法比HOG + SVM分类器提高了约7%，与其他子集相比性能最好。原因是合理的案例包含了在复杂场景下没有遮挡的全身行人。为了了解前/后情况下性能下降的原因，我们使用HOG + SVM分类器和PEC对前/后行人进行训练。结果表明，当基线分类器在结果中下降时，使用所提出的技术的性能稍微提高了15%。这是因为在基线分类器中，一些行人的背面外观由于其外观的变化，大多被误分类为非行人。然而，与基线技术相比，所提出的技术在性能上仍有提高。

对于没有复杂场景的遮挡情况，该方法的平均精度提高了16%，比HOG方法的性能更好 + SVM分类器。与前两种情况相比，由于噪声导致将行人误分类为非行人，特别是对遮挡行人的训练降低了分类器的性能。

结果表明，对于复杂场景下的遮挡，与基线分类器相比，PEC的平均准确率显著提高了17%。这是因为当我们对每个金字塔部件表示使用PEC时，每个金字塔部件的个人置信度得分可以估计部分遮挡部件的准确预测，我们的模型可以支持性能准确性的提高。结果表明，该分类器的平均精度优于基本的HOG + SVM分类器。

为了有效地实施我们提出的技术，我们使用了四组子集来验证与基线方法相比的总体性能评估。如图所示，HOG + SVM分类器与PEC在INRIA和PSU数据集上的验证性能对比(见图)10）.结果表明，vad2在PEC下的性能达到94%，与其他子集相比，具有更好的精度。这是因为使用INRIA数据样本进行的训练和测试只包含了没有遮挡的全身行人。可以清楚地看到，所提出的技术比基线分类器的性能高出8%。

这个实验有趣的一点是，当实验中交叉使用训练测试样本时，性能显著下降。从Vad 3的结果可以看出，所提出的PEC比基线分类器的性能提高了12%。然而，与所有验证子集相比，性能最低的是使用PSU-INRIA数据的Vad 3子集。有趣的是，列车数据中包含了更多闭塞和复杂的场景，获得的精度较低。因此，与训练集中包含较少遮挡部分的其他子集相比，精度精度可能会相当低。

相反，在使用INRIA-PSU的train-test子集时，与基线分类器相比，使用PEC时Vad 4的性能显著提高了28%。原因是训练数据中包含较少噪声的完整行人无遮挡和复杂场景，而测试数据中包含部分遮挡行人和附加物体的复杂场景。实际上，基线分类器的性能显著下降，而提出的技术显著提高了性能，在复杂场景下的部分遮挡情况下表现良好。即使在复杂场景的遮挡测试中，Vad 4也表现良好，与Vad 2相比，Vad 4的性能得分低了不到1%。从结果来看，必须指出的是，使用PEC时，四个验证子集的整体性能比使用HOG + SVM分类器提高了14%。

给出了已知方法和我们建议的方法的性能比较(参见图)11）.最先进的方法也取得了良好的性能结果，处理遮挡行人的不同角度。在INRIA数据集中，我们使用HOG作为特征向量，PEC作为行人分类器。所有这些知名的方法也使用HOG作为特征，借助遮挡地图和身体部位的变形来估计遮挡部分在INRIA数据集上的位置。选择Vad 2的性能结果作为比较评估，因为它使用INRIA数据集进行训练和测试数据，与其他方法类似。评估结果清楚显示，建议的技术优于最先进的方法[6.,7.,12,14,20.,25］.

Hog + lamm [7.]采用HOG作为特征向量，与局部区域制图(local area making map, LAMM)进行级联增强。结果表明，HOG + LAMM [7.]的分类比我们的PEC性能结果低18%。然而，HOG + DWT [25]是一种结合HOG和离散小波变换的多特征算法。与之前的方法相比，可以观察到一些改进，但其性能仍比PEC性能低11%。DPM (12]是众所周知的方法，通过使用HOG和潜SVM分类器，利用身体部位的变形来解决遮挡问题。为了减少复杂的计算，提出了一些变化，如更快的DPM [14]及PLL-DPM [20.］.注意，只有DPM使用Pascal数据集进行了测试[12］.类dpm方法的最佳性能比我们的方法低6%。

Hog + lbp [6.]也可以结合HOG和LBP特征向量，借助遮挡似然图来解决局部遮挡问题。高置信度的判定是基于全局检测器和局部检测器来实现最终分类。HOG + LBP的区别[6.]，我们的方法是，我们提出的分类器依赖于部分表示的金字塔层的置信度评分的组合。相比之下，我们提出的技术比HOG + LBP方法提高了5%。此外，即使使用部分闭塞的行人与复杂的场景，Vad 4，我们提出的技术仍然提高了高达4%的性能。

然而，当行人的外观与背景颜色、严重遮挡下的行人或拥挤场景下的行人非常相似时，我们的方法的集成分类响应可能无法很好地执行最后，与其他最先进的方法相比，我们提出的方法在VAD2上的性能优于96.25%。

与其他特征相比，快速融合零件模型(FFPM) [50]，使用空间深度特征结合6个AdaBoost分类器和Haar-like特征，提供最低的性能。Haar + SVM [9]提出了Haar特征，采用两个级联阶段的分类器，在第一阶段检测窗口中检测行人，在第二阶段消除一些误报。其性能可与快速DPM媲美[14]与一些最先进的深度学习方法相比，混合掩模模型[16]使用多个映射向量将原始特征矩阵投影到不同的掩模空间中，用于真实的行人检测。功能连结网[39]采用级联AdaBoost检测器和随机向量函数链接网，提高行人检测的检测精度，减少行人检测的假阳性率。对于快速多尺度目标检测，多尺度CNN (MS-CNN) [47]，利用特征上采样在检测网络上生成精确的目标建议。另一个很有前途的基于yolo的架构也实现了行人检测的改进。基于yolo的行人检测(Y-PD) [48]和tiny-yolov3 [49]为了更好地识别行人的特征，我们提出了修改通用YOLOv2检测器的网络参数和结构的方法。在这些方法中，Y-PD提供了约91%的最佳性能，比我们的方法低6.5%。

4.2.3。预训练模型的实验结果

对于前训练方法，我们在卷积神经网络(CNN)架构中选择了GoogLeNet (Inception v3)架构，CNN是用一个大型ImageNet分类任务开发的。在本实验中，Inception v3也包括两个部分:feature extraction的CNN部分和fully connected (FC) layer的分类部分。为了执行模型的微调，我们冻结了基础模型的所有层，以利用来自先前数据集的网络知识。一个新的分类器被创建来建立一个新的输出层，该输出层具有我们自己的行人数据集类的数量。为了评估基准的Inception v3模型，我们对训练和测试图像都采用相同的输入尺寸224 × 224。为了对网络进行微调，学习特性使用了基准架构相同的参数。网络的调整也需要超参数的调整。使用亚当优化器和RELU(整流线性单元)的学习率为0.00001，用于加速训练阶段。为了减少过拟合，提高网络的泛化能力，增加了参数为0.5的dropout层。

总的来说，Inception v3预训练模型的训练方案如下:(1)利用行人分类任务对深度网络进行再训练，即使用来自INRIA和PSU数据集的两类图像注释。(2)网络为完全连接(FC)层的行人分类任务进行微调，用于预测标签(两类)。在最后一个FC层中，我们添加了一个flatten层，两个完全连接的致密层，以及一个dropout层，dropout的概率为0.5。最终的softmax层输出是给定规范化类的概率的“行人”或“非行人”。

为了进行我们提出的技术，我们将基线HOG + SVM模型和基准预训练分类器的性能与我们提出的分类器进行比较(见图)12）.在标准的INRIA和PSU数据集上验证了评价性能。使用标准的Inception v3架构，预先训练的Inception v3分类器的表现优于基线HOG + SVM分类器。从性能结果可以看出，我们提出的方法在Vad 2上比Inception v3提高了16%，在Vad 4上提高了28%。然而，与Inception v3相比，Vad 3的性能下降了约11%。Inception v3的改进是由于使用Inception模块在局部特征和高提取特征上的鉴别特征表示。预先训练的深度学习模型的优点是端到端学习能丰富地表示局部和全局特征。与预先训练的Inception v3相比，使用我们的数据集对模型进行再训练可能会提高精确度，获得更好的结果，但是训练需要几天，而预先训练的模型只需要几个小时。在Vad 3中，训练阶段包含了大量遮挡的行人，与Inception v3相比，我们提出的模型在此阶段的性能下降，导致HOG特征对噪声的敏感性不足。然而，该算法的性能明显优于基线HOG + SVM分类器。

患有猪+ SVM分类器的总体平均性能为71.47％，在基准初始v3净预制分类器上为78.73％，PEC分别为85.5％。对于所有分类器，如果输入中存在噪声，特别是在复杂背景下的部分闭塞部分，则分类结果显着降低。然而，PEC使用不同的窗口尺寸来估计通过大多数投票的金字塔形状的顺序估计，这可以更好地识别遮挡部件。Inception V3使用相同大小的窗口，噪声包含训练数据云的响应于分类性能，如VAD 4所示。

5.结论

本文研究了用于行人分类的部分遮挡问题。提出了基于金字塔部分的模型(PPM)，通过级联金字塔结构，基于可见部分置信度的多数投票，获得更准确的预测。在我们的实验中，我们在INRIA和PSU数据集上使用不同的验证子集进行训练和测试。与最先进的方法相比，总体性能平均提高了14%。在无遮挡和有遮挡的数据集上，该方法的有效性分别为96.25%和95.12%，优于基线HOG + SVM和HOG + LBP [6.分类器。虽然我们已经开发了部分遮挡预测框架，但仍有一些工作需要改进，如严重部分遮挡或拥挤场景复杂环境下的行人分类。未来，我们将根据学习特征的顺序表示，更多地研究深度CNN模型的结构金字塔表示。

数据可用性

PSU行人数据集可在[46]，只被授权用于非商业或教育用途。支持当前研究的其他数据集被引用在文本的相关地方作为参考[5.］.

的利益冲突

作者声明本文的发表不存在利益冲突。

致谢

本研究得到了泰国高等教育研究促进会奖学金和泰国高等教育委员会东盟国家南部教育中心项目办公室的支持。

参考文献

1. K. Goniewicz, M. Goniewicz, W. Pawowski，和P. Fiedor，“道路事故率:改善道路交通安全的战略和方案”，欧洲创伤和急诊外科杂志，第42卷，第2期4、pp. 433 - pp438, 2016。查看在：出版商的网站|谷歌学者
2. D.Gerónimo、A.M.López、A.D.Sappa和T.Graf，“高级驾驶员辅助系统行人检测调查，”模式分析与机器智能学报，第32卷，第2期7，页1239-1258,2010。查看在：出版商的网站|谷歌学者
3. P. Dollá， C. Wojek, B. Schiele和P. Perona，《行人检测:对最新技术的评估》，模式分析与机器智能学报第34卷第3期4, pp. 743-761, 2012。查看在：谷歌学者
4. j . Hariyono V.-D。黄平君K.-H。乔,Y.-B。Yuan，“利用光流检测移动车辆行人的移动目标定位”，科学世界杂志文章编号196415,8页，2014。查看在：出版商的网站|谷歌学者
5. N. Dalal和W. Triggs，“面向人类检测的梯度直方图”，发表于计算机视觉与模式识别会议论文集，第886-893页，美国加州圣地亚哥，2005年6月。查看在：出版商的网站|谷歌学者
6. 王旭东，韩天祥，闫淑君，“一种局部闭塞处理的HOG-LBP人体检测器”，《中国生物医学工程学报》2009年IEEE第十二届计算机视觉国际会议论文集，pp.22-39，日本京都，2009年9月至10月。查看在：出版商的网站|谷歌学者
7. W.LI，P. Liu，H. Ni，B.Fu，Y. Wang和S. Wang，“通过增强的级联探测器检测部分闭塞行人”，智能交通系统，第8卷，第2期7、pp. 621-630, 2014。查看在：出版商的网站|谷歌学者
8. J. Marin, D. Vazquez, A. M. Lopez, J. Amores，和L. I. Kuncheva，“通过随机子空间分类器用于人类检测的遮挡处理，”IEEE控制论汇刊，第44卷，第5期。3, pp. 342 - 354,2014。查看在：出版商的网站|谷歌学者
9. l .郭psi。通用电气,M.-H。张,L.-H。李,Y.-B。赵，“结合AdaBoost算法和支持向量机的智能交通系统行人检测”，专家系统与应用第39卷第3期4, pp. 4274-4286, 2012。查看在：出版商的网站|谷歌学者
10. x张,小时。胡福江，李斌，“基于层次共现模型的行人遮挡检测，”Neurocomputing，第168卷，第861-870页，2015。查看在：出版商的网站|谷歌学者
11. Zhao，Y.Zhang，L.Bai，Y.Zhang和J.Han，“基于多尺度层次模型的空间谱结构约束的多光谱目标检测，”信号处理:图像通信， 2018年，第68卷，第58-67页。查看在：出版商的网站|谷歌学者
12. P. F. Felzenszwalb, R. B. Girshick, D. Mcallester，和D. Ramanan，“基于区分训练部分模型的目标检测”，模式分析与机器智能学报， vol. 32, pp. 1627-1645, 2009。查看在：谷歌学者
13. R. B. Girshick，P.F.Felzenszwalb和D. Mcallester，“与语法模型的对象检测”，神经信息处理系统论文集，第1-9页，西班牙格拉纳达，2011年12月。查看在：谷歌学者
14. 罗平，田勇，王旭东，唐旭东，“基于可切换深度网络的行人检测技术”，IEEE计算机愿景和模式识别， Columbus, OH, USA, pp. 899-906, 2014年6月。查看在：谷歌学者
15. C.朱和Y.Peng，“行人检测的鉴别潜在语义特征学习”Neurocomputing，第238卷，第126-138页，2017。查看在：出版商的网站|谷歌学者
16. 陈宇宇，“基于混合掩码模型的行人检测方法及其实现”，中国公路交通大学学报(自然科学版)，信息科学， vol. 372, pp. 148-161, 2016。查看在：出版商的网站|谷歌学者
17. j .温X.-p。王,L.-f。香港,和工程学系。Zhang，“基于图像分割的拥挤场景行人检测的加权部分模型”，印度国家科学院院刊A辑:物理科学，第86卷，第86期1, pp. 125-136, 2016。查看在：出版商的网站|谷歌学者
18. J.H.Wahyono、J.Hariyono和K.-H.Jo，“用于携带行李检测和分类的身体部位增压模型，”Neurocomputing，第228卷，第8期，第106-118页，2017年。查看在：出版商的网站|谷歌学者
19. W.欧阳，H. Zhou，H. Li，Q. Li，J. Yan和X. Wang，“共同学习深层功能，可变形零件，遮挡和行人检测分类，”模式分析与机器智能学报，第40卷，第5期。8，第1874-1887页，2018。查看在：出版商的网站|谷歌学者
20. 耿磊，刘勇，李勇，张飞，“基于可变形零件模型和金字塔层定位的快速行人检测”，中国公路学报，vol . 21, no . 2, pp . 454 - 454电子成像杂志，第26卷，第3期，文章编号033020，2017年。查看在：出版商的网站|谷歌学者
21. W. Ouyang，X. Zeng和X. Wang，“在行人检测中建模相互了解关系”2013 IEEE计算机视觉与模式识别(CVPR)会议论文集， vol. 1, pp. 3222-3229，波特兰，俄勒冈州，美国，2013年6月。查看在：出版商的网站|谷歌学者
22. D. Ribeiro, J. C. Nascimento, A. Bernardino，和G. Carneiro，“使用卷积学习提高行人探测器的性能，”模式识别，第61卷，第641-649页，2017。查看在：出版商的网站|谷歌学者
23. B. Wu和R. Nevatia，“通过分组、合并和分配部分检测响应来检测和分割多个部分被遮挡的物体，”国际计算机视觉杂志，第82卷，第2期2, pp. 185 - 204,2009。查看在：出版商的网站|谷歌学者
24. V. P. Viswanath, N. K. Ragesh，和M. S. Nair，“基于ACM的ROI提取行人检测与部分遮挡处理，”Procedia计算机科学，第46卷，第45-52页，2015。查看在：出版商的网站|谷歌学者
25. G.-S。在香港,B.-G。金,Y.-S。黄,K.-K。Kwon，“基于离散小波变换梯度直方图的快速多特征行人检测算法”，多媒体工具及应用，第75卷，第5期23, pp. 15229-15245, 2016。查看在：出版商的网站|谷歌学者
26. A. Sharifara, M. S. Mohd Rahim，和Y. Anisi，“人类面部检测的综述，包括神经网络和面部检测中haar基于特征的级联分类器的研究，”在2014年生物识别与安全技术国际研讨会论文集，页73-78，吉隆坡，马来西亚，2014年8月。查看在：出版商的网站|谷歌学者
27. 魏彦宏、田奎宏、郭国强、黄文华和曹志强，“结合Harr和HOG特征的多车辆检测算法，”数学与计算机模拟，第155卷，第130-145页，2019。查看在：出版商的网站|谷歌学者
28. 傅旭东，余瑞，张伟，“基于单尺度特征图的多尺度行人检测研究”，传感器第18卷第2期4, p. 1063, 2018。查看在：出版商的网站|谷歌学者
29. Liu Y.， P. Lasang, M. Siegel, and Q. Sun，“Multi-sparse descriptor: a scale invariant feature for行人检测，”Neurocomputing，第184卷，第55-65页，2016年。查看在：出版商的网站|谷歌学者
30. J. Yoo, S. S. Hwang, S. D. Kim, M. S. Ki, and J. Cha，“使用显性梯度直方图的尺度不变模板匹配”，模式识别，第47卷，第47期。9, pp. 3006-3018, 2014。查看在：出版商的网站|谷歌学者
31. D. Sangeetha和P. Deepa，“一种低成本和高性能的架构，用于使用边缘方向梯度的直方图进行健壮的人类检测，”微处理器和微系统公司， vol. 53, pp. 106-119, 2017。查看在：出版商的网站|谷歌学者
32. 学术界。郑,W.-J。裴秋华，闫永文。基于梯度和纹理特征融合的行人检测Neurocomputing，第228卷，第71-78页，2017。查看在：出版商的网站|谷歌学者
33. M. Sharif, M. A. Khan, T. Akram, M. Y. Javed, T. Saba, and A. Rehman，“基于统一分割和结合欧氏距离和基于联合熵的特征选择的人类检测和动作识别框架”，欧亚图像视频处理杂志， 2017年第5期。1，第89页，2017。查看在：出版商的网站|谷歌学者
34. 郭磊，张敏，李力，赵颖，“基于人体部位特征的主动行人保护系统行人检测”，PROMET-Traffic&Transportation，第28卷，第2期，第133-142页，2016年。查看在：出版商的网站|谷歌学者
35. A. SEBTI和H. Hassanpour，“使用Logistic回归分类器的集合估算”，“多媒体工具及应用，第76卷，第22期，第23589-236052017页。查看在：出版商的网站|谷歌学者
36. M.A.Muqeet和R.S.Polambe，“基于可分离的自适应方向小波变换的协作表示面部分类”完成的局部二进制模式“，”《工程科学与技术》，国际期刊第21卷第2期4, pp. 611-624, 2018。查看在：出版商的网站|谷歌学者
37. S. Kim和K. Cho，“通过去除重叠块中的冗余快速计算梯度特征直方图”，信息科学与工程学报，第30卷，第2期6，第1719-1731页，2014。查看在：谷歌学者
38. S.Zhang，D.A.Klein，C.Bauckhage和A.B.Cremers，“基于运动分割和新运动特征的快速移动行人检测，”多媒体工具及应用，第75卷，第5期11, pp. 6263-6282, 2016。查看在：出版商的网站|谷歌学者
39. 王振宇，“基于AdaBoost和随机矢量函数链网的行人检测系统”，中国交通大学学报(自然科学版)，科学世界杂志文章编号105089,7页，2014。查看在：出版商的网站|谷歌学者
40. C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens，和Z. Wojna，“重新思考计算机视觉的初始架构”，在2016年IEEE计算机视觉和模式识别会议记录，第2818-2826页，美国内华达州拉斯维加斯，2016年12月。查看在：出版商的网站|谷歌学者
41. “基于卷积神经网络的车辆分类方法研究”，“基于卷积神经网络的车辆分类方法研究”，“基于卷积神经网络的车辆分类方法研究”，先进的多媒体文章编号3138278,10页，2018。查看在：出版商的网站|谷歌学者
42. B.Dai，Y.Wang，Y.Yao，W.Ye和T.Chen，“收回：利用经过深度训练的对象预测模型进行有效的对象分析，”视觉传达与图像再现学报，第61卷，218-224页，2019。查看在：出版商的网站|谷歌学者
43. 赵志强，郑平，“基于深度学习的目标检测研究”，神经网络学习系统学报，第30卷，第2期11，第3212-3232页，2019。查看在：出版商的网站|谷歌学者
44. A. Shrestha和A. Mahmood，《深度学习算法和架构综述》，IEEE访问， vol. 7, pp. 53040-53065, 2019。查看在：出版商的网站|谷歌学者
45. C.塞格迪(C. Szegedy)的《更深的回旋》(Going deep with convolutions)2015 IEEE计算机视觉与模式识别(CVPR)会议论文集，第1-9页，波士顿，马萨诸塞州，美国，2015年6月。查看在：出版商的网站|谷歌学者
46. M.Thu、N.Suvonvorn和M.Karnjanadecha，“行人检测的新数据集基准”，年第三届生物医学信号和图像处理国际会议论文集，第17-22页，意大利巴里，2018年10月。查看在：出版商的网站|谷歌学者
47. 蔡志强、范志强、费里斯和瓦康塞洛斯，“用于快速目标检测的统一多尺度深度卷积神经网络，”电脑Vision-ECCV 2016，第9908卷，第354-370页，2016。查看在：出版商的网站|谷歌学者
48. “基于YOLOv2的行人检测方法研究”，国家自然科学基金重点项目，2012.01 - 2012.12。工程数学问题文章编号3518959,10页，2018。查看在：出版商的网站|谷歌学者
49. Z.Yi，S.Yongliang和Z.Jun，“一种改进的tiny-yolov3行人检测算法，”Optik，第183卷，第17-23页，2019。查看在：出版商的网站|谷歌学者
50. 程东杰，“一种基于深度特征的快速融合模型，用于行人检测和安全监控，”测量，第151卷，第107081条，2019年。查看在：出版商的网站|谷歌学者

版权

版权所有©2020 M. Thu和N. Suvonvorn。这是一篇发布在知识共享署名许可协议，允许在任何媒介中不受限制地使用、分发和复制，前提是原作被正确引用。