文摘
人reidentification (re-id)获得了重大进展,在计算机视觉引起了极大的兴趣。然而,由于弱照明和不一致的影响,人re-id仍然是一个具有挑战性的任务。此前的许多作品关注照明增强方法或姿势估计。然而,这些方法很难应用在真实的场景中,通常包含各种干扰因素。提高re-id的性能,我们建议一个Illumination-Invariant和Pose-Aligned网络(IIPA-Net)。光照变化是由retinex分解网络,和姿势变化的问题是解决了局部特征匹配的方法。根据一个人的多通道特性,我们提出了一部分注意力模块优化全局特性。最后,提出了一种数据驱动的培训策略有效地训练建议的体系结构。实验表明,该框架优于其他先进的方法对正常和低光照条件下的数据集。
1。介绍
人reidentification (re-id)的目的是识别一个特定的人(调查查询图像)从画廊的候选人由多个摄像头捕捉的图像重叠或nonoverlap字段的视图。安全需求的日益增长,加上不断增长的可用性的监控摄像头,使人reidentification日益探索区域(1]。然而,它非常具有挑战性,因为兴趣的人监控摄像头的图像通常有显著的变化在不同的视点,照明,人类的姿势,等等2]。低分辨率、部分遮挡和模糊增加人的困难re-id [3]。
因为人所捕获的图像是不同的相机在未知的照明条件下,同一个人包含各种变体的出现,使re-id极其困难的任务。为了消除光照的影响,许多方法依赖颜色分布的统计数据和项目图像颜色不变空间(4]。然而,之前的信息在真实场景中照明是不可预测的。另一种解决方案是模拟现实世界的照明和使用数据增强技术,这是昂贵的,需要大量带安全标签的数据时(5]。造成偏差,这是由于改变了观点或不准确检测盒,是另一个人的干涉re-id框架(6]。这个姿势变化的一个简单的解决方案是应用人体姿态估计,该解析一个人图像分成不同的语义部分。然而,姿势估计需要大量标记数据训练模型(7]。更重要的是,会显著降低re-id精度不准确的估计。图1给出了一些示例,展示照明变化和姿态偏差。
(一)照明的变化
(b)带来变化
卷积神经网络(cnn),强大的表示和不变嵌入功能,提高了人的性能re-id [8]。CNN-based人re-id方法可以分为两个方面:学习和深度度量学习区别的特征表示(9]。在第一类中,大多数方法通常专注于提取区别的特性,然后制定人re-id作为分类问题(10]。在第二类,一个健壮的指标之间积极的(相同的)和消极的(不同的)人是学会处理匹配问题(11]。在本文中,我们侧重于提取歧视特征表示。为了实现这一目标,我们提出一个联合CNN全球和地方特性学习框架,夫妇抑制干扰,特别是光照和姿态变化。首先,出于深retinex照明分解(12),我们采用一个轻量级估计消除光照的影响,提高全球人的特性。其次,受AlignedReID + + (13),将本地信息了解更多区别的特性,我们引入一个本地特性匹配图像,使不同地区的人就是能解决构成变化的问题。我们发现illumination-invariant特性可以指导当地的部分特性匹配,以使不同的人形象。第三,从检测到的人有两种重要的模式(14),我们将cnn的低级特征和two-peak高斯映射到设计一个注意力机制。因此,提出IIPA-Net可以提高性能的re-id在正常和低光照条件下的数据集。总之,本文的贡献有三点:(我)我们建立一个新的网络框架,其中包含retinex分解净和weight-shared Resnet50骨干CNN和达到illumination-invariant pose-aligned re-id(2)我们建议关注一部分模块给CNN输出和提取最丰富的部分一个人(3)数据驱动的培训策略介绍了列车网络有效地加快培训过程
2。相关工作
reidentification的主要挑战是光照的变化、角度和姿势相机。许多作品关注提取最歧视人的视觉特性,包括颜色(14),材质(15),和形状(16]。Kviatkovsky et al。14)使用形状上下文描述符作为一个基于颜色的签名代表一个人,这是分为两种重要的模式。然而,他们认为一个人的轮廓可以总是获得,这并不是在现实世界的应用。深度学习的技术发生了革命性变化人reidentification [17]。李等人。18)成功地应用深度学习来提取人reidentification的特性。肖et al。19)提出一种新的深度学习框架,共同处理两人在一个卷积神经网络检测和reidentification。吴et al。20.)提高cnn的区别的特征表示利用标记tracklets。这个框架的主要限制是,他们要么手工制作的特性或使用单一的场景图像,从而使他们更健壮的各种照明条件和改变了人类的姿势。Retinex理论是广泛用于照明估计(21]。许多retinex-based re-id算法取得竞争的表现(22,23]。特别,廖等人利用retinex变换和规模不变的纹理算子处理光照变化(23]。黄等人提出一个retinex分解网络解决光照变化问题和实现竞争re-id性能在光线暗的条件(22]。
在[24),一个新的合成数据集,其中包含成百上千的照明条件,介绍了模拟现实世界的照明。上面的方法减少照明变体的不利影响。然而,他们忽视当地的匹配特性,没学会一致信息,有效地消除造成变异的影响。
减少造成的负面影响变异,有些作品应用人体姿态估计来提取进行像素级的身体区域(8,25]。郑等人采用输入图像的姿态估计的信心建立pose-invariant嵌入(派)描述符8]。在[25),赵等人代表了一个人区别的特性,从不同的语义区域的一个人。另一方面,一些作品关注利用横条纹或网格提取pose-invariant特性(13,26]。太阳等人设计部分原因卷积基线(PCB)网络学习区别的部分级特性(26]。使用动态规划匹配图像,横纹的人罗等人提出一个深模型解决失衡问题(13]。此外,苗族等人提出一个闭塞的人re-id框架通过合并带来的信息(27]。尽管re-id性能的巨大进步,上面的方法还可以通过整合优化不同的体系结构的优点。
不同于现有的框架,我们专注于解决问题同时光照和姿态变化。然后,我们提出一个新的框架,能够学习光照不变性和多任务方式对齐。
3所示。方法
在本节中,我们首先描述retinex分解净和关注一部分模块。然后,提出了结构和培训策略的细节。
3.1。Retinex分解净
模拟人类的色彩感知,retinex理论观察到的图像分解为两个部分:反射和照明21]。在数学上,源图像可以表示如下: 在哪里和分别代表了反射率和照明组件,°代表element-wise乘法。内在的人描述的反射图财产和光线变化是不变的。
因此,它是活跃的提取illumination-invariant歧视从反射特性图。照明地图,代表不同的光环境,有害re-id性能和忽视。
与深retinex净(12)执行反射和照明分解增强低光照条件下的图像,我们只执行retinex分解提取人的一致的特征。如图2,retinex分解网络包括8层。第一层是一个 卷积层提取输入图像的卷积特性。第二到第六层 Relu激活函数的卷积层。第七层是一个 卷积层映射和从特征空间。最后一层是乙状结肠函数可实现和来 。
提取不同明度的图像,分解网络是美联储在配对正常/每次光线暗的图像。在训练阶段,配对图像,而不是相应的地面真理,被训练retinex分解净。但是,它可以预测和在测试阶段。
损失retinex分解净包括重建的损失和不变的反射损失 : 在哪里是用来平衡反射的一致性。重建的损失被定义为 在哪里和分别表示输入光线和普通光照图像。和表示的反射率和照明 ,以及和的 。不变的反射损失被定义为
3.2。注意模块部分
为了提取区别的特性,许多re-id方法引入注意力机制,突出人的信息部分图像,同时抑制杂乱背景(9,28]。注意机制的目标是产生一个凸起映射到输出给CNN。给定一个三维 ,在哪里 , ,和显示的像素数量渠道,高度,宽度尺寸,分别调整过程可以制定 在哪里再加权地图和吗注意模块的输出。结合最先进的探测器,有一个直观的假设检测人躺在中间的图片。在真实的场景中,一个人通常有不同的衣服上下部分。基于多通道自然,我们引入一个two-peak高斯地图 ,定义为方程(6),处理intradistribution人外观: 在哪里 和 代表高斯峰中心的地图。
如图3,我们将和Resnet-50第四层。随后,六 卷积层添加提取区别的特性。最后,softmax分类器实现一个完全连接(FC)层。
3.3。IIPA-Net架构
如图4,该IIPA-Net可以分为两个部分:全球分支和当地的分支。
第一分支最歧视的图像部分的人是关注模块提取的部分。在第二个分支,图像增强保护反射retinex地图分解净。的两个分支都发送到weight-shared Resnet50骨干cnn,这使得该模型更加灵活和容易训练。Resnet50的输出特征映射,代表了通道和特性 是空间的大小。我们提取一个全球区别的特征向量 使用全球平均池(GAP)。然后,全球功能可以计算距离 在哪里表示图像的全局特征和 。全球的特性是能够学习整体信息从人的形象。然而,它在pose-misalignment问题未能解决的原因,还未开发的地方表示。学习pose-aligned当地特性,Resnet50转移到地图的输出特性 使用地平线水平平均池大小。让 和 表示本地特性的图像和 。我们的距离th的垂直部分和th的垂直部分如下:
我们进一步的距离矩阵 ,它的元素在哪里 。如[13距离),当地pose-aligned特性 可以通过动态匹配本地信息(DMLI),可以动态地调整不同的部分功能。最后,我们获得的总距离和通过
总损失函数的框架 在哪里和表示softmax损失和三重态损失(29日的全球特性和表示圆损失(30.当地pose-aligned)特性。不同的损失函数的性能是描述的部分4.3。
3.4。培训网络
由于缺乏明确的培训部分关注模块和地面实况retinex网络,很难优化网络各种场景。因此,我们试图训练网络date-driven。整个网络在四个阶段训练,如算法1。(我)首先,骨干网络,Resnet-50,由ImageNet初始化(31日]pretrained模型和训练收敛三联体的监督下的损失(2)第二,合成低光照条件下的图像集基于帕斯卡VOC,连同他们的原始图像,是美联储Retinex分解网络,如部分所述3.3。这个训练步骤完成后200时代(3)第三,所有的层Resnet-50是固定的;只有关注模块是可训练的一部分。然后,IIPA-Net保留将softmax和三个一组训练集上的损失。学习速率是腐朽了40时代(iv)最后,我们组所有的层可训练的和微调IIPA-Net再次融合
|
||||||||
4所示。实验
4.1。数据集和评价措施
我们的实验是基于两个真实的和受欢迎的人re-id数据集:Market1501 [32]和DukeMTMC-reID [33]。的优点提出了更好地介绍illumination-invariant特性,我们采用两个人工光线re-id数据集命名光线暗的市场和低光照条件下的杜克。Market1501包括32668标记的图像是由六个摄像头捕捉到的。特别,有12936 751身份的图像训练集和19732年750的身份在测试设置的图像。DukeMTMC-reID包含25272张图片,从DukeMTMC中提取的数据集(34)是由八个摄像头捕捉到的。702年有6522个图像身份在训练集和18750 1110身份测试集的图像。光线暗的市场和低光照条件下的杜克是建立从Market1501 DukeMTMC-reID,分别。后(22),我们使用伽马校正模拟低照度的环境下。每个图像数据集的处理一个伽马值,随机挑选的 。图5显示了合成低光照条件下的图像的例子。评估不同的算法的性能,我们使用累积匹配特征(CMC)曲线和平均平均精度(地图)32)作为评估标准。CMC是定义为一个函数的秩-(35]。 在哪里代表的总数人图像画廊,和查询集被定义为
(一)光线暗的杜克
(b)光线暗的市场
地图是基于计算的平均精度(美联社)和定义为 在哪里代表了precision-recall曲线的面积th查询和代表查询集的大小。
4.2。实验装置
我们实现所有实验使用v3 2.4 GHz Intel Xeon e5 - 2630机32 GB RAM和一个NVIDIA GTX泰坦12 GB的GPU。训练块大小设置为32;设置为0.001。设置为1时,什么时候 。否则,是0.001。每个输入图像的大小 。随机水平翻转和裁剪技巧的增强数据。我们用亚当和学习速率优化器 。
4.3。实验结果
在本节中,我们首先关注评估部分模块。two-peak高斯映射可以更好地指导主体信息的人。然后,低光照的影响进行了分析。我们可以看到,光线暗的条件下有一个负面影响提出对齐。然后,我们评估我们的表现提出IIPA-Net相比其他先进的re-id方法。
4.3.1。评价部分的关注
更好地说明提出关注模块部分的影响,我们的注意力地图可视化模型和正常two-peak高斯地图。在图6,我们可以观察到two-peak高斯映射可以注意上、下部分的一个人,而只正常上(图6(一)(图)或下降6 (b))部分。two-peak高斯的引入使得一部分注意力工作更有效的与一个人的多通道特性。图6第三列表明,该部分的注意力能够产生相似的预测在不同光照条件下的关注。
(一)普通光照的例子
(b)光线暗的例子
4.3.2。低光照的影响
如图7(一),使用AlignedReID + + (13)为基准模型,第五块左边图像对齐第四和第六块正确的图像和两幅图像的距离为0.7333,大于负面(0.5557)。然而,分解照明后,我们提出的方法能够使头部,胸部,脚,等等,积极对图像的距离是减少到0.4195,小于负两(0.5775),如图7 (b)。错误的连接的基线可以归因于低照度的负面影响。这表明该方法消除了illumination-invariant弱照明和学习的影响特性。
(一)对齐基准的结果
(b)对齐结果的框架
4.3.3。不同的损失函数的性能
我们训练四个模型softmax +三联体损失( ),softmax +实例(36]损失( ),softmax +圆损失( )和提出的损失。Market1501上的性能提出了表1。和代表全球和当地的损失特性,分别。我们可以观察到Softmax +实例和Softmax +圆损失达到类似的1级精度。Softmax +三重态相比,提出的损失提高1级和地图arropminately 0.3和0.2,分别。我们相信这个圆损失一些艰难的地方特色。
4.3.4。比较先进的
评估的性能提出IIPR-Net,我们报告实验结果与一些先进的方法。我们的底线是AlignedReID + + (13),其重点是解决带来改变的问题。为了证明该框架的优势,我们也报告基准光线增强方法的结果。训练和测试图像集增强MSRCP [37),然后送入基线。
如表所示2,我们建议的框架优于最先进的四个数据集的方法。特别,拟议的框架实现Market1501等级1 96.2%和90.8%为杜克MTMC-reID等级1,优于其他引起方法,即。,MHN-6 [9]和DSA [38]。尽管FlipReID [39]和st-ReID [40达到最佳性能,额外的数据,例如,利用空间和时间信息,训练网络。光线暗的市场和杜克大学的数据集,1级精度的方法是增加了10.1%和11.2%,分别和地图增加了9.5%和6.0%。这表明我们的共同框架不仅可以消除低光照的影响,也探讨re-id pose-invariant本地特性的人。图8描述了五个例子的查询和检索结果的前10名的基线和IIPA-Net光线暗的市场数据集。我们可以看到,IIPA-Net优于基线、准确地检索目标尽管照明和变异。
(一)
(b)
(c)
(d)
(e)
4.3.5。烧蚀研究
验证每个组件的贡献,我们执行消融研究正常和低光照条件下的市场数据集。表3IIPA-Net显示了每个组件的结果。我们注意关注组件Market1501数据集上达到更好的结果。然而,retinex在光线暗的条件更好。retinex和注意力的组合达到最佳的性能在两个数据集。原因是IIPA-Net能够学习照明和pose-invariant特性。
5。结论
在本文中,我们提出了一个共同illumination-invariant pose-aligned re-id学习框架的人。出于retinex理论,我们引入一个retinex分解净消除不同光线的影响,提取一个illumination-invariant特性。应对构成对齐的问题,动态匹配当地信息是用来对齐功能,从深度学习功能映射。根据一个人的本质,我们提出了一种部分注意力机制,提取最歧视的全球特性。联合框架是四级的方式训练。实验表明,该框架实现更好的性能在正常和低光照条件下的数据集。在未来,我们将把重点放在长期re-id场景,呈现更加复杂的场景变化。
数据可用性
所有的数据都包含在本研究可从相应的作者。
的利益冲突
作者宣称没有利益冲突有关这篇文章的出版。
确认
这部分工作是由中国国家自然科学基金支持下拨款52105268,广东省自然科学基金资助下2022 a1515011409关键平台和重大科研项目资助下的大学在广东2019 ktscx161和2019 ktscx165,韶关大学的自然科学研究项目的重点项目资助下SZ2020KJ02 SZ2021KJ05,广东省重点实验室的项目为大分子先进制造技术和装备2020 kfkt07格兰特,和中国韶关市科技计划资助下2019 sn056, 200811094530423, 200811094530805, 200811094530811。