文摘

人reidentification,旨在追踪人们在不重叠的照相机,是一项基本的任务自动化的视频处理。移动的人经常以不同的方式出现在从不同的不重叠的相机,因为不同的照明,姿势,和相机属性。颜色直方图是一个全球性的特性可用于识别的对象。这个柱状图描述对象上的所有颜色的分布。然而,使用颜色直方图有两个缺点。首先,变化不同的颜色在不同的光线和角度不同。第二,传统的颜色直方图缺乏空间信息。我们使用一个基于知觉颜色空间来解决照明问题传统的直方图。我们也使用了空间金字塔匹配(SPM)模型改进颜色直方图的图像空间信息。最后,我们使用高斯混合模型(GMM)来显示reidentification特性的人,因为GMM的主要颜色特征更适应场景的变化,并提高检索结果的稳定性在不同的场景不同的颜色空间。 Through a series of experiments, we found the relationships of different features that impact person reidentification.

1。介绍

作为公共安全技术变得越来越智能,建立了监控摄像头在公共场所,如机场、超市。这些相机提供了大量的不重叠的视频数据。常常需要跟踪一个物体或感兴趣的人,出现在从多个摄像头不同照明条件下(1- - - - - -3]。当搜索移动监控视频数据,对象检索系统智能视频监控经验以下的问题。(1)在视频监控对象检索结果取决于运动分割和视频分析。数字视频是一系列图像,由帧包含丰富的信息。如果图像帧包含移动对象,那么可以使用对象检索检测段一个移动的目标(4]。对象检索结果取决于对象分割。如果视频分析不能单独的前景和移动对象,目标对象不能被从许多无关紧要的前景对象检索。一个好的对象检索系统应该适应不同层次的视频质量前景检测,从而消除不相关的对象和检索目标(5]。(2)特定对象检索视频监控面临技术上的限制。移动对象的监控录像的兴趣往往是人员和汽车。面部特征识别最独特的元素的人,和相对成熟的方法可用于这一过程。然而,低相机分辨率往往很难提取面部表情(可感知的信息6]。成熟的技术基于面部特征的视频对象检索应该得到更多的技术探索。(3)外部因素极大地影响对象出现在视频监控下。一个健壮的对象检索系统应该能够弥补下列因素。(我)人的姿势变化:一个移动的人可能任意姿势(图1(一))。(2)不同照明条件:光照条件通常相机视图(图之间的不同1 (b))。(3)阻塞:一个人的身体部分可能被其他学科,如携带包,在一个相机视图(图1 (c))。(iv)图像分辨率低:由于监控摄像头的性能,一个移动的人通常有低分辨率的图像(图1 (d))。颜色直方图是一个工具用来描述图像的色彩构成(7]。柱状图显示了不同的外观颜色,每个颜色的数量的像素在一个图像。颜色有更好的免疫力噪声干扰的图像和健壮的图像退化和扩展。我们选择了一个全球性的颜色的方法身体对人reidentification监控录像功能。提取颜色信息的人是简单明了的方法。因为颜色统计特征失去颜色空间分布的信息,我们将这种方法与空间金字塔匹配(SPM)模型。我们测试了我们的方法在RGB, HSV, UVW颜色空间使用真正的视频图像。我们目前的相关工作在部分人reidentification和特性分析2。我们提供细节方法部分3。我们报告并讨论实验结果4,我们给的结论和未来工作的建议5。

2。相关的工作

在过去的几年里,对象检索使用基于内容的视频检索技术得到重大理论和技术支持。许多研究人员检查人reidentification,相关文献广泛(8,9]。本节讨论特性建模和有效的匹配策略,这是人reidentification的重要方法。

2.1。颜色特征

颜色特征是低级特征类型之一,已经广泛应用于基于内容的图像检索(CBIR)。与其他特征相比,颜色展品很少依赖图像旋转、平移、尺度变化、甚至改变形状。颜色几乎因此被认为是独立于图像尺寸,方向,和视图角度。大多数表示在之前的方法是基于外观。灰色和道10)使用一个相似性函数,从一组训练数据。这些作者关注未知的观点和提出的问题。观点变化的方法是健壮的,因为它是基于局部特征的合奏(精灵)。Farenzena et al。11)提出了一个基于定位感知相关的人类外貌的方法部分。信息功能包含三个部分:整体彩色内容、颜色到稳定区域的空间布置,复发性局部高熵主题的存在。提出的方法是健壮的,观点,和光照变化。赵et al。12]人reidentification变成一个远程学习的问题。使用的相对距离比较模型计算距离的观点,这些作者认为可能真正匹配对较小的距离比一双错误的匹配。这些作者还使用了一种新的相对距离比较模型测量之间的距离对人图像和法官对真正的匹配和错误匹配。安琪拉等人提出了一个新功能基于概率的定义颜色直方图和训练有素的模糊最近的邻居(资讯)分类器基于一个临时数据集。该方法有效地识别和reidentifying人两种不同的摄像机不管观点的改变。梅特涅et al。13]使用全局颜色直方图和形状信息来追踪人们在现实生活中的监测数据,发现的外观主题跟踪结果的影响。这些作者也集中在匹配技术在相机的性能与不同领域的观点。

2.2。度量学习

Hirzer et al。14)的匹配方法度量学习关注人reidentification。这些作者完成的指标从对学习样本不同的相机。方法受益于度量学习的优势,减少所需的计算工作。可以实现良好的性能甚至用更少的颜色和纹理信息。Khedher et al。15)提出了一种新的自动统计方法可以接受和拒绝上网通信基于似然比的两个高斯混合模型(gmm)学习参考集。该方法不需要选择匹配的冲浪对通过实证手段。相反,兴趣点匹配整个视频序列是用来判断这个人的身份。Matsukawa et al。16]关注过度拟合的问题,提出了一个歧视reidentification积累当地直方图的方法的人。该方法共同学习对体重的积累和使用了一个距离度量地图强调区别的直方图维度。该方法可以获得较好的reidentification精度比其他典型度量学习方法在不同大小的数据集。

3所示。系统描述

3.1。提出了系统的概述

移动人的技术从一个视频数据库检索信息包括镜头分割、检测,场景分割,特征提取和相似性计算。如图2,镜头分割是指自动分段视频剪辑照片作为索引的基本单位。一秒钟的视频包含大约20 - 30视频帧,和相邻帧很相似。没有必要执行检索和匹配每一帧,帧分化是用来检测和提取移动的人。帧分化依赖于相邻关键帧之间像素值的变化。变化值大于阈值建立标记的像素位置移动的人。这一步是非常重要的在视频解析和直接影响移动人检索的有效性。

相似性的度量方法计算结果影响排名的对象检索。从本质上讲,图像相似度计算的计算特征向量的内容对象。每个特征属性的选择可以采用不同的相似度计算方法(17]。频繁,图像特征提取的特征向量的形式,可以被视为在多维空间。最常用的相似性度量方法使用功能空间中两个点之间的距离。我们也使用距离测量和相关性计算规模图像之间的相似性。

我们建议的方法呈现在图3。我们使用传统的直方图和SPM直方图检索对象。传统直方图方法包含三个部分,颜色直方图特征提取,颜色直方图距离的计算,并输出。SPM直方图之间的差异和传统直方图直方图距离计算的部分。示例图像和匹配图像划分为三部分,上部、中部和下部。然后三个部分分别计算颜色直方图距离和使用平均距离来评估结果。系统使用GMM模型过滤前20名的结果,提取GMM主要颜色特征,并计算它们的相似性。最后,系统输出的排名前十的结果。

3.2。基于知觉色空间直方图特性

计算在RGB和HSV颜色空间不能解决的问题背景照明的敏感度。颜色空间总是影响颜色直方图的计算精度(18]。我们尝试使用基于知觉颜色空间,表现出良好的性能在图像处理19]。顾名思义,基于知觉颜色空间相关指标接近感知距离和颜色位移,捕捉关系强劲的光谱变化在照明20.]。RGB颜色空间可以通过以下步骤转化为基于知觉色空间。

RGB颜色空间可以通过以下步骤转化为基于知觉色空间。

(1)转换RGB XYZ颜色空间使用以下公式(1): 在哪里是伽马校正函数,等于2.0。伽马校正函数地址颜色失真笼罩真正的环境在一定程度上。

(2)变换XYZ UVW颜色空间。在UVW颜色空间中,光照条件的影响由三色模拟乘法价值观和比例因子,如以下公式所示(2): 在哪里是一个对角矩阵,会计只对照明,和独立的材料。从当前颜色传递矩阵空间坐标基础坐标。非线性传输使用下列公式(3): 在哪里和是可逆的矩阵和表示特定组件的自然对数。矩阵变换的颜色坐标的基础上重新点火最好对应于对角矩阵乘法,矩阵提供了自由度,可以用来匹配感知距离。基于实验数据库中类似的颜色,和matrix-value公式显示为(4)和(5),分别。

3.3。SPM模型

Lazebnik et al。21)提出了空间金字塔匹配(SPM)在2006年。SPM模型包含广泛的空间信息,将编码与颜色直方图信息有序的空间。模型将图像划分为不同的级别,然后可以进一步细化。SPM模型空间如图4。0级的图像是基于原始图像的特征信息。但是图像特征是基于全球无序颜色信息。一级显示图像分离空间几何。和表达的空间秩序,其中包含简单的空间信息。

侯和P12,也缺乏内部空间信息,在1级。如果内部空间信息是必要的在赛和P12,他们必须分开使用相同的过程。水平特性是除以水平。师的水平是由实际情况决定。

3.3.1。SPM直方图特性

图像相似度计算的水平SPM模型中对应的部分。两个图片和公式如下: 在哪里是图像直方图特征的部分在水平;特征相似度的图像吗和;和相似度计算的重量。在这种情况下,我们关注的部分的水平。应设置高的重量计算。

3.4。高斯颜色模型

高斯肤色模型(GMM)经常用于彩色图像分割根据图像特征的分类和聚类22]。基于像素的图像分为不同的部分分类。我们认为人识别的主要部分是基于细节匹配和忽略的细节。类似对象的检索视频系统重视相似性匹配的主要部分,不强调精确的细节匹配,所以我们考虑的主要颜色为高斯分布的特性模型。

3.4.1。高斯分布

高斯分布参数概率密度函数是一个平均值和方差最大连续分布信息熵(23]。所示(7),当分配单元值符合正态分布的随机变量,变量符合高斯分布的频率是完全由中值决定和方差。作为方法,概率增加。意味着分散和的值是一个更大的分散度。

一个图像的高斯分布描述特定像素亮度的分布反映了一些灰色的频率数值(24]。单模高斯分布不能代表一个五彩缤纷的形象。因此,我们使用一个多样性的高斯模型来展示不同的像素分布近似模拟了色彩斑斓的形象。理论上,我们可以增加的数量模型描述能力提高。

彩色图像的每个像素可以表示为一个d维向量(彩色图像和灰色图像)。整个图像可以表示为,在那里在图片像素的总和,被表示为州GMM和的值从3 - 5通常是受限制的。的线性叠加高斯分布的GMM概率密度函数,所示(8):是图片的像素采样。

是一个高斯密度函数。所示(8),表明的高斯密度函数。是样本均值向量,样本协方差矩阵,然后呢是描述的非负权重系数的比例总的数据中的数据。

3.5。颜色直方图特征提取

图像的直方图与图像像素密度的概率分布函数。这个概念扩展到彩色图像时,需要获得多个通道的联合概率分布值(25]。一般来说,颜色直方图是由以下方程(9): 在哪里,,表明三个颜色通道(,,或,,),是图像中像素的总和。在计算方面,第一步是使离散图像的像素值,创建统计像素的每一种颜色的数量颜色直方图。

3.6。颜色直方图特征相似性度量

几种方法存在的计算和权衡直方图的相似度测量。图像之间的相似度测量的距离公式是基于颜色的内容。欧氏距离、直方图相交和直方图二次距离广泛应用于图像检索。

两个图像之间的欧几里得距离直方图是由以下方程(10): 在哪里和两个柱状图,,,是颜色通道。公式中的像素值减去相同本的直方图和。

直方图相交距离的公式如下: 在哪里和站在直方图图像采样的像素值和,分别。

3.7。评价方法

(1)我们专注于搜索结果准确性的程度用评价参数的精度。精确反映过滤无关内容的能力。这些视频检索系统性能标准参考信息搜索系统的评价方法。为检索对象,检索系统返回的搜索结果。精确率表达正确的相关检索结果的数量除以总数量的检索结果。

在公式(12),是正确的数量相关的检索实例,是无关紧要的视频检索实例的数量,缺少的数量是正确的相关检索示例。

(2)累计匹配特征(CMC)曲线是用来评估reidentification系统的性能。中央军委曲线时使用完整的画廊。它描述的准确性和阈值之间的关系。大多数现有的行人reidentification算法使用中央军委曲线评价算法的性能。给定一组探测器和一个行人画廊,CMC的实验结果分析描述了什么是行人探测搜索的数据集比例返回探测器画廊伴侣在顶部r rank-ordered结果。

4所示。实验

我们评估reidentification方法三个数据集,也就是说,多个摄像机的视频数据,毒蛇的数据,和SARC3D数据。我们检查提出了SPM直方图+ GMM方法主要颜色,SPM直方图的方法,和传统直方图方法在三个数据集,进一步把我们的方法与Symmetry-Driven积累的地方特色(SDALF)方法在公共毒蛇和SARC3D数据集。SDALF的代码可以下载https://github.com/lorisbaz/sdalf。所有的实验都是运行在一个台式电脑的i7 - 3.4 GHz CPU。

4.1。实验多个摄像机的视频

我们评估了不同的颜色空间的性能对于现实生活中的视频数据。不均匀光照分布应该影响人reidentification导致彩色图像。因此,我们创建了一个视频数据集来测试我们的方法的有效性和鲁棒性。我们记录了视频数据在学校校园。六个行人走从左到右为了监控摄像头下,如图5和6。我们的现实生活中的视频数据由两个视频同时被记录在不同的位置。位置1是明亮和位置2很黑。以每秒25帧的视频记录。方观点的六个行人的照片被用作检索样本,如图7。六个行人没有一顶帽子,袋或其他配件。RGB的结果是基于机器视觉,HSV结果更接近人类视觉感知。如表所示1,我们的方法优于传统的直方图法和SPM直方图法。我们发现虽然RGB颜色空间反映了各种颜色的图片,背景颜色混合在这些渠道影响reidentification结果。在SPM的方法,这个问题甚至严重的下部的分离图像包含更大的部分背景颜色比身体的颜色。如表所示2,UVW的性能比HSV和RGB。原因是结果主要由颜色转移的影响。在不同的照明,颜色直方图的衣服将被转移到另一种颜色。例如,红色在一个黑暗的环境似乎是黑色或灰色。UVW颜色空间是针对这个问题。GMM颜色建模,解决低分辨率图像的颜色转移问题,我们采用三原色红、蓝、绿色作为主要颜色。然而,对于黑暗的背景图像,GMM方法生成一个糟糕的结果。

4.2。毒蛇实验数据集

我们检查人的外观模型reidentification毒蛇数据集的基础上,由632个行人图像对取自不同照明条件下任意视点。每个图像放大到128×48像素。

如图8的基于直方图的方法,我们的方法优于RGB颜色空间,与传统直方图和SPM直方图方法生成非常相似的结果。我们也注意到,该方法在HSV空间执行比在RGB空间,如图9。这是因为图像照明的毒蛇数据集变化显著。SDALF方法呈现稍微比我们的方法更好的结果,而我们的方法计算成本有很大的优势。具体来说,SDALF大约需要3850秒来提取其特征从毒蛇的1264张图片数据集,而我们的方法只需要40秒提取和计算颜色直方图特征。此外,SDALF方法需要大约4260秒比较所有399424对图像,而我们的方法只需要610秒来计算GMM相似性比较1264年图像。这一结果表明我们的方法计算成本的显著优于SDALF方法。

4.3。SARC3D实验数据集

SARC3D数据集包含短视频剪辑的50人被捕校准相机。我们雇佣SARC3D数据集有效地评价不同的人reidentification方法。为了简化图像对齐过程,对每个片段我们手动选择四个帧对应于预定义的位置和姿势,也就是说,回来,前面,左,和这些人。所选择的数据集包括200个快照为每个人有四个视图。人reidentification,我们随机选择的四个观点对于每一个人,计算相似度得分与所有其他图像,并找到最相似的图像分类与选择图像的相似之处。同一个人的图像不同位置和姿势应该排名高于其他图像。在数据集,6人还没有完全在他们的照片可见,2人观察到相同的酱,也就是说,颜色和组合,除了箍住姿势。我们删除的图片这些人为了避免不同大小的面具形式在原始图像。在实验中所有方法都是基于RGB颜色空间。图10显示了人reidentification CMC的平均曲线在不同的方法。我们的方法在识别率明显优于SDALF方法因为落后的信息在GMM匹配过滤掉人注释模板数据集。与此同时,我们的方法明显优于SDALF方法计算成本,只有30秒126年颜色直方图特征提取和图像匹配图像,而后者大约需要440秒特征提取和图像匹配70多秒。

5。结论

人reidentification多个摄像机的视频中经常存在一些问题,包含人带来变化,不同的照明,和图像分辨率较低。我们建议在人reidentification解决两个常见的问题,是不同的照明,图像分辨率低。不同照明条件通常发生由于相机视图之间的区别。例如,同样的人在不同的相机视频颜色转移。低分辨率的图像通常含有高噪音。很难从低分辨率图像中提取的特征。为了提高照明问题在直方图的方法,介绍了基于知觉颜色空间,已成功用于图像分割研究识别方法的人。其次,我们把空间的低分辨率图像金字塔匹配(SPM)方法在主色提取方法,在我们的实验有很大的改善。此外,我们的方法已经显示出显著的优势与传统方法相比计算成本。在本文中,我们只是GMM模型提取的主要颜色特征。 We did not analyse the feature information from the mean value parameter and variance in the GMM. The main color feature also used the global object color; we could combine the SPM model with GMM main color local feature to retrieve the object from the video data.

相互竞争的利益

作者宣称没有利益冲突。

确认

这项研究部分由jsp KAKENHI 15 k00425 15 k00309格兰特nos。