文摘
基于多传感器融合的快速行人识别算法提出了。首先,潜在的行人位置估计世界上通过激光雷达扫描坐标,然后相应的候选区域在图像所在的相机标定和角度映射模型。避免耗时的训练和识别过程中造成大量的特征向量维度,面向区域的基于兴趣的积分直方图的梯度(ROI-IHOG)提出了特征提取方法。支持向量机(SVM)分类器是由小说行人样本数据集训练适应城市道路环境的在线识别。最后,我们测试了该方法的有效性和几个从现实城市道路场景视频序列。可靠和timewise表演显示基于我们的多传感器融合方法。
1。介绍
行人是脆弱的参与者在参与交通系统的所有对象当崩溃发生时,特别是在运动城市道路场景(1]。在2009年,人们发现在第一世界卫生组织全球道路安全评估报告,交通事故死亡和伤害的主要原因之一。41%到75%的道路交通死亡事故是涉及到行人,行人的致命的可能性相比还是4倍的汽车人。因此,应该认真对待行人安全保护(2]。
活跃的行人安全保护能够避免碰撞车辆和行人从本质上讲,因此它已成为最有前途的技术来提高行人的安全性和流动性。对于主动安全系统,各种类型的传感器是用来检测行人和生成适当的警告司机或执行自动刹车系统在发生碰撞的情况下3]。实时检测行人是最重要的一个部分。目前的研究主要集中在应用的视觉传感器(4- - - - - -6)、红外(IR)成像传感器(7,8),和雷达传感器(9,10)注意行人和获得他们的安全状态信息实现积极的行人保护。每种类型的传感器都有其优点和局限性。为了提高的优点和克服的局限性,多峰性信息融合已成为行人检测的发展趋势和安全警告3]。根据来自不同传感器的互补信息,更可靠和健壮的行人检测结果可以处理多源、异构数据获得的。在过去的二十年里,减少事故易受伤害的道路使用者与融合不同种类的传感器已经集中在一些研究项目,如APVRU [11],PAROTO [12],保护器[13,14],SAVE-U [15,16在欧洲国家。一些相当大的和可用的研究已经开展的各种组织。Scheunert et al。17)检测范围不连续利用激光扫描仪和高亮度区域图像中到目前为止红外传感器(杉木)。基于卡尔曼滤波的数据融合处理的组合输出激光扫描仪和冷杉。Szarvas et al。18)创建了一个范围映射方法来识别行人通过激光雷达和摄像机融合位置和规模。神经网络用于基于图像的特征提取和对象分类。吨et al。19)结合雷达传感器、红外和视觉传感器健壮的行人检测,分类,和跟踪。贝尔托齐et al。20.融合立体视觉和红外行人检测一起获得差异数据。愿景是用于初步检测行人的存在在一个特定地区的利益。结果与一组感兴趣的区域合并运动提供的立体技术。结合激光扫描仪和照相机,Broggi等人提出了(21)申请检测行人出现仅次于阻塞障碍。
尽管已经取得一些成果,优势互补的多传感器数据融合并没有完全实现。多峰性数据fusion-based行人检测算法应进一步提高更高的检测准确率和timewise性能提高,特别是在一些复杂的城市道路环境。本文旨在提出一种实时行人识别算法基于激光扫描仪和视觉信息融合。在第一阶段,结合雷达扫描的信息,图像中的行人候选区域所在的空间意象的角度映射模型,可以有效地减少计算时间成本行人识别。在第二阶段,ROI-IHOG特征提取方法,提出了进一步提高计算效率,从而确保有效地在线行人识别的可靠性和实时性。
本文的提醒是有组织的如下:简要概述提出行人识别系统提出了第一,紧随其后的是行人候选区域估计基于激光扫描仪和视觉信息融合,然后我们专注于建立行人识别。最后,我们测试的有效性和几个城市道路场景和建议的方法得出结论。
2。系统概述
2.1。系统架构
行人识别的研究对多传感器进行车辆平台,如图1。这个实验平台是一个修改过的捷达。它配备了一个视觉传感器,激光扫描仪,两个近红外照明系统来检测行人面前的90°。
的体系结构提出了行人检测系统基于多传感器如图2。系统运行在一个英特尔酷睿I5处理器,2.27 GHZ, RAM 2.0 GB的电脑。该系统包括离线训练和在线识别。离线训练,小说行人数据集建立适应城市道路环境第一,然后是行人分类器是由支持向量机训练。在线识别,索尼SSC-ET185P相机安装在顶部的前面实验车辆用来捕捉连续的形象。潜在的行人通过雷达图像中确定候选区域数据从一个生病的LMS211-S14激光扫描仪和视角世界坐标和图像坐标之间的映射模型。对于每一个图像,所有候选区域扩展分类器训练有素的离线和判断。
2.2。传感器的选择
索尼SSC-ET185P相机选择有几个原因。相机有很高的色彩再现和鲜明的图像。它包括一个18倍光学变焦和12倍数字高质量的变焦镜头自动对焦,相机可以捕捉高质量的彩色图像。虽然系统现在正在测试在日光条件下,两个近红外照明系统安装在双方面前的激光雷达的车辆,这允许对象检测由于特定的夜间照明的扩展应用程序。
激光扫描仪是一个生病的LMS211-S14。检测功能(扫描90°角、最小角分辨率为0.5°81.91米范围内)适用于我们的目标。激光扫描仪扫描平面数据,测距原理是一个飞行时间方法,措施往返飞行时间确定通过发射光脉冲到目标的距离。需要13女士的一次扫描,能够满足实际的需要。
2.3。车辆设置
激光扫描仪和两个近红外照明系统是位于前保险杠在水平,如图3(一个)。相机放置在前面的车辆顶部,与相同的激光扫描仪的中心线,显示在图3 (b)。相机和激光扫描仪之间的水平距离是2.3米,和相机的高度是1.6米,摄像机标定的两个关键参数。
(一)
(b)
该矿2860年V-cap使用USB摄像头和电脑之间的连接。一个rs - 422工业系列和艾NPort高速卡提供一种简单的激光和PC之间的联系。图4给出了硬件集成的系统。
3所示。潜在的行人位置估计
最新的行人检测方法只是根据视觉传感器,不能满足实时应用程序。在我们的工作中,我们试图利用激光雷达传感器来检测行人的位置估计的潜在障碍位置世界坐标,然后利用摄像机标定和空间形象的角度映射模型标记图像中的行人候选区域。行人识别算法提出后只对候选区域进行而不是整个图像,可以有效地减少计算时间成本实时应用程序。
在我们的实验平台,一个生病LMS211-S14激光扫描仪是利用。扫描角为90°在主机前面车辆的最小角分辨率0.5°(在图5)。因此,我们可以得到181数据时间从雷达传感器阵列扫描一次。每个数据数组都包含两个参数:角度和障碍和主机之间的距离。可以表示为一个数据数组,在那里是数组的总数,的数据吗数组。
显然,一组激光束从相同的目标应该有类似的距离和相似的角度。在此基础上,聚类方法适用于181年的数据,以确定哪些属于同一目标,这是表示 在哪里的最小角分辨率雷达;的距离吗th数组;距离阈值。根据雷达的安装位置,行人的膝盖会扫描。考虑到行人的实际物理特性(腿分开或关闭)在空间,分别设置为10厘米、70厘米。然后,潜在的行人位置参数(一开始数据,最终数据,数据量)的每个目标记录。目标距离可以表达的所有梁的平均距离的目标:。它的方向可以表示为,在那里第一个角的价值目标,是最后一个。最后,我们把雷达数据从极坐标到直角坐标 在哪里极坐标中的数据;是笛卡尔坐标中的数据,它代表了在太空目标位置。可能的行人的位置是2 d数据在世界坐标。然后图像中对应的区域位于由分段摄像机标定和透视空间形象映射模型。这张地图是投射到图像以确定搜索区域和规模图像中行人。相机的高度是1.6米,这是一个相机的标定参数。我们可以获得空间形象映射模型如下: 在哪里,,世界坐标中的位置参数;相应的参数在图像坐标。我们将检测区域分为四个部分,逐渐确定,分别映射模型的参数由最小二乘法更准确。
为了更准确地检测行人和更快,我们应该确定候选人行人成像区域的检测尺寸在不同距离前面的车辆。我们假设行人模板宽度是2米身高1米(略大于实际行人)。行人之间的关系的成像区域的宽度和高度和行人能找到在太空的位置标定实验。潜在的步行区域的宽度和高度的图像可以表示为,在那里是垂直距离目标主机车辆。
4所示。行人识别
4.1。特征表示
2005年,中间人和组织(22)提出了面向网格的直方图的梯度(猪)描述符行人检测。实验结果表明,猪的特性集明显优于现有的人类探测特性集。然而,HOG-based算法太耗费时间,特别是对于多尺度检测对象。应进一步优化的方法,因为它不适合实时行人安全保护。
摘要快速行人检测、感兴趣的区域(ROI)的一个行人样本的平均梯度分析计算,找出所有积极的样本数据集在RSPerson下面提到。我们可以发现梯度特性行人头部和四肢的样品是最明显的。另一方面,背景区域样本图像的梯度为行人检测提供更少的影响也可能干扰的处理性能。因此,为了减少猪整幅图像的特征向量维数(3780维度),几个重要领域被认为是选定的样本图像的ROI计算猪特性。因此,猪特性的计算量大大减少,和行人识别速度提高。通过分析行人样本的平均梯度值在图所示6,四个区域被确定为ROI:头部,腿部,左臂区域,右手臂。这些区域可以互相重叠的一部分,基本上覆盖身体的轮廓。
对于彩色图像,每个颜色通道的梯度计算。最大的梯度幅值在三个颜色通道选择的每个像素的梯度向量。最佳ROI位置、宽度和高度的一个示例图像显示在表中1。
类似于中间人的方法,计算特征向量的ROI检测窗口,被定义为细胞的大小像素,并定义为一个块的大小细胞。窗口的扫描步骤8像素,一个细胞的宽度。总共49块可以提取检测窗口。为每个像素图像的梯度向量来标示。一般来说,一维中心对称的模板算子用于计算梯度向量: 因此,梯度大小可以计算 梯度方向是无符号,它被定义为 要计算梯度直方图的一个细胞,每一个像素投一票加权梯度大小,本对应的梯度方向。梯度方向都是组分成9箱。因此,每一个块都有梯度直方图和36尺寸,和ROI-HOG特征向量维度。此外,积分直方图的梯度(IHOG) [23)是用于进一步加速特征提取的过程。直方图的面向像素的梯度可以表示如下: 特征向量积分趋向如下: 特征向量积分趋向如下: 如图7,IHOG细胞可以计算 因此,IHOG一块可以计算的 IHOG方法只需要扫描整个图像这一次和存储梯度的积分数据。任何领域的猪功能可以有简单的加法和减法操作没有获得重复计算每个像素的梯度方向和大小。
4.2。训练样本选择
行人识别在城市道路环境下,我们建立一个行人样本数据集称为RSPerson(人数据集的道路系统)数据集。样本数据集,阳性样品包括行人行走,静止行人,行人和组不同大小、姿势、步态和服装。一些preexperimental研究表明,负样本的选择尤为重要,减少假警报。因此,无论,垃圾桶、电线杆、和疲倦的可能被误认为是行人,以及一些正常的对象(如道路、车辆和其他基础设施选择形成负样本。这是最有利于我们的行人检测系统。在RSPerson数据集,每个样本图像归一化像素进行训练。图8显示了RSPerson数据集的一些样品。
(一)积极的样本
(b)负样本
4.3。行人识别与支持向量机
在线识别行人之前,我们应该建立一个分类器离线训练支持向量机算法。首先,训练数据集和测试数据集是由RSPerson数据集。训练数据集包括2000行人和2000 nonpedestrian样本,测试数据集包括500个行人和500 nonpedestrian样本。训练数据集样本处理和特征提取,形成培训向量。用交叉验证基于网格搜索方法,适当的选择支持向量机参数。RBF核函数选择核函数,和惩罚因子以及内核参数。在那之后,行人分类器可以构造。最后,测试数据集样本选择测试分类器的性能。我们使用的侦破曲线包含两个指标:错过率和FPPW每窗口(假阳性)对支持向量机分类器的性能进行评估。行人识别的性能基于ROI-IHOG如图9。
在线识别,一旦潜在的行人的位置是位于激光雷达,候选人地区在图像映射模型确认相应的观点。对于每一个候选区域,规模转变进行正常化像素,然后,ROI-IHOG可以提取的特征向量。基于这些步骤,我们可以判断候选人是否真正的行人分类器训练支持向量机。
5。实验结果
用于测试该方法的有效性,几个从现实的城市交通场景视频序列进行性能测试评估我们的行人识别实验平台。首先,行人候选人位置估计基于激光雷达数据处理和空间形象透视映射模型。一些候选区域分割的结果如图所示10。这样,潜在的行人区域位于图像,但其他一些障碍(波兰人,灌木,等等)也位于为阳性。
其次,提出ROI-IHOG + SVM算法测试视频序列。在这一步中,行人识别只取决于ROI-IHOG + SVM对整个图像没有融合激光信息。召回可能达到93.8%FPPW。图像大小像素。平均检测时间是600 ms /框架。检测结果如图11。
(一)1日城市场景
(b) 2日城市场景
最后,从激光和视觉传感器融合信息,发现每个候选区域的大小比例像素并提取ROI-IHOG特性。根据我们的识别方法,候选人地区被认为是一个行人与支持向量机分类器的训练。基于多传感器融合,平均检测时间是大约18女士候选人。因此,如果有5个候选区域的每个图像视频序列平均处理速度是大约11帧/ s可满足实时要求。数识别结果(图12)表明,提出的基于多传感器融合的行人检测方法具有良好的性能,这将提供一个有效的支持活动的行人安全保护。
(一)
(b)
(c)
(d)
6。结论
基于多传感器融合的快速行人识别算法开发。潜在的行人候选人地区位于由激光扫描和角度映射模型,然后ROI-IHOG特征提取方法,提出了减少计算时间成本。此外,利用支持向量机与小说行人样本数据集适应城市道路环境的在线识别。行人识别与雷达测试,视野,和two-sensor融合。可靠和timewise表演fusion-based行人识别所示。处理速度可能达到11帧/ s可满足实时要求。在未来的工作中,我们将进一步研究行人安全的关键技术,如行人跟踪、行人行为识别,车辆行人和主机之间的冲突分析。
确认
这项工作是由国家科学基金会支持的中国(51108208号,51278220),中国博士后科学基金资助项目(没有。20110491307),基础研究基金中国中央大学(没有。201103146)。