现在,自动多目标检测自主车辆技术仍然是一个具有挑战性的问题。在过去的几十年中,深度学习已被证明成功的多目标检测,如单发射击Multibox检测器(SSD)模型。当前的趋势是让火车深卷积神经网络(cnn)和在线自主车辆的数据集。然而,当检测到小物体通常网络性能降低。此外,现有的自主车辆数据集不能满足国内交通环境的必要性。改善小物体的检测性能和确保数据的有效性,我们提出一种新的方法。具体来说,分为原始图像块作为输入到VGG-16地图融合在cnn网络添加特性。此外,构建图像金字塔项目检测结果的所有数据块大小尽可能多的原始对象。除了改进检测方法,创建一个新的数据集自主驾驶车辆,对象分类和标签的标准定义,并提出一种数据扩增方法。新的数据集上的实验结果表明,该方法的性能大大提高,特别是对于小物体检测在大图像。 Moreover, the proposed method is adaptive to complex climatic conditions and contributes a lot for autonomous vehicle perception and planning.
环境感知是一个重要的自主驾驶系统的一部分,和传感器用于检测包括超声波雷达、毫米波雷达,激光雷达(光探测和测距),和照相机。通过激光雷达的融合、毫米波雷达和摄像机,对象可以被探测到,物体空间范围和识别可以实现。特别,相机和激光雷达的融合不仅可以实现高精度定位的对象还可以实现多种类型的对象的检测。然而,由于激光的高成本,这种传感器融合不能在未来成为一个受欢迎的方法。相比之下,低成本的相机将应用于自主车辆感知系统,如目标检测和分类。gydF4y2Ba
目前,有两个目标检测算法,即传统的图像处理和深度学习分类。通过图像的分析和处理,这两种方法可以返回对象的位置和分类信息,为规划和决策提供有效的信息系统。然而,由于极其丰富的图像信息和困难的手工造型,传统的图像处理方法的准确性比深度学习的方法。因此,越来越多的基于成像深度学习algorithmscan让自主车辆的感知更加准确、快速和全面的。目前,现有的深度学习系统可以分为两类。一个是该地区的建议方法,比如R-CNN [gydF4y2Ba
在这项研究中,我们提出一个新颖的方法来检测对象为自动驾驶。本文的贡献包括4分。首先,我们把原始图像划分成块(块大小为400×400),它可以检测小物体的图像,然后我们调整每一块一个固定大小(512×512)进行训练。第二,原始图像是down-sampled 1/2倍的倍数,直到图像大小接近的块大小,确保大型对象可以完全覆盖在一个单一的图像块。第三,SSD的特征映射模型逐渐收缩,小物体的特征信息消失或变得不显眼的。因此,SSD模型中添加一个特征融合方法,以确保小物体的检测精度在大图像。第四,样品收集和自己贴上标签,我们设计了对象类别和注释的方法。gydF4y2Ba
本文将描述如下:部分gydF4y2Ba
在本节中,我们描述的细节改进的SSD模型使用特征融合和图像块分割的方法,并介绍了创建一个自主驾驶数据集的方法。gydF4y2Ba
SSD模型直接提取不同尺度不同特性cnn的地图层,如图gydF4y2Ba
我们SSD512框架。红盒子的标签如图(一)是SSD框架提出了gydF4y2Ba
如图gydF4y2Ba
比较不同SSD512模型的性能KITTI数据集上测试过。gydF4y2Ba
| 结构gydF4y2Ba | 类型gydF4y2Ba | KITTI测试(图)gydF4y2Ba | KITTI测试(fps)gydF4y2Ba |
|---|---|---|---|
| SSD512gydF4y2Ba | 没有地图功能融合gydF4y2Ba | 75.6gydF4y2Ba | 42gydF4y2Ba |
|
|
|||
| DSSD512gydF4y2Ba | 合并功能地图包括提取不同尺度gydF4y2Ba | 76.8gydF4y2Ba | 31日gydF4y2Ba |
|
|
|||
| 我们SSD512gydF4y2Ba | 合并功能映射之前提取不同尺度gydF4y2Ba | 77.4gydF4y2Ba | 35gydF4y2Ba |
深度学习的数据集的重要性是毋庸置疑的。一个丰富的数据集对目标检测是至关重要的。目前,计算机视觉领域的数据集包括ImageNet [gydF4y2Ba
比较不同的数据集。gydF4y2Ba
| 数据集gydF4y2Ba | 类别gydF4y2Ba | 函数gydF4y2Ba | 时间gydF4y2Ba |
|---|---|---|---|
| KITTIgydF4y2Ba | 汽车、货车、卡车、行人、骑自行车的有轨电车gydF4y2Ba | 评价的计算机视觉算法在自动驾驶的场景gydF4y2Ba | 2012年gydF4y2Ba |
|
|
|||
| 城市风光gydF4y2Ba | 平,自然,车辆,天空,对象,人类、建筑gydF4y2Ba | 城市场景语义的理解gydF4y2Ba | 2016年gydF4y2Ba |
自从KITTI或城市数据集自动驾驶计算机视觉的满足需求,角度和类别的样本和国内需求不匹配得很好。因此,有必要建立一个新的数据集,不仅满足角度要求,也符合当前国内交通环境。gydF4y2Ba
图像是如何增强方法的例子“看到”对象。(一)转变形象根据坐标系统。(b)在不同角度旋转图像。gydF4y2Ba
从所有的随机选择一个映像pre-trained图像。gydF4y2Ba
对于每一个形象,一个小块随机取样,小块的比例设置gydF4y2Ba
如果中央点采样块的边界框,重叠部分保留。gydF4y2Ba
本文使用一个固定的大小为512×512。调整每个样本固定大小,然后转移或旋转固定块在一个随机的概率为0.5的水平上。gydF4y2Ba
样品的多样性是至关重要的,确保检测的准确性(gydF4y2Ba
从不同的角度SSMCAR数据集的样本统计量。gydF4y2Ba
| 积极的角度gydF4y2Ba | 扭转角gydF4y2Ba | 侧角gydF4y2Ba | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 雾gydF4y2Ba | 雨gydF4y2Ba | 阳光明媚的gydF4y2Ba | 多云的gydF4y2Ba | 雾gydF4y2Ba | 雨gydF4y2Ba | 阳光明媚的gydF4y2Ba | 多云的gydF4y2Ba | 雾gydF4y2Ba | 雨gydF4y2Ba | 阳光明媚的gydF4y2Ba | 多云的gydF4y2Ba | |
| 人gydF4y2Ba | 187年gydF4y2Ba | 94年gydF4y2Ba | 385年gydF4y2Ba | 201年gydF4y2Ba | 109年gydF4y2Ba | 81年gydF4y2Ba | 175年gydF4y2Ba | 184年gydF4y2Ba | 176年gydF4y2Ba | 79年gydF4y2Ba | 293年gydF4y2Ba | 183年gydF4y2Ba |
| 骑自行车的人gydF4y2Ba | 133年gydF4y2Ba | 35gydF4y2Ba | 257年gydF4y2Ba | 123年gydF4y2Ba | 36gydF4y2Ba | 47gydF4y2Ba | 214年gydF4y2Ba | 169年gydF4y2Ba | 73年gydF4y2Ba | 41gydF4y2Ba | 121年gydF4y2Ba | 144年gydF4y2Ba |
| 摩托车gydF4y2Ba | 89年gydF4y2Ba | 47gydF4y2Ba | 101年gydF4y2Ba | 82年gydF4y2Ba | 59gydF4y2Ba | 42gydF4y2Ba | 97年gydF4y2Ba | 59gydF4y2Ba | 33gydF4y2Ba | 29日gydF4y2Ba | 61年gydF4y2Ba | 64年gydF4y2Ba |
| 车gydF4y2Ba | 198年gydF4y2Ba | 241年gydF4y2Ba | 278年gydF4y2Ba | 261年gydF4y2Ba | 142年gydF4y2Ba | 169年gydF4y2Ba | 205年gydF4y2Ba | 193年gydF4y2Ba | 192年gydF4y2Ba | 105年gydF4y2Ba | 217年gydF4y2Ba | 254年gydF4y2Ba |
| 总线(小巴)gydF4y2Ba | 106年gydF4y2Ba | 166年gydF4y2Ba | 183年gydF4y2Ba | 201年gydF4y2Ba | 137年gydF4y2Ba | 121年gydF4y2Ba | 156年gydF4y2Ba | 75年gydF4y2Ba | 143年gydF4y2Ba | 152年gydF4y2Ba | 224年gydF4y2Ba | 104年gydF4y2Ba |
| 公共汽车gydF4y2Ba | 99年gydF4y2Ba | 102年gydF4y2Ba | 129年gydF4y2Ba | 79年gydF4y2Ba | 101年gydF4y2Ba | 66年gydF4y2Ba | 98年gydF4y2Ba | 106年gydF4y2Ba | 136年gydF4y2Ba | 97年gydF4y2Ba | 165年gydF4y2Ba | 144年gydF4y2Ba |
| 卡车gydF4y2Ba | 129年gydF4y2Ba | 89年gydF4y2Ba | 153年gydF4y2Ba | 128年gydF4y2Ba | 96年gydF4y2Ba | 108年gydF4y2Ba | 124年gydF4y2Ba | 152年gydF4y2Ba | 185年gydF4y2Ba | 123年gydF4y2Ba | 148年gydF4y2Ba | 267年gydF4y2Ba |
根据定义的标签原理,具体标签过程包括三个步骤。第一步是确定标记文件的存储位置和新创建的数据集的存储位置,并得出样本中的每个对象的边界框。第二步是将标签类别分配给每个对象的边界框。第三步是确定样品中的对象是否堵塞或截断,如果存在,描述对象的字段需要添加标签。gydF4y2Ba
在这个工作中,共有11550个图像标签,其中包括10394 1156训练集和测试集。此外,新的数据集SSMCAR命名。图gydF4y2Ba
快照的七大类对象及其符号由自己。其中,图中的总线范畴代表公共汽车和小型公共汽车。此外,该数据集将用于进一步的实验。gydF4y2Ba
从当前gpu的有限的可用内存,这不是可行的深卷积网络接受大图像作为输入,尤其是对图像大小大于2000×2000gydF4y2Ba
在我们SSD512框架,为了不改变图像本身的质量在最大的程度上,我们提出一个策略将原始图像划分为块大小不同。自从SSD模式需要调整提前一个固定大小的图片,如调整图像大小为300×300或512×512。同时,卷积神经网络的特征表明,原始图像的最小的调整有一个小的影响最终的检测结果。因此,我们使用枚举方法将原始图像划分为块的大小为300×300或512×512,然后选择最好的方框图。图像块完成后,每一块将被调整到300×300或512×512输入到我们的SSD模型。这种方法有两个优点。一方面,它减少了损失小物体的过程中网络学习,另一方面,它减少了SSD图像质量退化的方法问题。诚然,图像的大小越大,该方法的检测结果越好。在本文中,我们研究的主要目的是多目标检测自动驾驶。因此,我们使用我们自己的数据集作为一个例子来说明物体的具体策略。gydF4y2Ba
在本文中,样本的大小是1920×1200。我们假设输入的固定大小的网络是512×512,和使用枚举方法选择不同大小接近512×512段原始图像。计算公式如下所示:gydF4y2Ba
不同的阻断策略为1920×1200的图片。代表相同大小的块,同样的颜色,不同的颜色代表不同的块大小。300×300块策略收益两种不同大小的300×300、120×300块,包括24块300×300和4块120×300,(a)中描述。同样,400×400块策略收益两种不同大小的400×400、320×400块,包括12块400×400和3块320×400 (b)中描述。此外,块的策略500×500、600×600的相同数据(a)和(b)所示(c)和(d)。gydF4y2Ba
因为我们使用的网络模型图gydF4y2Ba
我们的SSD模型有一个很大的训练参数。如果我们从头训练所有网络的特点,不仅费时而且容易过度拟合数据和梯度non-convergence [gydF4y2Ba
在培训过程中,我们的SSD模型需要每个块中的所有锚在一个图形窗口来确定是否存在一个对象的窗口。如果有一个对象,它预测对象的类别和位置信息,否则,它定义了锚为背景。如图gydF4y2Ba
我们的SSD模型的训练方法。左:一个400×400块,大小为512×512。中间:将图像分为大小不同的锚。正确的:我们的SSD模型火车这些锚预测对象的类别和位置。gydF4y2Ba
损失函数应用于评估网络性能的固态硬盘模式gydF4y2Ba
作为我们的SSD模型被设计成敏感小对象,一些大型对象分为不同的模块,这可能会导致损失的原始分辨率大对象的特性。创建一个图像金字塔来解决这个问题。具体地说,一个图像金字塔规则提出了构建图像金字塔,在低分辨率图像的大小比高分辨率图像大小的0.5倍。此外,由于我们的网络模型是512×512,见图gydF4y2Ba
说明提出的图像金字塔结构。作为输入的原始图像分为块SSD模型生产对象检测结果。此外,建立一个图像金字塔。每一层的图像可以预测对象的检测结果。因此,采用非最大抑制生成最终的检测结果。gydF4y2Ba
我们注意到SSD模型预测结果对每一层的图像。如图gydF4y2Ba
有三个参数为评价目标检测性能,包括精度、损失,和检出率(gydF4y2Ba
在本文中,我们使用SSD模型和SSD模型训练数据集和测试VOC, KITTI数据集,数据集(SSMCAR)。在这个过程中,单一英伟达1080 ti GPU应用服务器,初始学习速率设置为0.01,迭代次数设置为100000和120000倍。gydF4y2Ba
如左边的图所示gydF4y2Ba
说明的准确性曲线在训练和测试阶段。横坐标表示的值精度(%),纵坐标表示迭代次数(次)。左:SSD的精度曲线模型VOC2007数据集,KITTI数据集,SSMCAR数据集。右:SSD的精度曲线模型VOC2007数据集,KITTI数据集,SSMCAR数据集。gydF4y2Ba
如右边所示图gydF4y2Ba
每次完成培训过程后,一个合适的学习速率可以保证损失减少到一段时间后(一个较小的值gydF4y2Ba
如图gydF4y2Ba
说明总损失曲线的变化与训练时间在训练阶段。横坐标表示全损的值,纵坐标表示时间的价值。左:SSD的总损失曲线模型VOC2007, KITTI, SSMCAR数据集。右:SSD的总损失曲线模型VOC2007, KITTI, SSMCAR数据集。gydF4y2Ba
随机获取自主驾驶视频不同的交通场景测试对象检测的结果。如图gydF4y2Ba
比较的对象检测对不同模型的影响。gydF4y2Ba
| 检测模型gydF4y2Ba | 数据集gydF4y2Ba | 数量的类别gydF4y2Ba | 总数gydF4y2Ba | 的数量gydF4y2Ba | 数量的测试集gydF4y2Ba | 每个类别的检测精度gydF4y2Ba | 总精度gydF4y2Ba | 检出率gydF4y2Ba | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 的训练样本gydF4y2Ba | 验证样品gydF4y2Ba | 人gydF4y2Ba | 骑自行车的人gydF4y2Ba | 确定gydF4y2Ba | 车gydF4y2Ba | 小型公共汽车gydF4y2Ba | 公共汽车gydF4y2Ba | 卡车gydF4y2Ba | ||||||
| 固态硬盘gydF4y2Ba | 挥发性有机化合物- 2007gydF4y2Ba | 20.gydF4y2Ba | 9963年gydF4y2Ba | 5011年gydF4y2Ba | 4952年gydF4y2Ba | 0.5145gydF4y2Ba | 0.5379gydF4y2Ba | 0.5701gydF4y2Ba | 0.5883gydF4y2Ba | 0.5534gydF4y2Ba | 0.5499gydF4y2Ba | 0.5407gydF4y2Ba | 0.5507gydF4y2Ba | 28 fpsgydF4y2Ba |
| KITTIgydF4y2Ba | 5gydF4y2Ba | 7982年gydF4y2Ba | 7183年gydF4y2Ba | 799年gydF4y2Ba | 0.6145gydF4y2Ba | 0.6379gydF4y2Ba | 0.6701gydF4y2Ba | 0.6883gydF4y2Ba | 0.6534gydF4y2Ba | 0.6499gydF4y2Ba | 0.6407gydF4y2Ba | 0.6507gydF4y2Ba | 24帧/秒gydF4y2Ba | |
| SSM-CARgydF4y2Ba | 7gydF4y2Ba | 11550年gydF4y2Ba | 10394年gydF4y2Ba | 1156年gydF4y2Ba | 0.7903gydF4y2Ba | 0.8057gydF4y2Ba | 0.8109gydF4y2Ba | 0.8044gydF4y2Ba | 0.8170gydF4y2Ba | 0.7968gydF4y2Ba | 0.8102gydF4y2Ba | 0.8050gydF4y2Ba | 27帧gydF4y2Ba | |
|
|
||||||||||||||
| 我们的固态硬盘gydF4y2Ba | 挥发性有机化合物- 2007gydF4y2Ba | 20.gydF4y2Ba | 9963年gydF4y2Ba | 5011年gydF4y2Ba | 4952年gydF4y2Ba | 0.7741gydF4y2Ba | 0.7856gydF4y2Ba | 0.7812gydF4y2Ba | 0.7821gydF4y2Ba | 0.7830gydF4y2Ba | 0.7904gydF4y2Ba | 0.7923gydF4y2Ba | 0.7841gydF4y2Ba | 31日fpsgydF4y2Ba |
| KITTIgydF4y2Ba | 5gydF4y2Ba | 7982年gydF4y2Ba | 7183年gydF4y2Ba | 799年gydF4y2Ba | 0.8145gydF4y2Ba | 0.8279gydF4y2Ba | 0.8001gydF4y2Ba | 0.8083gydF4y2Ba | 0.8234gydF4y2Ba | 0.8499gydF4y2Ba | 0.8407gydF4y2Ba | 0.8107gydF4y2Ba | 29 fpsgydF4y2Ba | |
| SSM-CARgydF4y2Ba | 7gydF4y2Ba | 11550年gydF4y2Ba | 10394年gydF4y2Ba | 1156年gydF4y2Ba | 0.9805gydF4y2Ba | 0.8972gydF4y2Ba | 0.9196gydF4y2Ba | 0.9585gydF4y2Ba | 0.9043gydF4y2Ba | 0.8807gydF4y2Ba | 0.8984gydF4y2Ba | 0.9085gydF4y2Ba | 33 fpsgydF4y2Ba | |
自动驾驶的检测的结果对象。左:SSD + KITTI的检测结果。中间:SSD的检测结果+ SSMCAR。右:这是我们SSD + SSMCAR的检测结果。(一)市区道路的检测结果。(b)是十字路口的检测结果。(c)是高速公路的检测结果。gydF4y2Ba
在这项研究中,我们提出一个物体检测算法基于固态硬盘的自动驾驶模式。通过卷积的特性融合层,有效保证传输对象的特性。在培训的过程中,增加了图像块方法的策略来提高检测性能的小对象。此外,我们提出一个图像金字塔大对象,有效地解决了大型对象的问题特征图像分割所造成的损失。然而,在这篇文章中,我们定义标签标准及对象类别来创建一个新的数据集自主车辆的技术。我们的实验结果表明,该自动驾驶的检测算法具有良好的检测性能。gydF4y2Ba
在未来的工作中,我们将根据结果跟踪对象已被检测到,然后分析物体的运动趋势,为决策提供有效的支持和自主车辆的路径规划gydF4y2Ba
本文数据可用性是真实和可靠的。gydF4y2Ba
没有利益冲突有关的出版。gydF4y2Ba
这项工作是由中国国家自然科学基金资助(批准号61572083),陕西省科技计划的项目(批准号2014 jm8351),在青海省科技项目(没有。2017 - zj - 717)。gydF4y2Ba