文摘

最近,无人驾驶汽车成为汽车行业的一个巨大的挑战。国防部高级研究计划局的挑战之后,介绍了设计的自动驾驶系统,可分为SAR 3级或更高的水平,推动多集中在自动驾驶汽车。后来,使用这些设计模型介绍,很多公司开始设计自动驾驶汽车。各种传感器,如雷达、高分辨率相机和激光雷达在自动驾驶汽车,可以感知周围的环境很重要。激光雷达作为无人驾驶车辆的注意,通过提供64扫描频道,26.9°垂直视场,实时高精度360°水平字段视图。激光雷达传感器可以提供360°环境深度信息的探测距离达120米。此外,左、右摄像机可以进一步协助获取图像信息。这样,无人驾驶汽车的周边环境模型可以准确地获得,这是方便自动驾驶算法执行路线规划。为自动驾驶是非常重要的,以避免碰撞。激光雷达提供了水平和垂直领域的观点和有助于避免碰撞。 In an online website, the dataset provides different kinds of data like point cloud data and color images which helps this data to use for object recognition. In this paper, we used two types of publicly available datasets, namely, KITTI and PASCAL VOC. Firstly, the KITTI dataset provides in-depth data knowledge for the LiDAR segmentation (LS) of objects obtained through LiDAR point clouds. The performance of object segmentation through LiDAR cloud points is used to find the region of interest (ROI) on images. And later on, we trained the network with the PASCAL VOC dataset used for object detection by the YOLOv4 neural network. To evaluate, we used the region of interest image as input to YOLOv4. By using all these technologies, we can segment and detect objects. Our algorithm ultimately constructs a LiDAR point cloud at the same time; it also detects the image in real-time.

1。介绍

未来走向商业化的无人驾驶汽车技术在这一领域正在迅速推进,研究人员主要集中在无人驾驶汽车传感器的研究。在传感器、光学雷达激光雷达和摄像头是大多数研究项目。光学雷达激光雷达可以生产360°实时深度信息及其传感距离100米,这是一个至关重要的传感器的自动驾驶汽车,和高分辨率摄像机实时彩色图像。因此,本文的目的是使用激光雷达点云与深度学习检测对象地图信息。

现在,人工智能(AI)正在迅速发展。利用人工智能技术,自动驾驶已收到巨大的人气和关注。在无人驾驶技术,人工智能起着至关重要的作用;AI充当大脑对汽车自动驾驶技术通过执行自动检测人、车辆和其他物品,帮助护理在车道和转换后的通道和GPS汽车导航到达最终的目的地。在过去的发展首先,自动汽车出现在1980年,NAVLAB和ALV项目1984年卡内基梅隆大学(1]。第一次自主车辆的开发后,许多研究机构和企业开始投入大量资源相关研究。这些公司和研究机构包括梅赛德斯-奔驰(mercedes - benz)、通用汽车(General Motors)、大陆汽车系统,美国市场,日产汽车(Nissan)、丰田、奥迪、日产、沃尔沃、牛津大学,谷歌,Uber,特斯拉。

1920年在自动驾驶汽车发明家开始实验。在早期,无线电控制的电动汽车被证明产生的电磁场。从1950年开始,小径开始自动驾驶汽车的发展找到一个可行的方法。最后,无人驾驶技术的汽车出现在1980年代。设计的一个是梅赛德斯-奔驰(mercedes - benz)机器人van恩斯特Dickmanns速度可以达到39英里每小时(63公里/小时)的街道上没有交通;这辆车是一个标志性的成就在无人驾驶技术2]。1986年,建造的第一个原型使用NAVLAB1 [1]是雪佛兰面板范;计算机硬件有5架,包括3 Sun工作站、视频硬件、GPS接收器,一个扭曲的超级计算机。这车最高时速仅为32 km / h。2007年11月,美国国防部高级研究计划局资助第三大挑战竞赛;2007年,竞争,雪佛莱自主汽车取得了第一个价格领域的城市环境。后来,谷歌的无人驾驶技术生产开始于2009年在X公司的地下实验室由创始人谢尔盖•布林(Sergey Brin)。此原型车使用各种激光、雷达、高性能的相机,和声纳;在公共道路实验,自2010年以来,谷歌的自主车辆服务使用。激光雷达是一种主要的传感器用于无人驾驶汽车。激光雷达代表光探测和测距,它使用光束来创建一个3 d空间映射的车辆和使用这些信息为基础制定路线规划算法。 In the rapid development of autonomous vehicles, Nevada’s Motor Vehicle Department (DMV) approved in May 2012 a Google Toyota Prius, equipped with Google’s advanced driverless technology that is the first passed license issued in the US. This successfully travelled and covered up to 22 km (14 miles) on the road test.

从上面,无人驾驶汽车很发达,所以激光雷达能够准确地模拟周围的环境和逃避与障碍物的碰撞。识别车辆,激光雷达是一种非常合适的资源,但它也有一些困难。如今,AI越来越趋势;这种技术有助于克服这些困难通过使用深度学习算法。

光探测和测距(激光雷达)是一个遥感方法;激光雷达应用于自主车辆大多是基于飞行时间(TOF)。发出的光脉冲打击对象,反映了激光雷达系统;它计算传感器和对象之间的距离。测量结果转化为三维点云。通过点云数据,它可以映射扫描部分;它提供了高分辨率和提供准确的深度信息和3 d数据没有光线和恶劣的天气条件。有许多不同类型的激光被称为空中,陆地,和移动激光雷达。

在机载激光扫描系统,可以安装在飞行器与专业的GPS接收器,如飞机和直升机红外激光传输到地面并返回给移动的机载激光雷达传感器。

水深和绿色光扫描激光雷达利用近红外光深地形。主要用于水下地形测量。一般使用激光雷达波长905 nm的近红外光波段,这带适用于测量介质是空气。如果介质是水,它将无法正常渗透,所以绿光的波长532 nm用于水下测量。

地面激光雷达主要是用来扫描地面建筑和文化传统扫描。有时,它还可以用于扫描森林的树冠结构。地面激光雷达主要是固定在某种程度上和使用的相机。它是生成的点云图像与数字图像匹配,生成三维模型。与其他方法相比,该方法可以生成所需的模型在更短的时间,因此广泛应用于工业。

车辆激光雷达意味着移动激光雷达和激光雷达的车辆进行车辆,无人驾驶汽车的一个最有用的应用程序。它可以快速扫描的360度水平扫描,扫描和垂直领域达到40度。激光雷达可以存档实时分析无人驾驶汽车的加速性能,以避免事故的发生。大多数的公司,如谷歌的无人驾驶汽车,乳房,和百度使用调速发电机激光雷达。在本文中,我们使用对象分割算法点云信息方法的一部分。

激光雷达点云图像切割算法大致分为两种方法。一个是使用标记点云图像数据进行训练。主要用于查找点的道路或车辆在云图像,这类算法利用点云图像特性来找到一个特定的每一个对象。另一种方法,它使用其他比神经网络分割算法。这个算法可以分为两大类。第一类是地面extraction-oriented切割算法。第二种类型是使用two-dimensional-grid对象分割算法。如前所述在文献[1- - - - - -5),第一次是面向地面提取点云图像切割算法。基于地面提取分割,首先,这个方法是用来把地面点nonground点然后把nonground点。地面是过滤之后,它使得对象分割变得更加容易。更常见的是随机抽样算法(RASNSA),共识和方法在文献[3)是提高RASNSAC,增量样本的共识(INSAC)和高斯增量样本的共识(GP-INSAC)。这三种算法分为内围层和离群值。在这里,地面点是必要的数据和nonground点多余的数据。这个讨论有助于对点云数据进行分类。点云映射分为几个角度。后来当地的地平面被过滤并结合二维用于分割模块争用。其算法oversegmentation和低速度和精度高,但也不适合实时应用程序。

目标检测是一个重要和困难在计算机视觉领域。目标检测是检测所有的目标对象和类。近年来,基于深度学习的对象检测方法主要包括提出卷积神经网络(RCNN),快提出卷积神经网络(Faster-RCNN)和YOLO(你只看一次)的意思。传统的卷积网络只能检测一个对象在一个图像。为了解决这个问题,提出卷积神经网络(RCNN)方法研究人员提出RCNN [6];它可以检测多个对象在一个图像的基础上,用传统的检测过程。它用选择性搜索算法得到大约2000候选人感兴趣的区域的图像从输入图像和提取特征,并送到卷积层提取特征为每个地区和分类,使用支持向量机(超级向量机)、文学(7,8]。虽然它有更好的结果,需要大量的时间计算由于2000年提议的地区。后来,研究人员提出了一个Faster-RCNN算法来提高网络的速度。消除提取过程,大大加快了计算,和替换的RPN的候选区域网络。过程改变了提取特征,提取区域,并最终分类。基于RCNN, Faster-RCNN具有更好的精度,但相当一个更为复杂和费时的过程。

在早期的研究中,研究人员提出了统一的管道基于框架的方法四个版本的YOLO神经网络(意思9,10对象检测],通常现在的趋势。目前,YOLO是非常受欢迎的意思;它给出了一个实时高精度和也能够运行在实时检测。YOLO意味着你只看一次意思在一个图像,它只需要一个向前传播通过神经网络预测;它将不包括代地区的建议。YOLO有不同意思的任务分类和边界框在同一时间。每个网格必须预测边界框B和C分类图像到自信的分数 大小网格结构。

在本文中,我们使用统一的管道基于框架方法;研究人员提出了不同的版本在YOLO,意思YOLOv2;YOLOv2引入锚箱(11,12),并使用批处理规范化;分类执行在一个单一的框架和没有完全连接层。该模型解决了较小的检测对象,它的高分辨率 来 改进的决议。现在,缺点是提高识别速度和正确检测。前面的模型YOLOv3逐步已得到改进。在每个网格YOLOv3边界盒生产。它使用逻辑回归来预测,在之前的版本中,类预测使用softmax改变物流分类器,因此它给多个标记预测。这个网络使用功能金字塔网络(红外系统)13];它能改善对象识别率。在YOLOv4 [14),额外的骨干网络体系结构的改善CSPDarknet-53 [15],改善与米什激活函数代替Relu骨干达到良好训练的性能。在YOLOv4,而不是使用一个特性金字塔网络(红外系统),是改变一个空间金字塔池层(SPP) [16路径聚合网络(PAN)[]和修改17]。他们介绍了多个参数结构如袋赠品用于骨干和一袋用于探测器部分特价。结果最快将培训和高精度输出比其他先前的模型;本文主要使用YOLOv4神经网络;检测部分将讨论方法。此外,赵(18Kumar)和(19]目前结合3 d激光雷达和摄像头的数据。Kocamaz等人提出了一种地图道路检测监督计划(20.,21]。

2。方法

拟议的架构方案,如图1。在这方面,我们使用KITTI数据集;在这个过程中,它将激光雷达点云图像进行预处理。该系统将生成一个45°前视图的点云图像。下一步是激光雷达分割;点云图像通过使用分层的分割,分割层次合并,和地面提取。它给在这些点云分割对象映射。使用分割对象的面积匹配3 d 2 d公式找到特定的彩色图像目标区域,我们发现感兴趣的区域图像的特定区域,YOLOv4网络的输入。它通过神经网络分类和检测对象。最后,我们将检测对象的框架。

摘要激光雷达分割算法改进;如图2主要分为三个部分,分割步骤,分层分段、分层合并,和地面提取。地面提取是删除背景清楚地认识到汽车和行人对象。的主要目的是减少不必要的数据点云的背景。它有助于实现良好的识别率和速度检测的神经网络。

激光切割算法分为三个步骤。第一步是分层分割;这段每一层的点云图像,允许以下算法合并的对象点云图像。本节重点是水平的特征点云图像因为调速发电机水平削减64 e使用光信息;64 -层点分别分为初步部分。不同的颜色代表不同程度的计算点云图像如图3。

它显示在上面的算法中,方程(1)和(2),两个阈值的影响。讨论这两个阈值的作用,如方程(1),如果有不足之间的距离和老点 ,然后属于一组 。之间的距离和超过了阈值的对应于与方程(2)来决定的。

公式(2)使用和阈值来确定一组是正确的。当设置为大于,不到 ,如果数量不满足和阈值,去除不考虑。

分层分割后,点云图像生成许多分段集群。根据垂直集群将合并后的初始和最终的特征点的每个集群层次合并步骤。不同的颜色代表不同的等级分类。第一层是黄色,第二层是蓝灰色的颜色,第三层是蓝色,最后层代表绿色。合并两个阈值的影响。第一阈值是有限的距离点对点分别在两层之间。起点和终点之间的距离是如图3第一层(黄色)和第二层(蓝灰色)。另一个层面距离单点和另一个点代表了蓝色和绿色的水平。

如上所示的公式方程(3)表明,当起始点之间的距离_l和S_l的集群中,如果S_{L + 1}小于阈值T_年代。和终点之间的距离E_l和E_{L + 1}两个水平也低于阈值T_E,那么两个簇对应于同一个对象。如果不适合,那么这两个水平集群属于不同的对象。

方程(4)描述的功能阈值。集群的起点在哪里 , ,和集群的起点当1和终点之间的距离小于阈值或终点之间的距离比阈值 ,或终点之间的距离集群的和起点和终点集群的小于阈值 ,两级集群属于同一个对象。

地面激光雷达分割提取的最后一步。这一步利用阈值过滤聚类,允许对象被测量的点云图像。上限阈值和较低的阈值两种类型的阈值和公式(5)和(6),如下面所示。

如果最低的点对象的集群大于最高上限阈值 ,集群点被认为是一个对象。如果该对象最高点时集群值小于最低阈值 ,集群被认为是地面。否则,输入公式来决定。地面阈值集群使用公式(6)加上阈值 。地面以下点阈值是地面点,其他点大于或等于被视为对象点。决定为每个点,对象可以从地面完全独立。

点云图像聚类完成后,通过使用这个结果,我们可以找到彩色图像的目标区域。从点云图像三维信息和彩色图像的二维信息,分割对象的面积被用来匹配3 d 2 d公式寻找特定目标区域的彩色图像。所示的算法公式方程(7)是用于匹配点云图像和彩色图像和输出二维坐标, , ,和输入三维坐标,中间是相机参数KITTI提供的数据集。和镜头焦距,和相机的初始坐标,和旋转矩阵。并通过替换对象集群为公式(7),我们可以使用 M数组来找到相应的彩色图像区域,结果有人知道由罗神经网络将被发送到下一阶段的目标检测。如图4原始图像分为二维ROI提取两个矩形框的感兴趣区域图像。

与其他方案相比,YOLOv4最快的先进和准确的探测器(14]。相比其他传统建筑,YOLOv4与最高识别率高的参数。这种架构本文用于目标识别使用几个组件。首先,输入图像的2 d-roi形象;它发送给YOLOv4如图5。

我们使用CSPDarknet-53作为特征提取器;该器有助于提高网络的学习速率在支柱使用米什激活。利用这个特性提取器,它可以提高网络的学习速率与米什激活函数。YOLOv4还SPP(空间金字塔池层)和锅(路径聚合网络)模型作为一个脖子,它接受输入和提取特征图使用网络。颈部由骨干和头部,对象探测器组成的骨干提取的功能并为检测对象的一个头。确定在不同层次的对象,生成层次结构在不同空间分辨率使用头探测功能的地图。介绍了最近的特征映射的基本意义数据送入头从底部上游和下游。因此,头部的输入应包括丰富的空间信息从上游和下游从顶部底部;这个流程组件称为脖子。它利用SPP层和有一个稍微不同的方法对于识别对象到不同的尺度。 It adjusts the last layer of pooling after the last layer of convolution with a pooling spatial pyramid layer. PAN introduced a shortcut path which only decides to take just around 10 layers to the top of the层。这样的快捷方式为最高层次提供精密本地信息的概念。这个模型是基于YOLOv3称为头。

本文提出YOLOv4网络,输入图像与高分辨率 大小,它甚至允许各种对象的检测通过小的对象。110卷积网络层,21路层,3层的最大池、23层的快捷键,3层YOLO。意思总共有162层网络使用一种改进的输入网络能力的高质量的输出能够做正确的检测由大层。它有多个参数,生成更好的培训和准确性,米什激活函数;上面这个函数在无限之间的工作;它可以把积极的价值非常高。它有助于避免饱和和稍微需要为负值时,以便更好的梯度,减少过度拟合。

摘要激光切割算法用于预处理和下一步将3 d 2 d公式发现的ROI彩色图像的输入和发送R-YOLOv4对象检测网络结构;通过该算法,它有很大的改善速度速度和精度高。YOLO检测意思检出率比较少的提议LS-R-YOLOv4如图6。

3所示。实验和分析结果

在本文中,我们使用两个数据集,KITTI(卡尔斯鲁厄理工学院)和帕斯卡VOC(模式分析、统计建模和计算学习视觉对象类)用于图像分类和目标检测。KITTI数据集已经被用于测试对象识别,利用神经网络来识别对象的类别。数据集提供了两种类型:45°激光雷达点云和彩色图像在现实场景和帕斯卡VOC数据集包含20类,9963年(2007年)和23080年(2012年)图像,分别为(22]。对象的数量是24640和54900。因此,图像的总金额是33043年和78540年对象用于训练神经网络。

3.1。实验平台

本文的实验是在Ubuntu和windows系统上执行;LS-R-YOLOv4算法是DarkNet框架下运行。处理器是英特尔®™核心i7 - 9700处理器,和环境的GPU(电子邮件保护)图形卡是用于加速训练。

3.2。分析实验结果

如图745°,原始点云数据和彩色图像作为算法的输入。初的算法,分割点云数据如图7 (c),这段不同的颜色和不同的物体。对象分割后,获得相应的二维彩色图像在两个边界框和感兴趣的地区获得的彩色图像显示在图7 (d),ROI发送给一个输入R-YOLOv4识别对象的边界框。

这种方法的优点在这一节中,将讨论首先,激光切割算法有助于提取背景信息和部分的对象在不同的颜色,这有助于匹配三维二维信息以找到感兴趣的区域二维两个边界框作为输入发送到R-YOLOv4对象检测。ROI旨在减轻不必要的检测数据处理,而专注于感兴趣的区域图像检测,和,LS-R-YOLOv4有很好的性能检测对象即使在小型对象。

3.3。实验评价数据

评估的可靠性识别率、分析实验数据和实验结果进行比较。错过了识别和假身份问题可能出现在交通流量控制系统。精度、召回和F1-score在这个实验中作为评价参数。完整性考虑正确的比例观察车辆对地面真理。正确性分析正确检测到车辆的比例对所有检测到的实例。性能和F1-measures反映总体结果见表1。

在这些公式23),真阳性(TP)表示的数量正确检测到车辆,真阴性(TN)表示的数量正确检测到背景,假阳性(FP)表示的数量不正确的检测,和假阴性(FN)表示错过了检测的数量,分别。

4所示。讨论

LS-R-YOLOv4提出本文的主要优势是它的计算效率,因为算法结合彩色图像和点云数据分割和使用彩色图像识别加速对象检测。下面有人知道由罗和R-YOLO对象检测结果的比较,可以看出一些背景像素被R-YOLO预处理期间,分成小块,用于检测,所以像素输入神经网络将不会被背景像素,因此更容易识别较小的对象和提高质量鉴定。

我们比较不同版本的YOLO YOLOv2等意思YOLOv3, YOLOv4有不同的对象检测能力与该方法LS-R-YOLOv4评估对象在小尺寸检测对象的性能。检测到图像的一个例子与不同LS-R-YOLOv4 YOLO版本意思并提出模型如下图所示。

算法的性能,使用YOLOv2边界盒检测到,或不正确的或少的两个物体边界框,和更少的检出率检测较小的大小和对象远用更少的视觉能力。YOLOv3只能检测更小的对象,许多对象是缺失的检测。YOLOv4的性能是好的,但是,某些对象是缺失的检测。我们可以观察到,尽管对象,小对象,和不成形的对象能被探测到的而不被丢失,我们的方法显示检测结果图8。

5。结论

激光雷达作为无人驾驶车辆的注意,通过提供实时高精度360°水平字段视图。本文的结果代表LS-R-YOLOv4及其算法基于激光雷达传感器的好处。此外,左和右摄像头协助获取图像信息在同一时间。模型的分布特性可以极大地提高算法效率,减少oversegmentation,达到实时检测的目的。相对于LS-R-YOLOv4识别率,我们用来检测行人和汽车,结果明显优于YOLO算法。意思在计算物体识别的识别率,以97.7%的精度算法提供了一个重要的好处,召回率92.3%,F-1-measure 95.2%。总的来说,LS-R-YOLOv4在计算速度和识别率有性能优良,非常适合于无人驾驶和其他相关的应用程序。我们的建议减少oversegmentation。因此,无人驾驶汽车的周边环境模型可以准确地获得。方便,自动驾驶算法执行路线规划。

数据可用性

在本文中,我们使用两个数据集,KITTI(卡尔斯鲁厄理工学院)和帕斯卡VOC(模式分析、统计建模和计算学习视觉对象类)用于图像分类和目标检测。KITTI数据集已经被用于测试对象识别,利用神经网络来识别对象的类别。数据集提供了两种类型:45°激光雷达点云和彩色图像在现实场景和帕斯卡VOC数据集包含20类,9963年(2007年)和23080年(2012年)图像,分别。对象的数量是24640和54900。因此,图像的总金额是33043年和78540年对象用于训练神经网络。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作得到了科技部授予最下的台湾109 - 2221 - e - 027 - 082。作者欣然承认台湾半导体研究所(TSRI)提供的技术模型用于集成电路设计。