文摘

车道检测,作为一个最重要的核心功能在自主驾驶环境中,仍然是一个开放的问题。特别是,追求高精度复杂场景,如没有线和多个车道线,是一个紧迫的问题和讨论解决。摘要小说的端到端车道检测模型结合注意机制的优点和剩余块提出解决这一问题。剩余块减轻可能的梯度问题。注意块可以帮助该模型集中在学习的过程中特性表征,从而使模型本身更敏感的特性表示车道线通过卷积操作。此外,u型结构有三个将采样操作保存图像分辨率和原始图像中车道线信息最大程度。u型结构可以直接输出预测结果消除许多复杂或不必要的计算过程。实验结果在两个公共车道检测数据表明,车道检测模型可以实现高精度的性能,和相应的重量尺寸只有2.25米。最后,进一步说明该模型的有效性,在实验中遇到的不可避免的问题进行了讨论。

1。介绍

世界各地的交通事故会造成的经济损失相当于每年6000亿美元(1]。人口密度最大的国家之一,世界上最拥挤的,大约26%的中国城市在上下班高峰时段拥挤(2- - - - - -4]。自动驾驶技术可以提高行车安全,提高整个交通系统的效率,为用户节省时间(5,6]。

事实上,自动驾驶的意义是非常简单的7]。自主驾驶减少悲剧造成各种交通事故的概率由司机和其他人为因素,提高交通效率,减轻城市的严重的交通堵塞8]。司机将分开的沉重和机械化开车,使旅游更方便,轻松,愉快的9]。被解放的人们可以在车里做他们想做的事。当学习人工智能技术在汽车行业,做人工智能技术的发展,实现产业升级(9,10]。

传感模块的功能之一无人驾驶技术、车道检测中扮演一个重要的角色在无人驾驶车辆的驾驶过程11,12]。车道检测算法研究具有重要的研究意义和应用价值13]。

车道线识别主要应用于自动驾驶(14,15]。车道线识别完成后,自动驾驶或仍然辅助驾驶系统可以实现主动安全功能和控制功能的车辆横向运动。车道偏离警告(LDW),车辆偏离车道时,系统可以通过声音,知道并提醒司机联系,和其他手段来避免触发潜在的侧面碰撞或其他风险后的车辆穿过线(16- - - - - -18]。至于车道保持辅助(党的),车辆偏离车道时,它将不再局限于早期预警信息发送到司机但积极控制方向盘,正确的车辆的横向位置,正确的车辆偏离回车道,并积极避免侧向碰撞或其他风险(19- - - - - -21]。车道中心控制(LCC)可以帮助司机控制方向盘,车辆在车道中心的中心,不断控制车辆驾驶中心的车道,并配合自适应巡航(22- - - - - -24]。至于自动车道改变援助,在车道线识别的过程中,我们不仅认识到这道的车道线,还加上相邻车道的车道线识别。通过这种方式,我们可以测量车辆的横向位置自动从这车道改变相邻车道。在此基础上,我们实现自动车道改变援助(25,26]。

对车道线的研究基于传统方法有着悠久的历史(13]。这种方法主要侧重于特征与车道线(12]。了基于车道线检测算法主要是提取颜色、形状和纹理,边缘,方向,车道线实现车道线检测的目的。这种增强版的车道检测是基于模型检测算法。通常,车道线构造的曲线模型,与车道线大约是视为一个直线模型,一个高阶曲线模型,等等。最近,深度学习的巨大成功在计算机视觉领域(27,28),它也广泛应用于车道线检测的研究,这对车道线检测带来了新的想法(10]。越来越多的人应用深度学习车道线检测的任务(15]。

当车辆在自动驾驶环境中,一个明显的现象是,特性变化引起的动态变化往往使车道线检测基于传统方法无效。车道检测算法基于深度学习方法可以减轻环境变化引起的检测问题,但车道检测复杂的场景,仍然是一个悬而未决的问题。

为了解决这一问题,我们提出一个新颖的车道检测模型,这是一个u形结构有三个将采样操作。缓解可能最终编码网络梯度问题,采用残块。获得更有效的特征表示从跳过连接,注意门模块嵌入到解码网络。总之,本文的贡献如下:(1)小说的端到端车道检测模型提出了解决车道检测复杂的场景中自主驾驶环境。(2)在网络编码的高级阶段,剩余块可能缓解梯度问题。注意门模块是用来帮助该模型关注的车道线的特征表示。(3)在本文中,大量的实验结果证实了该模型的有效性,优于其他先进的算法TuSimple和无监督标记车道标记(骆驼)数据集。车道线的消融研究表明,低层特征学习关注模块在初始阶段的编码器网络对车道检测很重要。

2。相关工作

2.1。传统的方法

户珥et al。29日)设计一个过滤器内核提取车道标志和检测到的边缘信息通过条件随机域车道标志。为什么前面提到的方法可以得到更好的检测性能是车道边缘信息是显而易见的。当车道线的边缘信息丢失,Youjin et al。30.)使用分割算法提取车道边缘信息在这种场景。此时,车道线决定根据消失点(VP)。实验结果表明,该算法是有效的车道线检测的阻塞或丢失信息。然而,该算法对车道线检测在黑暗的光。李等人。31日)获得缺失点根据文本信息提取的道路。伽柏过滤和霍夫变换算法用于边界分割,从而实现好的结果当路上的文本是明确的。陈等人。32)提取车道功能根据不同的颜色在路上。阿里(33)和其他人第一次使用段分割算法来段的信息加工特点,然后结合后处理技术完成进一步的提取和识别的车道线。赵et al。34]第一选择感兴趣的区域,找到合适的阈值,和杰出的边界对应的车道图像根据固定值。金等。35)使用的一系列算法过滤和后处理来检测车道线在街道和高速公路场景。腾et al。36)混合多种元素识别车道线的特点,包括带滤波器、颜色和霍夫变换。然后,为了使所构造的算法实现实时车道跟踪,采用粒子滤波技术。

2.2。基于深度学习方法

米尼奥Jiun金姆和李(37)提出了一个探测器,第一次使用卷积神经网络提取车道功能,主要负责地区感兴趣的选择和边界检测。随机样本的共识(RANSAC)是用于聚类。Deeplanes [38)是一个基于分类模型,它有一个更复杂的结构比文献[37]。然而,该模型需要位置信息分类之前,这限制了模型的应用场景。Sermanet et al。39)提出了一个名为overfeat模型。该模型提高了车道线的检测任务通过使用分类、位置和检测。李Seokju et al。40)提出基于VPD VPGNet网络(41),它是由四个分支机构完成检测车道几何。这种模式的最大优势是改进的消失点可以指导道路车道线检测与识别。但VPGNet的复杂的后处理过程需要更多的计算资源,如点集采样、集群和车道回归。黄Yuhao et al。42)提出了一个STLNet模型包括预处理、分类和回归基于卷积神经网络和车道配件。预处理是用来提取车道功能从输入图像,而卷积神经网络用于分类边界类型、车道边界的位置是由回归处理技术。最后,车道线平滑的拟合函数。里埃拉Luis et al。43)设计了一个车道停车检测系统中,面具RCNN [44)是用于检测车道线,卡尔曼滤波器是用来跟踪车道线。Pizzati法等。45)检测可行驶的区域和道路类别通过改善ERFNet, DBSCAN是用于聚合像素的自由空间变成一个多边形。

Shao-Yuan Lo et al。46]提出一种基于VGG车道标记检测模型架构。其编码和解码网络完全是由扩张卷积,模型的预测结果是二元分割。其中,第一个代表了车道线和零代表了车道线以外的背景。此外,基于EDANet,作者反思之间的关系将采样和空间信息47)并提出另一个CNN网络嵌入与扩张卷积。与此同时,作者还提出了两个模块:特征尺寸选择和离题的扩张。解决的问题,如何有效地获取远距离关联信息,受文献[48王,枭龙et al。49)提出了一个可学的外地操作获取像素之间的长距离依赖。最后,验证该模型的有效性的车道线检测任务。李文汇et al。50]应用外地关系关注网络迫使CNN关注巷地区。他们的实验结果验证这个观点的有效性。同样,根据车道的几何性质,张杰et al。51提出了多任务学习网络,将车道线检测分为两个子任务:胡同间区域分割和边界分割。前者分段选择性区域和后者指出车道线的边界。实验结果表明,该方法可以提高车道线的检测性能模型作为一个整体的有序组合和协调学习和分段特征信息。

3所示。提出的模型

在本节中,我们将详细介绍我们的模型,其总体结构如图所示1,整个模型的参数见表1。我们的模型是一个端到端的网络模型,由一个编码器和译码器网络。编码器网络需要一些传感器收集的原始图像作为输入和提取特征信息通过学习包含在原始图像特征表示。之后,译码器网络负责恢复学习的特征信息编码网络在一定程度上与输入图像的大小一致。

3.1。编码器网络

编码器网络分为两部分。第一部分主要由采样和卷积,负责输入图像的特征提取。第二部分由剩余模块和关注模块,负责减轻可能的梯度问题,帮助模型关注最可能的特征信息的车道线。

假设输入图像大小,B代表批正常化,C是通道数量,和H和W代表的高度和宽度,分别的形象。当输入图像送入编码器网络,首先,提取车道线的主要信息从输入的操作组合是由采样和卷积(名为公司表吗1)。此时,通道的数量从3增加到16。此外,为了加快该模型的操作速度,节省计算资源,图像的大小减少到一半的输入图像。之后,又进一步执行两个相似的组合操作的高级特征信息提取车道线。此外,渠道的最大数量只有128在我们的模型在编码器的高级阶段网络。特别的,不同于经典的端到端网络模型U-Net [52三次),输入图像只是downsampled保留更多的车道线最大程度的语义信息。

刚刚被提取的特征信息是输入剩余块(瓶颈53]本文中使用),其内部结构如图2,整个过程可以表示为

预计所需的映射表示要学习我们的模型。指向实际的帮助下学会了通过我们的模型映射表示一系列操作和代表了特征向量的车道线工作。表示从编码器的第一部分网络特征信息,并添加到映射表示补充信息。在这个过程中(红色模块图1),除了学习所需的映射表示,剩余的机制也可能会减轻梯度爆炸和梯度消失引起的叠加网络层。

之后,减少假阳性预测对于车道线表现出大的形状变化,剩余的输出块和提取的特征信息(从公司到第一部分Maxpooling_Down3表1)都进入注意门块,用于过滤不相关的特征信息的车道线和构造的影响下文献[54]。其内部结构如图3。

在图3,从残块的输出,意味着Maxpooling_Down3在表的输出1(这个时候,l= 3),在第三层特征图的数量(在这个时候,它的值是128。同样的,是输出的数量特征的地图残块)。注意门,初计算出更精确的特征信息的车道线,向量决定了什么重要的地区应关注这部分内容注意门负责。随后,添加剂中定义的关注以下公式用于帮助该模型得到相应的控制系数。

, ,和重量参数输入生成的线性变换,线性变换是通过使用channel-wise 1×1×1当前输入向量的旋转。在某种程度上,偏见和可以配合重量参数调整网络偏见车道线特征信息。变量(我= 1,(2)意味着激活函数, 是ReLU函数,然后呢 表明乙状结肠激活函数。变量问_(att)是中间过程的表示状态的形成 。问_(att)是一个函数组成的三个变量 , ,和 ,在哪里决定了什么重要的地区应该重点关注门块,和其他相关参数的综合表现。

上面的命令和复杂的计算后,我们得到它的输出,可以由以下公式表示:

在上面的公式中,产生的输出输入特征图和关注通过element-wise乘法系数。变量最后注意系数,将利用在生成所需的焦点地区。然后,帮助我们学好特征信息模型,采用一个激活函数。

3.2。译码器网络

关注的输出块送入解码器网络。首先,连续采样的输出获得更高层次的特征信息执行车道线通过卷积操作同时保持当前分辨率不变。然后,不同尺度的特征信息是输入到相应的解码器通过跳过连接网络阶段。此时,连接操作是用来增加抽样的数量信息。最后,预测结果包含所需的通道输出(频道数是2的工作)。

特别是,最终的输出具有相同的大小作为输入图像和可以直接提供信息当前帧的车道线。特别是,更实用,没有后处理技术是用于生成最终的输出预测结果。

4所示。实验

在本节中,我们描述了车道检测数据集用于我们的实验,解释了软件和硬件平台培训时,验证和测试该模型和其他算法,解释每个数据集相对应的评价指标,详细相应的定性和定量结果模型在每个数据集,特别是分析上述结果的可能原因。

5。数据集

在这个工作中,我们的模型训练,验证,和测试在两个车道检测数据集:TuSimple [55和无监督骆驼56),其中包含不同的驾驶场景和对应不同的评价指标。

5.1。TuSimple

TuSimple数据集被释放在2017年车道线检测的挑战,针对训练一个神经网络模型自动识别车道线高速公路上汽车驱动器。在这个数据集,训练集包含3626张图片,验证集包含352张图片,测试集有2782图片。此外,每个图像的分辨率是1280×720。

TuSimple数据集的特点如下:(1)车道线的数量不均,一般从2到7、8、9在一些场景。(2)一些车道线没有明显的特征,如没有色差。(3)有许多车道线边缘的路但是标签对应的地面真理相对较少。表2显示更多关于TuSimple数据集的信息。

5.2。无人监督的骆驼

无监督骆驼数据集在2019年发布,旨在提供一种替代数据集的车道检测任务。这个数据集的一个明显特征不同于其他数据集的车道线在每一帧标记完全由软件。具体条件如下:(1)相对应的标签当前车辆的车道线两侧标有许多像素,而其他车道线标注几个像素。(2)像素的数量标记在每一帧图像的车道线约占2%的整帧图像。(3)车道线接近当前车辆,双方或其他条件,是否标志着更多的像素,而当前车辆车道线远离只有几个像素标记。

在无监督骆驼数据集,训练集包含58269张图片,验证集包含844张图片,测试集有20000图片。此外,每个图像的分辨率是1276×717。更多的信息在表2。

5.3。实现细节

所有的模型在我们的实验训练,验证,和测试在一个平台上用一个英特尔酷睿i7 - 6800 k的CPU, 64 GB的RAM, NVIDIA泰坦Xp 12 GB的GPU。该模型实现基于PyTorch使用Python 3。优化器是亚当函数,学习速率的初始值是0.01,批处理大小设置为10。图像调整到128×256当他们进入一个模型。以TuSimple数据集作为一个例子,数字4和5分别显示损失函数的变化过程和F1-Measure在训练我们的模型,验证和测试。

类不平衡引起的车道线像素和背景像素之间的巨大差异会影响参数学习训练模型的过程中,体重交叉熵是用来平衡实际值和预测值之间的误差,以及它的定义可以表述如下: 在哪里r和p分别代表了地面实况和预测结果。的价值r表示车道线的数量相应的形象。的argmax函数将返回马克斯的索引值连续在相应的地面真理。的操作p [j]获得的值对应于这些索引返回的argmax函数。

5.4。指标

TuSimple数据集、指标参考变量(57]:ACC, PRE,矩形,和F-Measure中定义的公式(6)-(9),分别。为无监督骆驼数据集,除了指标精准医疗和矩形相应的公式(10)是用来计算平均精度(美联社)[56)对模型的性能进行评估。变量U代表测试的总数,V代表测试框架的数量,我和j分别代表相应改变下标。显然,这些公式涉及的基本变量TP,TN,《外交政策》,FN。表3显示其详细信息。

如果一个像素已经在车道线在同一位置,像素也在车道线的预测结果,预测结果记录TP。然而,在这篇文章中,TP代表所有这些像素的总和。如果一个像素不是车道线和像素不是在同一位置在车道线的预测结果,这样的像素为代表的总和TN。如果一个像素在车道线,但在预测结果,在同一位置像素不是车道线,等采取像素的总和FN。如果一个像素不是车道线,但在同一位置像素在车道线的预测结果,这样的像素为代表的总和《外交政策》。表3这些变量的显示了一个更简洁的表示。

鉴于上述表示,ACC代表像素的比例正确预测的预测结果。精准医疗意味着像素的比例正确预测这些车道线的预测结果。矩形显示像素预测正确的比例在所有车道线像素预测所有车道线。F-Measure,作为一个综合指标来平衡的指标精准医疗和矩形,通常反映了模型的性能。在这篇文章中,β= 1,F1-Measure被评估的整体性能模型。

6。结果和分析

我们第一次火车模型TuSimple数据集,然后在相应的验证和测试它subdatasets TuSimple。图6显示了视觉的结果定性评价模型和其他先进的算法。

从图可以看出6我们的模型的测试结果比其他模型。例如,在图像列一个,有四个车道线在这一幕。尽管大量的像素标记在标签对应最左边的和最右边的车道线,很少有在原始图像的信息,这让一些困难的学习特性模型。这个困难也反映在模型的测试结果图,例如断断续续的结果(硅谷动力58(LaneNet[]),不完全的结果59],SegNet [60],SegNet_ConvLSTM [57]),或结果包含少量的干扰信号的基本(61年],U-Net, U-Net_ConvLSTM [57])。此外,从测试结果列两个,当车道线的曲率大,其他模型的测试结果并不理想。当面对现场与更少的原始图像中的信息和更多的车道线(如列四,有超过4车道线图像),其他模型的测试结果显示更无适应性。一些模型(硅谷动力,基本和U-Net)只测试不完整的车道线,和一些模型(其余算法)可以测试完成但不令人满意的车道线。对于那些实际存在的车道线但没有标记在地上真理,我们的模型可以检测它们,而其他模型无法进行测试。

然后,我们测试所有的模型的定量结果,和更多的信息显示在表中4。的ACC我们的模型是97.98%的价值,这是最接近的U-Net_ConvLSTM (98.21%)。根据公式(6),当ACC价值很高,我们可以得出的总和TN和TP相对比较大。但我们不能继续进一步推断是否的价值TP高的价值TN是很高的。此外,我们无法解释根据模型的性能ACC价值。因此,ACC的价值通常只能表明一个模型是否有效。

为了进一步准确地评估模型的性能,我们介绍精准医疗和矩形一起工作,可以精确确定模型的实际性能。例如,矩形U-Net_ConvLSTM值为0.958,高于该模型。这意味着要么TP高或价值FN价值很低。如果TP价值是很高的,在这个时候,它确实反映了U-Net_ConvLSTM模型的有效性。相反,如果FN值很低,它不能准确地描述U-Net_ConvLSTM模型的性能。的指标精准医疗,情况是完全不同的。时的值矩形和精准医疗同时增加以及它们之间的差异很小,它可以综合判定模型的性能更好。在表4之间的差额矩形和精准医疗我们的模型是0.082,小于(1.02)之间的区别矩形和精准医疗U-Net_ConvLSTM模型。此外,的价值精准医疗在我们的模型中比在U-Net_ConvLSTM模型,进一步确认的价值TP在我们的模型的测试结果是更高的价值《外交政策》更低。

当TP价值在我们的模型高,这意味着我们的模型更能准确地预测像素最初的车道线。当FN很低,《外交政策》也低,他们分别表明,我们的模型很少预测像素原本属于车道线为背景,很少预测最初属于背景的像素像素胡说之人在车道线。上面的准确而具体的分析证实了模型的有效性,也有力证明了为什么我们的模型图6可以预测更好的结果。

此外,另一个综合指标,F1-Measure,用于评估每个模型。更清楚地解释F1-Measure对模型性能的评价,我们简化其定义和展示F1-Measure对关键变量的影响(TP,《外交政策》,FN)在一个清晰的表达。在表4我们模型的F1-Measure是最高,达到0.909。这表明的价值(FN+FP) / TP很小。确切地说,的价值(FN+《外交政策》)相对较小。时的值FN和《外交政策》很小,我们模型的相应指标很高,和相应的视觉结果优于其它模型。

我们也测试模型和其他算法在无监督骆驼数据集;我们的模型的详细过程如图7。从每个模型的测试结果,以下可以清楚地看到:(1)每个模型可以发现大部分的自我行左右的当前车辆。LaneNet的测试结果,关注U-Net [54),SegNet, U-Net相对较少和不完整的。(2)只有少数模型可以检测到其他车道线外双方目前的车辆,如PINET (32×16) [62年),基本,PINET (64×32)62年),我们的模型。结果表明,我们的模型的检测结果更均匀和检测结果的宽度接近地面的真相。其他模型很难检测车道线分布外,双方目前的车辆。(3)预测像素的遥远的车道线,只有注意力U-Net PINET(32×16),基本,PINET(64×32),和我们的模型可以检测到它们。相比之下,注意U-Net只能检测几个像素。PINET模型(32×16),基本,和PINET(64×32)可以检测U-Net多一点关注,而我们的模型可以发现更多。

此外,我们提供了定量的实验结果测量无监督骆驼的数据集,如表所示5。的美联社U-Net是最高的价值,但它的价值精准医疗和矩形非常不一致。他们之间有很大的差距,这意味着在数据集模型是极不稳定的。的美联社价值只能反映模型作为一个整体的性能。加上它的定义,取决于具体的分析指标精准医疗和矩形。

例如,精准医疗U-Net的值是0.867,但其矩形值只有0.302。它们之间的不平衡意味着FN价值是非常高的。当FN值增加,这表明U-Net模型容易mispredict最初的像素属于车道线为背景。因此,我们清楚地看到,在U-Net模型的预测结果,有几个像素相应的车道线。SegNet模型中也存在类似的情况。特别是,之间的差异精准医疗和矩形模型的PINET(32×16),基本和PINET(64×32)实现一个良好的平衡。从图可以看出7这些模型可以预测更多的像素属于车道线。然而,不仅是值的精准医疗和矩形我们的模型比的高的模型,但它们之间的差异非常小。我们的模型的预测结果比其它模型。

大量的实验结果证实了模型的有效性在车道检测的任务。上述结果的可能原因如下:(1)关注模块使得该模型更加注意车道线的局部特征信息修改功能的信息跳过连接,这使得我们的模型对车道线的特点更加敏感。(2)在我们的模型中,关注和剩余的结合学习使我们的模型计算资源更有效的功能区域在特定阶段。

6.1。烧蚀研究

为了进一步说明构造模型的有效性,本节讨论详细的设计过程中遇到的关键问题提出了模型:(1)规模的车道线特征信息模型更重要?(2)骨干网络有效的车道检测吗?

认为注意门模块可以使模型更加注重更精确的局部特征信息。结合跳过连接的重要性(2,3),本文决定将一个注意门模块嵌入到特征图谱的跳过连接加强当地的特征信息,然后拼接和连接特性相同的规模在解码网络。此外,在设计模型的过程中,我们遵循以下原则:同时增加学习模型的特征表示,我们不应该增加重量尽可能多的参数模型。因此,我们考虑使用一个注意门模块在编码器网络在我们的模型中,每一层表6和7分别展示TuSimple和美洲驼无监督数据集上的实验结果。

实验结果表明:(1)在车道线检测的任务,我们的模型的主要特征信息更重要。因此,当注意门模块用于编码整齐,相应的模型的测试结果是最好的。(2)在高级语义阶段模型中,三个将采样操作的编码结构可以提取更精确的车道线特征信息。因此,关注模块添加在Up1阶段不能有效改善我们的模型对车道线的检测性能。(3)一般来说,所有实验结果TuSimple和无监督骆驼数据证实,当注意门模块的主要特征信息作用于车道线,提出模型的性能在一定程度上改善。

此外,进一步解释了该模型的有效性,增量执行实验,细节如表所示8。当将剩余的组合和关注块嵌入骨干网络,相应的模型(模型)的性能可以改善。

7所示。结论

复杂场景的自动驾驶,追求高精度车道检测仍然是一个困难的问题。为了解决这个问题,一个新颖的车道检测模型是本文设计的。为了尽可能保持图像分辨率,该模型采用三将采样操作。在高层语义模型阶段,剩余操作嵌入式减轻可能的梯度问题。为了更有效的使用不同的尺度特性信息,注意与闸门机制模块是用于过滤与车道线特征信息无关的信息。最后,编码内容恢复到相同的大小通过解码网络输入图像。实验结果表明,该模型与少量的渠道可以检测车道线在复杂的场景,实现更好的性能比其他车道检测模型,并极大地减少模型的参数。

在烧蚀研究中,采用封闭的关注模块的特征信息不同的跳过来自位于不同层的连接,本文验证低级特征信息的重要性的车道线模型。此外,通过实验骨干网络没有注意门模块和该模型,结果表明,该模型比相应的骨干网络模型。

在未来,可以检测车道线的轻量级车道检测设计在复杂的场景通过考虑融合将stidied卷积操作更有效。

数据可用性

本文的数据用于支持这些发现都包含在这篇文章。

的利益冲突

作者宣称没有利益冲突。