文摘

自动lane-keeping系统(艾礼克斯),车辆必须稳定和准确的边界检测当前车道进行精确定位。目前,检测的准确性巷算法基于深度学习有更大的飞跃比传统的算法,它可以获得更好的识别结果角落和阻塞的情况。然而,主流算法很难平衡精度和效率。为了应对这种情况,我们建议一个单步方法,直接输出通道形状模型参数。这种方法使用MobileNet v2和空间CNN(基本)构建一个网络快速提取车道功能和学习全局上下文信息。然后,通过深度多项式回归、多项式表示每个车道标记图像的输出。最后,该方法在TuSimple数据集验证。与现有算法相比,精度和效率之间达到一种平衡。实验表明,我们的方法的识别精度和检测速度在相同的环境中达到主流水平算法,和有效的在两者之间取得平衡。

1。介绍

在艾礼克斯,车辆必须可靠地检测当前车道边界的精确定位,并在此基础上,完成对交通场景的理解,车辆在车道上车辆通过轨迹规划和控制。其中,车道检测模块是整个系统的起点,和它的安全性和有效性尤为重要。然而,由于巷本身固有的苗条和复杂的条件,如天气变化,光线的变化,和其他道路使用者的闭塞,这个任务变得非常具有挑战性。此外,检测模块的计算时间是非常重要的对于整个系统的实时应用。有必要提高操作效率高和传输算法的适应性,同时保持检测的准确性(1]。

早期的算法大多是传统的方法(2,3),主要用于人工特征的融合和启发式方法,然后结合后处理技术,如霍夫变换(检测直线、圆、或其他参数曲线),随机样本共识(RANSAC)估计参数的数学模型的一组观测数据包含异常值,和其他的车道线检测算法。这种类型的算法具有少量的但是需要手动调整参数,计算工作量大,鲁棒性差。当驾驶环境变化显著,车道线的检测效果不好。基于当前深入学习方法已经成为当前的主流方法由于其精度高。其中,基于实例的方法分割(4首先生成的分割结果,然后视角变换用于转换成鸟瞰(BEV)并进行曲线拟合。受欢迎的模型包括多项式、样条函数或回旋加速器。这种类型的方法实现高精度的自动提取特征数据,但低效解码器使计算效率低,不够敏感曲线现场(5,6]。为了应对这种情况,基于消息传输的方法(7,8]在深层神经网络使用空间信息获取全局上下文来提高识别精度。然而,一个主要的问题仍然是,这种方法通常是在实时运行计算密集型和困难,这是不利于艾礼克斯车载嵌入式设备的使用。此外,还有一个方法基于端到端培训(9),直接返回车道线参数。这种方法有很大的改善速度,但它在精度略有不足,缺乏整体的可解释性。

有效地平衡算法的精度和效率,我们提出一个单步的车道检测方法基于MobileNet v2 +基本网络。模型的网络主干采用轻量级MobileNet v2 (10),这可以有效地减少计算量和参数的车道模型。同时,添加了基本层,这样在空间层可以有效地传播信息。网络最后输出每个车道的多项式系数和每个车道的信心得分。通过实验,识别准确性和检测速度模型的提出已经达到主流水平算法在相同的环境中,和有效的在两者之间取得平衡。

车道检测方法可以基于传统图像处理和深度学习。我们简要回顾最广泛的经典方法与车道检测和强调它们之间的差异在这一节中。

2.1。传统的方法

传统的车道检测方法通常使用道路图像特征,几何特征,和另一个信息建模11]。特征提取是基于全局和局部位置信息(12,13]。特征提取本质上是一种滤波算法旨在减少特征的数量在一个从现有的数据集通过创建新功能。然后,霍夫变换和RANSAC用于直线和曲线拟合,分别。最后,消除错误检测,和车道边界段聚集到最终结果。传统的车道线检测方法不能实现路径跟踪的功能,而且大部分的算法局限于特定的应用程序环境,不健壮的光线变化和突然的天气变化。同样,有车道颜色退化和结构性破坏的真实数据,以及道路噪声和遮挡。传统方法不能处理在实际驾驶中面临的复杂的情况。

2.2。深度学习的方法

车道检测方法基于深度学习大致可以分为两类:单步模型和两步模型。两步模型首先提取车道线的特点,然后集群和符合每一行。第一阶段的特征提取主要是基于分割。例如,VPGNet [14)使用四象限分割来定义的位置消失点和指导网络学习通过消失点,获得更好的融合效果,模型收敛时额外的培训不会改善模型。基本栈卷积层,让信息能够传播的行和列。是有效的狭长车道检测,但运行速度仅为7.5 FPS。作者提出了一个self-attention蒸馏(SAD)模块(15]。基于信息蒸馏,解决大型骨干网络的影响速度,可以聚合文本信息。CurveLanes-NAS [16)样品整个图像,每个细胞的分类(网格)的行。尽管取得了最先进的结果,他们计算非常耗时。在第二阶段的两步模型中,大部分的工作是进行曲线拟合,通过变换矩阵。首先,第一次分割的结果转换为贝芙,然后统一点选择+最小二乘法用于适应面具的地图。

单步模型可以直接输出通道形状模型的参数,例如,Line-CNN [17],LaneATT [18),等等。LaneATT实现基于锚,注意机制应用于执行SOTA,达到250 FPS。此外,PolyLaneNet [9)假设车道线是一条曲线,并使用多项式学习曲线参数。然而,由于现有的数据集的不平衡,引起一些偏差。

剩下的纸是组织根据以下模式。方法和材料进行了部分3,结果在部分4,本文的结论部分5。

3所示。方法

我们将描述的结构和损失函数提出了单级的车道检测方法基于MobileNet v2 +基本网络在这一节中。

3.1。体系结构设计

提出的网络结构如图1。它主要由两部分组成,包括骨干网络和基本层,然后完全连接层输出预测结果。


图1
提出了网络的体系结构。双基本模块的后缀“SCNN_D”和“SCNN_R”,分别表明他们是向下和向右的方向在空间中传播。

轻量级MobileNet v2使用深可分而不是普通的卷积,卷积可以减少计算和模型的参数。此外,它利用剩余连接的想法ResNet [19),在此基础上提出了反向残余结构。网络层的数量是加深,和表达特性的能力增强;线性瓶颈结构代替非线性瓶颈,减少低维特征信息的损失。因为这些优点,我们使用MobileNet v2作为网络骨干,抛弃过去两个完全连接层,,代之以一个扩张卷曲层。扩张旋转可以得到更大的接受域,从而得到密度数据。与此同时,图像的空间特征可以保存完好的没有图像信息的损失。扩大扩张后旋转层、一个基本层添加到允许消息传播下来的权利,这样每个像素可以从所有其他像素接收消息进一步扩大接受域。

对每一帧图像的检测,米马克斯车道标记(表示为多项式)候选人,每个车道标记的最低点,均匀的垂直高度h地平线上的输出。所有输出结果可以表示如下: 在哪里Pj多项式的车道标志候选人,年代j垂直偏移, 是信心的预测分数,如图2(9]。


图2
的示意图表示车道标记信息输出的每一帧图像。

和Pj可以表示如下: 在哪里K是参数,它定义了多项式的顺序。

3.2。损失函数

损失函数是一个基本和深度学习的关键元素。平衡损失函数的不同部分的大小,提高收敛速度,有必要定义重量损失函数: 的权重系数Wp,W年代,Wc,Wh是hyperparameters手动调整。

第一部分的损失是指如何合适的多项式模型。在这里,我们使用均方误差(MSE)函数来计算预测值和真实值之间的误差。越接近预测的价值 地面真实价值吗 ,这两个之间的均方误差较小。 定义如下: 在哪里 和 。

接下来,第二部分损失的垂直偏移量年代j的损失。最后一部分的损失是垂直的位置h的损失。我们也使用MSE来计算它们。第三部分的损失预测信心得分cj的损失。这个二进制分类任务,我们用叉来计算衡量两个概率分布之间的相对熵在相同的事件。

4所示。实验

我们将展示的验证效果提出了单级的车道检测方法基于MobileNet v2 +基本网络TuSimple数据集在这一节中。实验结果表明,该识别准确性和检测的速度检测算法提出了达到主流水平算法在相同的环境中,而且两者之间有一个有效的平衡。接下来,将详细的实现过程的细节,和实验结果进行了分析。

4.1。实现细节
以下4.4.1。数据集

在最新的学术论文,大多数TuSimple [20.)和CULane数据集用于性能比较。因为本文所涉及的相关算法是所有测试TuSimple,本文还使用这个数据集进行验证。TuSimple数据披露的一部分在自主驾驶公司TuSimple车道标志再次挑战。数据集由72 k 1280×720的图像。它收集的场景与天气晴朗和清晰的车道线高速公路。特点是车道标记点。

4.1.2。评价指标

确保与其他算法比较在相同的条件下,我们也跟着TuSimple最初的评价指标:准确性(Acc),假阴性(FN),和假阳性(FP)率。预测的车道标志是真阳性,当结束线之间的距离及其周边地区小于20像素。

4.1.3。Hyperparameters

我们实现了基于Pytorch提出网络。的转换随机剪切、缩放、旋转和颜色犹豫不决是用来增加图像的多样性,增加训练样本的数量。然后,图像的大小为1280×720像素。最后,ImageNet [21平均值和标准偏差用于规范化。的hyperparameters网络设置如下:批处理大小设置为4,基本卷积核宽度设置为7,损失系数W年代,WC,Wh设置为1,Wp设置为800。余弦退火用于调整学习速率。最初的学习速率是3e- 4,周期是750期。我们9.5 k的迭代执行一个Nvidia P4000 GPU,得到最终结果。

4.2。结果

TuSimple数据集的基于相同的环境下,我们验证了该方法的有效性和比较它与PolyLaneNet和基本。在这个实验结果,TuSimple精度和运行时间的评估进行了比较。

从表1我们可以看到,该方法取得了主流算法的识别性能。ACC率是1.05%高于PolyLaneNet。虽然它没有达到相同的性能基本一样,这不是远离它。同时,它比基本快4倍,这使得它在实际艾礼克斯系统有实际应用价值。我们的方法达到一个有效的平衡精度和效率。

表1
结果列表。

除了定量评价,一些可视化TuSimple数据集工作也已完成,效果如图3。


图3
可视化TuSimple数据集。绿色标记的是地面真理,蓝色标记的是预测。

5。结论

在这项研究中,我们提出一个单步的车道检测方法基于MobileNet v2 +基本网络解决精度和效率之间的平衡。骨干网络是基于轻量级MobileNet v2,大大减少了计算量和参数的车道模型。网络中通过卷积之后,额外的扩张扩大接受域,和基本层实现空间层信息的有效传播,这保证了模型的识别精度。网络最后直接输出每个车道的多项式系数和每个车道的信心得分。实验表明,我们的方法的识别精度和检测速度在相同的环境中达到主流水平算法,和有效的在两者之间取得平衡。在未来,我们将这种方法在移动设备上部署。

数据可用性

使用的数据来支持本研究的结果包括在本文中。

的利益冲突

作者宣称没有利益冲突。

确认

作者感谢卢卡斯等人公开发布的源代码(培训和推理)和训练模型,他们的作品在车道标记检测有一个基线开始工作,并进行比较。