文摘

车辆的网络和信息安全是关键组件的智能城市。实时感知道路是最困难的任务之一。传统的检测方法需要手动调整的参数,这是困难的,并且容易受到干扰物体遮挡,光线变化,公路穿。设计一个健壮的道路感知算法仍然是具有挑战性的。在此基础上,我们结合人工智能算法和5 g-v2x框架提出一个实时道路感知方法。首先,一种改进的模型基于面具R-CNN实现改善的准确性检测车道线特征。然后,线性和多项式拟合的方法特征点在不同领域的观点相结合。最后,最优参数方程的车道线。我们测试了我们的方法在复杂的道路场景。实验结果表明,结合5 g-v2x,这种方法最终有更快的处理速度和可以感知路况强劲在各种复杂的实际情况。

1。介绍

5 g网络传输速度高的特点和低传输延迟。它提供了一个更可靠的通信V2X环境。5 g智能交通管理系统建设具有较强的管理能力和鲁棒性,这有助于提高交通流量。的帮助下5 g-v2x实时复杂道路认知成为可能。因此,5 g-v2x是一个智能城市的关键1,2]。

车道检测是了解道路场景中最重要的任务之一,也是最复杂的部分。它可以使用提取通路标志信息来定位道路和确定车辆和道路之间的相对位置。lane-detection解决方案使用视觉算法是一种相对常见的解决方案。但也有各种各样的路面标志。标记可能被阻塞由于车辆拥挤、线可能腐蚀和磨损,天气和其他因素能带来挑战lane-detection [3- - - - - -5]。

城市道路的早期认知算法依赖于手工设计,这需要大量的工作。这些方法使用霍夫变换,随机抽样一致性,和其他方法来段道路区域和检测车道线(6]。这种方法的明显缺点是可怜的泛化。当驾驶环境变化明显,精度可能显著降低(7]。

卷积神经网络在计算机视觉领域都取得了极大的成功。基于深度学习的方法可以直接学习领域知识从大型数据集,大大提高理解复杂的城市道路场景的能力(8- - - - - -10]。在此基础上,我们提出一个新的基于传统标记检测方法检测算法和深度的学习。首先,我们提取区域的整体道路训练面具R-CNN [11- - - - - -15]。所确定的道路面积作为约束,车道标记检测,获得的离散车道线特征点信息集群由最小二乘法拟合出车道线是在一个不同的视野用直线和曲线拟合模型(16,17]。

本文的主要贡献是以下两个方面:(1)模型结合了卷积神经网络,5 g-v2x,与传统的算法。模型是用于提高提取特征点的检测速度。(2)在不同的领域来看,直线和曲线拟合模型是用来适应直线拟合结果更加准确,和最优参数方程的车道线。

本文组织如下。部分2介绍了相关工作。部分3描述了改进的深度学习方法和集群和车道线拟合的算法。部分4实验报告的结果。部分5提供我们的结论。

2。相关工作

近年来,随着并行计算的可用性,大规模数据的训练过程加速。卷积神经网络(CNN)已成为一个研究热点,广泛应用于计算机视觉和模式识别18,19]。卷积神经网络可以自动学习图像的分层特性,避免失明人的人工设计和选择功能,并显示其优良性能的任务分割对象检测和实例。

2.1。语义分割

卷积神经网络SegNet学习高阶特性在一个场景执行道路场景分割。其他测试图像分类训练算法应用到一个通用的图像数据集生成培训标签。一个新的纹理描述符基于色图层融合获得最大一致性的道路面积(20.]。离线和在线信息相结合来检测道路区域。相结合的分层框架road-scene分割可以可靠地估计一个场景的拓扑结构和有效识别多车道道路交通场景21]。最先进的实例分割方法面具得分R-CNN和级联R-CNN面具都是改进的基于R-CNN面具,这证明的有效性面具R-CNN [22]。

2.2。车道线检测

车道线检测是最重要的部分,整个路面检查。近年来,在计算机视觉深度学习使得巨大的成功。在车道线检测问题,深层神经网络用于学习的车道线特征,使车道线特征提取的准确性,适用于复杂的道路环境23]。悉尼大学的CNN和RNN用来检测车道线,CNN在车道线结构提供几何信息的使用RNN检测车道线。庆北国立大学联合CNN和RANSAC算法来稳定检测车道线信息,即使在复杂的道路场景(24]。百度地图项目团队提出了一个dual-view卷积神经网络(DVCNN)车道线检测。朝鲜机器人和计算机视觉实验室提出了一个方法来提取感兴趣的多个区域,区域合并可能属于同一类,并使用主成分分析网络(PCANet)和神经网络分类候选区域(25]。实验室提出了消失点引导网络(VPGNet) [26解决车道线的问题,在复杂天气条件下路面标线识别和分类。福特研究和创新中心DeepLanes网络用于提取车道线特征通过相机两边的车辆。

2.3。集群和拟合

车道线特征提取的深度学习不能直接使用,它仍然需要集群和车道线特征点。拟合的主要目的是描述车道标记在图片并显示道路图像中的位置(27]。在车道线集群和合适的算法,常用的道路模型是线性的,线性抛物线,最小二乘(LS)曲线拟合,立方曲线,和贝塞尔曲线拟合28,29日]。

2.4。5 g-v2x

5 g-v2x通信系统的目标是实现准确、高效的道路场景知觉和无事故和高效协作的自主驾驶(30.]。文献[31日- - - - - -33)提出了一种基于边缘计算和网络协议的新车辆网络隐私保护协议加强道路安全,智能交通,智能城市系统。文献[34]介绍了一个基于5 g-v2x实时通信方法,从而降低系统的能量和时间成本,提高车载网络的管理效率。文献[35)提出了一个基于5 g-v2x智能交通车辆检测模型,它可以动态坐标计算和内容缓存和有效分配网络资源。

3所示。复杂的道路车道线检测和处理

我们可以将车道线的检测过程分为三个步骤。第一个是使用深度学习来提取特征点。第二个是集群中提取车道线特征点,第三是获取集群点。

3.1。基于改进的模型特征点提取

构建深模型只是一种学习的方式。与传统浅学习,依靠人工特征,深度学习有一个更深的深度模型,更注重特征学习和训练的数据量更大。因此,它可以更好地描述内部数据之间的相关性。

如图1、面具R-CNN由三个部分组成。第一部分是骨干网络,用于特征提取。第二部分是头,用于获取类别分数和回归边界框,第三部分是生成一个面具。

在面具的rpn RCNN更快R-CNN是相同的,但添加蒙版层之后,每个ROI可以并行预测为每个类别和“边缘”,和并行。ROI对齐的面具R-CNN如图2。

损失函数的ROI是重新定义

在上面的公式中,工作积极的ROI。对于每个ROI的面具分支,输出维度 。 意味着编码两种口罩 图像,每个类别。因此,一个人必须单像素乙状结肠应用两个分类和定义的平均两叉的损失。ROI的类别 , 被定义的面具。

的定义允许网络为每个类别生成一个面具,而且没有类别之间的竞争。一个特殊的分支是用来预测类别分类标签,从而解耦的类别和面具的预测。单像素softmax FCN使用和多项叉损失。在这种情况下,有面具和类之间的竞争。面具R-CNN使用逐乙状结肠和二进制损失没有这个后果。实验证明这是关键改进实例分割。

我们使用ResNet101作为特征提取的面具R-CNN的支柱。ResNet包括多个计算块组成的卷积,偏见,和批处理规范(BN)。训练后的模型,在模型中有一些多余的步骤仅用于转发传播,可以减少和冗余参数参数组合。

参数组合的5参数偏差层和BN层 , , , ,和 ;组合成和 ,这两个参数可以计算它 。

3.2。推动区域划分

本文根据面具R-CNN样品都贴上标签规则。标记样本图像发送到面具R-CNN进行训练。

面具R-CNN是理想的车道检测和分割标记,和面具R-CNN如图的体系结构3。然而,lane-marking特性通过深度学习不能直接使用。虽然车道线特征是通过深度学习,提取车道线特征只有车道线的坐标信息。在车道线形成的虚线,我们仍然必须确定车道线这些虚线车道线段所属,这些信息并不是用于离散坐标点。同样,真正的驾驶场景是多车道,我们必须每个车道线进行分类。因此,我们提出一种聚类方法对特征点的车道线,可消除多个车道线之间的干扰,获得他们的信息。这提供了更准确全面的输入后续车道线拟合。首先,它把路面区域,假设在数据采集过程中,智能相机将收集段10毫秒和最高时速每小时200公里。通过计算,我们知道在一个周期大约有10米。原则上,相机可以得到一个清晰的图像的100米在前面的车辆,和车道线太远很难识别。

我们通过相机的原始图像是图所示4。我们将使用整体道路信息的上边缘识别的神经网络作为区域 。上面这个区域是天空的形象,不包含lane-marking线信息。区域近场区域是我们的视野的主要部分,在车道可以近似为直线。区域是中场区域,可能会有小曲率曲线。区域是视图的远场的车道图像反映了曲率的车道。分裂后的整体道路信息通过这种方式,在设计算法时,我们只需要注意附近和中间领域的图像分割道路车辆的前面的区域。

3.3。聚类特征点

让 代表提取的特征点坐标。功能段 代表了车道线标记段信息,由一系列的车道线坐标,在哪里 和 代表一个车道线的起点和终点的坐标,和是协调集群的行参数特性,然后呢表示当前车道线的坐标数段。

特征点坐标的信息已经包含在车道线部分由深度学习可能代表当前车道线提取线段特征。然后,我们使用最小二乘行结合特征点集群特征线和法官的连续性水平位置根据特征点的线段。集群方程

水平约束是使用以下方程。 在哪里是特征点的最大偏差距离。根据图像的透视效果,随距离而减小。这个约束下的特征点聚类效果如图5。

3.4。拟合模型设计

得到最优的车道线参数方程,我们梳理线性和多项式拟合的方法特征点在不同领域的观点。

3.4.1。直线拟合模型

确保回归线主要包括正常数据点的误差接近于零,噪声点和最大误差两岸的回归线是移除。考虑HT和LS的优点和缺点,我们提出一个线检测方法,将两种算法结合在一起。首先,HT是用来确定近似区域的线,然后,改进最小二乘法用于确定行参数基于聚类后每个地区的具体点。算法流程如图6。(1)概率的参数下,霍夫变换操作进行车道线特征得到一条直线(2)HT检测获得的每一行,在所有特征点集 ,特征点的距离不大于被发现后,形成一个集吗(3)回归直线的参数和的设置决心和标准差最小二乘法(4)任何特征点 在集合 ,所有特征点满足 形成一个子集 ,所有特征点满足 形成一个子集(5)在集合和 ,找到点最大的错误: 在哪里代表点的距离回归线。(6)点和删除;然后,设置和更新。重复步骤3,直到错误不到

3.4.2。复杂的道路曲线拟合模型

用简单的函数和低速需求,智能车辆的车道线的位置信息获得的线性模型基本上可以满足车道线检测的要求,但它不能适应不同形状的实时道路环境。常用的抛物曲线拟合模型不能适应直线和曲线交界处。我们建议以下三阶多项式拟合模型如下。

图7显示了一个示例的车道模型与两个车道和一个出口。该模型由段,每个都有点。我们使用三阶多项式适合每个车道线点的线段。在拟合过程中,每一段都是一个独立的三次样条模型, , , ,和构成函数的参数信息。代表了车道边界偏移量,用于驱动标题或偏航角,用于推导出曲率,然后呢是用来推导曲率的变化速度。左和右车道模型分别建模,也可以不平行车道边界模型。

3.5。复杂的道路多车道线约束

3.5.1。直线合并算法

霍夫变换后得到一条直线,和大部分有价值的车道线信息。一些噪音仍然必须消除。原则上,车道线只能匹配一条直线的中间接近或字段。因此,我们想要合并的直线附近和中间领域的观点。介绍了相似性度量进行评估。如图5集群,我们行类似的距离和方向成一个类,然后使用最小二乘法来适应车道线特征点在所有行。

和 线的两个端点 ,和倾角 。 和 线的两个端点 ,倾斜的角度 。直线的倾角由点和是 。

3.5.2。不同的区域合并算法

在得到候选标记线在不同的领域,我们还需要合并中场线附近。对于分段车道,每个区域模型需要连接第一,然后,车道模型构建。连接方法分为直线模型和曲线模型。线性连接比较直线的斜率;曲线对比曲线的曲率在同一点并根据之间的距离决定了连接段合并。具体方法如下。

作为显示在图8(一个)在直线连接模式,和的两个端点是直线和和的两个端点是直线 。 和纵轴的坐标是相交的两条直线的分界线。和表示直线的山坡上和 ,分别。如果条件方程(9)是满意的和形成一个结合线段相连。是斜率差别阈值合并。是拦截合并阈值的差异。它可以根据实际情况设置。

如图8 (b)在连接模式曲线,如果曲线S1之上S2,我们扩展两个端点S1和S2 B0, C0的分频器。如果公式(9)是满意的,我们使用点S1和分和S2的确定合并后的新曲线段。是阈值时的合并。然而,当实际使用的连接,阈值的选择有很大的影响;有波动的不同部分测试,手动和不容易。

实际上,从车道线模型设计,我们取得了一个理想的假设车道线在中期和近场区域近似线性的。这大大减少了缺乏连接在角落。

4所示。实验和分析

4.1。数据集和验证

我们的实验设计主要检测真正的道路实时信息,所以真正的训练和测试数据集包括道路信息。在本文中,我们使用TuSimple巷数据集和TSD-MAX交通场景数据集验证我们方法的有效性。

的车道标记测试数据集和检查的准确性IPM的画面。我们定义的标准车道线如下:输入离散点被认为是积极的检查点在真实价值区域,TP的总长度是积极lane-mark;FN的总长度是错过了检查,它等于总标志着真正价值- TP;FP是假的总长度检查,,它的值等于所有提取lane-mark点- TP。面具R-CNN检测准确性的十字路口在联盟(借据),下面的公式(13)也适用。

4.2。复杂的道路车道线检测结果

智能车辆的驾驶过程中,由于驾驶环境的复杂性和多样性,错误和遗漏检测经常发生。我们提出基于深度学习通路标志提取算法可以保护这些不确定因素对通路标志提取结果的影响,以适应复杂多变的实际道路环境。图9使用我们的改进模型显示了训练的结果。作为显示在图9显然,我们的模型识别的所有信息。

表1显示了我们的改进方法的比较和一些语义TuSimple巷数据集分割方法。如表所示1,我们的方法更精确的比大多数的最先进的方法TuSimple巷测试数据集。基本车道线的位置分布有一定的要求,它适用于TuSimple车道数据集有一个固定的总体线性数量和场景的变化。与此同时,表1显示模型的处理速度比较。我们的方法只需要150 ms的过程,这是优于其他方法。

4.3。复杂的道路车道线拟合结果

在提取特征点之后,我们还需要适应车道线特征点。核实车道线拟合的算法的鲁棒性,我们执行current-lane检测和multilane-line检测在多个数据集。如表所示2,平均精度为97.61%。我们的方法比其他合适的算法更准确。与此同时,结合线性和多项式拟合的方法特征点在不同领域的观点比其他算法具有较高的精度。因此,验证了该算法的鲁棒性检测的准确性。

表3显示了在不同环境中检测精度。帧的总数,是错过了积极的速率,是假阳性率,是真正的积极的速度。的计算公式和是(14)和(15),分别。

数据10- - - - - -14显示的结果拟合车道线在不同的场景。第一列是直线拟合的结果,第二个是曲线拟合的结果,第三是最后的线和曲线的拟合结果。其他复杂情况如图所示15。从图可以看出,我们的匹配算法更适合真正的车道线,也是很好的在拐角处。

4.4。竞争的结果

图16显示了响应时间对比我们的方法和传统方法。结果表明,我们的方法具有更快的响应速度。这表明5 g-v2x大大提高感知复杂的道路,满足实时要求。

5。结论

在本文中,我们提出一种实时道路基于深度学习的认知方法和5 g-v2x。与传统方法相比,该方法具有较高的道路感知能力和更快的响应时间。使用线性拟合、多项式拟合方法的特征点在不同领域来看,车道标记,可以提炼出强劲在各种复杂的实际情况下,和最优参数方程的车道线。实验结果表明,本文采用的方法可以更好地适应各种类型的道路场景。该算法具有良好的检测效果在不同的场景中,处理速度快,良好的拟合效果,广泛应用场景,和强鲁棒性。在未来的工作中,我们将关注的优化匹配算法的实时性能进一步提高该方法的一个密集的交通场景。

数据可用性

和/或使用的数据集分析在当前研究可从相应的作者以合理的要求。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由北京市教育委员会项目(KM202111417001号和KM201911417001), 2021年职业教育项目的中国职业技术教育协会(批准号SZ21C037),中国国家自然科学基金(批准号。62102033,61906017,62006020,61871039,62171042),视觉情报协同创新中心(批准号CYXC2011),北京联合大学的学术研究项目(ZB10202003号,ZK40202101、ZK120202104 BPHR2020DZ02)。