车道检测基于连接的各种特征提取方法

文摘

车道检测是一个具有挑战性的问题。它引起了计算机视觉的注意社区几十年。从本质上讲,车道检测是multifeature检测问题已经成为一个真正的挑战对于计算机视觉和机器学习技术。尽管许多机器学习方法用于车道检测,他们主要用于分类,而不是功能的设计。但是现代机器学习方法可以用来识别功能丰富的识别和在特征检测测试中取得了成功。然而,这些方法没有完全实现在车道检测的效率和精度。在本文中,我们提出一个新的方法来解决这个问题。我们介绍一种新的预处理方法和ROI的选择。主要目标是使用HSV颜色变换提取白特性和添加初步边缘特征检测在预处理阶段,然后选择ROI的基础上提出了预处理。这个新的预处理方法用于检测车道。 By using the standard KITTI road database to evaluate the proposed method, the results obtained are superior to the existing preprocessing and ROI selection techniques.

1。介绍

随着社会的快速发展,汽车已经成为人们出行的交通工具之一。在狭窄的道路,有越来越多的各种各样的车辆(1]。随着越来越多的汽车行驶在路上,车祸的受害者的数量每年都在增加(2]。如何安全驾驶条件下大量的车辆和狭窄的道路已成为关注的焦点。高级驾驶员辅助系统包括车道偏离警告(LDW) [3)、车道保持辅助和自适应巡航控制系统(ACC) (4)可以帮助人们分析当前的驾驶环境,为安全驾驶提供适当的反馈或提醒司机在危险的情况下。这种辅助驾驶系统将变得越来越完美(5]。然而,这个系统发展的瓶颈是道路交通环境是很难预测6]。调查后,在复杂的交通环境中车辆很多,速度太快,事故的概率比平时大得多。在这样一个复杂的交通状况,道路颜色提取纹理检测和道路边界和车道标志是人类驾驶的主要知觉线索(7]。

车道检测是机器学习领域的一个热门话题和计算机视觉已经应用在智能车辆系统8]。车道检测系统来自车道标记在一个复杂的环境,用于估计车辆的位置和轨迹相对于车道可靠(9]。与此同时,车道检测车道偏离警告系统中起着重要的作用。车道检测任务主要分为两个步骤:边缘检测和行检测。

清et al。10)提出了扩展边缘连接算法和定向边缘差距缩小。新的可以用该方法获得的边缘。μ和马Sobel边缘算子提出了一种可以应用于自适应感兴趣的区域(ROI) (11]。然而,仍然有一些虚假边缘检测后的边缘。这些错误会影响随后的车道检测。王等人提出了一个精明的边缘检测算法对特征提取(12]。该算法提供了一个精确的适合车道线和能适应复杂的道路环境。2014年,斯利瓦斯塔瓦等人提出,精明的边缘检测的改进可以有效应对各种声音在道路环境中(13]。Sobel和精明的边缘算子是最常用和有效的边缘检测方法。

在车道线检测和边缘检测一样重要检测。关于线检测,我们通常有两种方法,包括feather-based方法和基于模型的方法。妞妞等人使用一种改进的霍夫变换提取的车道配置和使用DBSCAN噪音(基于密度的空间应用程序集群)聚类算法的聚类(14]。2016年,Mammeri等人使用进步的概率霍夫变换结合最大稳定极限面积(ms)技术来识别和检测车道线,利用卡尔曼滤波器实现连续跟踪(15]。然而,该算法并不在晚上工作得很好。

在本文中,我们提出一个车道检测方法,适用于各种复杂的交通情况下,尤其是在道路行驶速度太快。首先,我们预处理每一帧图像,然后选择感兴趣的区域(ROI)的图像处理。最后,我们只需要边缘检测车辆和线路检测的ROI区域。在这项研究中,我们介绍了一种新的预处理方法和ROI的选择方法。首先,在预处理阶段,我们RGB颜色模型转换到HSV颜色空间模型和提取白HSV模型特性。同时,初步边缘特征检测添加在预处理阶段,然后选择下面的部分图像ROI区域的基础上,提出了预处理。与现有的方法相比,现有的预处理方法只执行操作,如灰色模糊,X-gradient, Y-gradient,全球梯度,推敲,形态学闭包。和选择的ROI区域的方法也完全不同。有些是基于边缘特征的车道选择ROI区域,和一些基于颜色特征的车道选择ROI区域。这些现有的方法不能提供准确、快速通道的信息,从而增加车道检测的困难。 In this paper, experiments show that the proposed method is significantly better than the existing preprocessing method and ROI selection method in lane detection.

2。提出了系统的概述

介绍了一种先进的车道检测技术来提高效率和精度的实时车道检测(16]。车道检测模块通常分为两个步骤:(1)图像预处理和(2)的建立和匹配线车道检测模型。

图1显示我们提出的总体图系统,车道检测模块是本文的主要贡献。第一步是看视频帧流。第二步是进入图像预处理模块。与众不同的是,在预处理阶段我们不仅处理图像本身也做颜色特征提取和边缘特征提取(17]。为了降低噪声的影响和跟踪运动的过程中,提取图像的颜色特征后,我们需要使用高斯滤波器来平滑图像。然后,通过二进制图像阈值处理和形态学闭包。这些都是本文中提到的预处理方法。

接下来,我们选择感兴趣的自适应区域(ROI)的图像预处理。最后一步是车道检测。首先,精明的经营者是用来检测车道线的边缘;然后使用霍夫变换检测车道线。最后,我们使用扩展卡尔曼滤波(EKF)实时探测和跟踪车道线。

3所示。提出的方法

本文基于之前的预处理,我们首先提取颜色特征的基础上,白色,然后提取边缘特征基于直巷。因为高速部分是交通事故多发的部分,高速路段主要是直线车道(18]。因此,为了获得很高的识别率,我们先后进行色彩检测和边缘检测车道。本文结合了颜色特征提取和边缘特征提取,并实验证明了车道检测的识别率和准确性大大提高。

本文的主要贡献是在预处理阶段做大量的工作。我们提出了执行的HSV颜色变换预处理阶段,然后提取白,然后按顺序执行传统的预处理操作。此外,我们选择了一种改进的方法感兴趣的区域(ROI)。本文基于提出的预处理方法(HSV色彩变换后,白色的特征提取,基本预处理),一半的一部分处理图像选择感兴趣的区域(ROI)。此外,我们进行边缘检测的两倍。首先在预处理阶段,第二个是在车道检测阶段ROI后被选中。执行两次边缘检测的目的是提高识别率。

本文使用霍夫变换直线检测。图2显示了霍夫变换的基本原则。在图2(一个),每个点的直线穿越点 和点 对应于一条直线 和一条直线 在参数空间映射图2哈夫变换后(a);两条线相交的点 ,在哪里和的参数是由点线 和点 在图2(一)19]。相反,直线 和直线 图的参数空间在哪里2(b)在同一点共线的相交点在图2(一)通信(20.]。根据这一特点,给出一些具体的点在图2(一),连接这些点在图线方程2(b)可以通过霍夫变换计算。

霍夫变换是实现极坐标形式(21]

在哪里 在二进制图像非零像素的坐标。 轴和安装线之间的距离。 轴之间的夹角和法线。的值范围±90°。

如图3霍夫变换变换图像的点图3(一)到极坐标图的参数空间3(b)。我们可以看到,共线点 和点 在图3(一)相交于同一点 在图3(b)。在这里,和的极性参数所需的直线(21]。

不同的图2(b),当图3(b)是用极坐标表示,共线点 和点 在原始图像映射到参数空间相交点 (21]。

卡尔曼滤波算法用于实时跟踪车道线。在本文中,我们使用扩展卡尔曼滤波(EKF)实时跟踪车道(22]。后的参数和莱恩的基于直线模型得到Hough变换的数字2和3,车道线可以使用卡尔曼滤波器的跟踪。卡尔曼滤波器跟踪算法中描述表1参数的初始值和协方差的初始值设置为单位矩阵,和当前状态的预测值是以前的跟踪结果状态21]。当前状态的真正价值是当前阅读的序列帧;因此当前状态的跟踪价值(最优估计结果)。这个值也被用作下一个状态的预测价值实现循环巷参数的估计,即跟踪(23]。表1显示了扩展卡尔曼滤波算法模块。

如图4在输入图像帧之前,我们做了准备,比如计算车辆参数维度的平均值和卡尔曼滤波器参数设置。输入图像帧被精明的边缘检测算子和由此产生的边缘图像。然后,我们添加参数和基于直线的车道线模型,获得了霍夫变换和确定巷参数和维霍夫变换检测到的是相同的所有输入帧图像。如果他们相等,使用卡尔曼滤波器对车道跟踪,或输入维数加法和减法模块调整参数维度。

4所示。实验

4.1。预处理

预处理是图像处理的一个重要组成部分和车道检测的一个重要组成部分。预处理可以降低算法的复杂性,从而减少后续程序处理时间。视频输入RGB-based颜色从相机获得的图像序列。为了提高车道检测的准确性,许多研究人员采用不同的图像预处理技术。

平滑和过滤图形是一种常见的图像预处理技术。过滤的主要目的是消除图像噪声,增强图像的效果。低通和高通滤波操作可以执行2 d图像,低通滤波去噪(LPF)是有利的,和图像模糊和高通滤波(高通滤波器)是用于查找图像边界(24- - - - - -26]。为了执行平滑操作,一个平均值,中位数(8),或高斯23)可以使用过滤器。在[24),为了保持细节和删除不需要的噪声,徐和李首先使用中值滤波过滤图像,然后使用一个图像直方图,以增强灰度图像(23]。

4.2。颜色变换

颜色模型变换是机器视觉的一个重要组成部分,也是不可或缺的一部分车道检测。实际的道路交通环境,光强度都会产生噪声干扰的识别颜色。我们不能检测分离的白线,黄线,从背景和车辆。视频流中使用的RGB颜色空间是极其敏感的光强度,以及处理光线的影响在不同的时间并不理想。摘要RGB视频帧序列流colour-converted到HSV颜色空间图像。数据5(一个)和5 (b)图像的RGB色彩空间和HSV颜色空间,分别。HSV代表色调,饱和度,和价值6]。我们可以看到在图6,白色和黄色的颜色非常明亮的值在V-component比其他颜色和很容易提取,为下一个颜色提取提供了一个良好的基础。实验表明,处理在HSV颜色空间是更健壮的检测特定的目标。

4.3。基本的预处理

如图7,大量的视频帧将预处理。图片是单独灰色了,模糊,X-gradient计算,Y-gradient计算,全球梯度计算,框架的推敲,形态闭包(25]。为了满足不同照明条件下,自适应阈值是在预处理阶段实现的。然后,我们将获得的图像中斑点从二进制转换和执行形态学关闭操作。从图可以看出7,基本预处理帧不能很好的去除噪声。从结果可以看出形态学关闭后,虽然初步巷可以获得的信息,还有大量的噪音。

4.4。添加颜色提取的预处理

为了提高车道检测的准确性,我们添加一个特征提取模块在预处理阶段。特征提取的目的是保持任何特性是可能nonlane巷和删除功能。本文主要进行特征提取的颜色。灰色后的图像和颜色模型转换,我们添加白色的特征提取,然后依次进行传统的预处理操作。颜色提取的过程提出了如图8。

4.5。增加了边缘检测的预处理

本文进行了边缘检测两次先后;第一次是执行广泛的边缘检测提取整个帧图像。第二,边缘检测后再执行后的车道检测ROI的选择。这检测进一步提高车道检测的准确性(22]。本节主要执行整个帧图像边缘检测,使用改进的精明的边缘检测算法。精明的算子边缘检测的具体步骤如下:首先,我们使用高斯滤波器来平滑图像预处理图像,然后使用Sobel算子来计算梯度大小和方向。下一步是抑制nonmaximal梯度幅值的价值。最后,我们需要使用双门限算法检测和连接边缘。图9显示了提取后的图像与精明的边缘检测。

4.6。ROI的选择

边缘检测的精明的边缘检测后,我们可以看到,获得优势不仅包括所需的车道线边缘,但也包括其他不必要的车道和周围的栅栏的边缘。删除这些额外的边缘的方法是确定一个多边形的视觉区域,只有离开可视区域的边缘信息。基础是相对于汽车摄像机是固定的,和车的相对位置对车道也是固定的,所以巷基本上是保存在一个固定区域的相机。

为了降低图像冗余,降低算法的复杂性,我们可以设置一个自适应图像上感兴趣的区域(ROI) (19]。我们只设置输入图像ROI区域,该方法可以提高系统的速度和准确度。在本文中,我们使用标准的KITTI道路数据库(26]。我们把每一帧的图像运行车辆的视频分为两部分,一半的下部图像的帧作为ROI区域。图10显示了ROI的选择样本帧(a) (b)、(c)和(d)处理的预处理。四个不同样本的图像帧已经能够充分显示车道信息处理后提出的预处理方法,但不仅车道信息,而且很多nonlane噪声存在于图像的上半部分。所以我们剪下图片的下半部分(1/2)作为ROI区域。

4.7。车道检测

车道检测模块主要分为车道边缘检测和线性车道检测。本节实现了基本功能的车道检测和执行车道检测基于改进预处理和拟议的ROI的选择。

4.8。边缘检测

车道检测的特征提取是非常重要的。有很多常见的边缘检测方法,如精明的变换,Sobel变换,拉普拉斯算子变换(18,24]。我们选择哪个更好精明的变换。如图11提出后,我们精明的边缘检测进行ROI的选择。

4.9。车道检测

车道检测方法包括基于特征的方法和基于模型的方法。本文中使用的方法的功能是检测车道的颜色和边缘特征以提高车道检测的准确性和效率。

有两种方法来实现直线车道检测。一个是使用脚腕行检测函数封装OpenCV图书馆常用的图像处理,并绘制原始图像的车道线在相应的区域。另一种是程序控制。头文件,ROI区域遍历进行线路检测为一个特定的角度范围(27]。

这两种方法都可以反映在视频和第一种方法运行得更快。由于本文的重点在于车道检测的准确性和效率,我们选择第一个方法(踝关节行OpenCV库中的函数)为线性检测运行得更快。此外,由于霍夫变换对噪声和可以处理直线,霍夫变换提取车道线参数用于图像序列的每一帧的车道检测。

在图像处理中,霍夫变换是用于检测任何形状,可以用一个数学公式表达,即使坏了或者有些扭曲的形状。与其他方法相比,霍夫变换可以找到降噪优于其他方法。经典霍夫变换通常是用来探测线,圆,椭圆等。如图12、车道检测使用的脚腕样本帧(a), (b)、(c)和(d)。

4.10。车道使用扩展卡尔曼滤波跟踪

完成车道检测之后,下一步是跟踪车道,这也是智能的关键技术和自动化工具(干腊肠)[24]。

图像边缘检测技术和线性车道检测技术用于检测车道;卡尔曼滤波器是用来跟踪这些参数(一个接一个22]。这样,车道线跟踪转化为车道线参数的跟踪,这不仅提高了跟踪的速度,而且还介绍了卡尔曼跟踪的方法来提高跟踪精度。

实验结果如图13和14。实时跟踪车道线检测视频流。图13显示在不同的时间不同的车道检测结果(我),(2),(3),(4)在一个视频。图14显示在不同的时间不同的车道检测结果(我),(2),(3),(4)在另一个视频。

5。结果与讨论

图15显示四帧图像的预处理。框架(我)和框架(我)是由基本处理预处理(没有白特征提取),和帧(a.ii)和框架(b.ii)提出处理的预处理(白色特征提取)。从图15我们可以看到,框架(a.ii)和框架(b.ii)提出处理的预处理可以显示车道线。但是有大量的白色残留物在坐标系(我)和框架(我),很难检测车道线。因此,基本框架的预处理不适合车道检测。针对这些,我们建议增加HSV色彩转换在预处理阶段,然后提取模糊前的白色框架的特性,从而达到更好的检测效果,提高检测精度。

如图16、帧(a)和(b)帧提取白功能,分别。

大多数研究学者直接在原始图像上执行ROI的选择。本文提出了一种新的ROI的选择方法。实验表明,该ROI选择可以提高车道检测的准确性和效率。

数据17和18显示白色的ROI选择功能。从数据可以看出,ROI选择白色的特性不能准确检测车道线的面积,最终会产生一个巨大的错误。

一半的输入帧提出了ROI的选择。如图19ROI选择在原始图像上实现边缘检测和车道检测在选定的ROI区域。相比之下,图12,结果最后的车道检测包含许多nonlane地区,和车道检测的效果很差。巷参数标记越多,计算效率较低。因此,本文提出的方法可以降低巷参数的数量,从而减少了计算时间,提高检测效率。

量化车道检测的准确性,我们使用的正确检出率来评估我们的方法的性能下的车道检测所使用的数据集。对于该方法的更好的结果,我们第一组图像的数据集的大小相同的大小和随机取300,500,800,1000,1500年的训练集图像作为测试集。为了验证我们方法的卓越,如图20.相比,我们的检测效率基本车道检测预处理方法的探测效率提出了预处理方法。此外,如图21,我们也比较的车道检测效率的车道检测方法选择ROI区域只有基于车道的颜色的车道检测效率提出了ROI选择方法。从数据20.和21的结果,我们可以看到,该方法实现最高的正确检出率来证明我们提出的方法的有效性。

6。结论

在本文中,我们提出了一种新的选择车道检测预处理和ROI方法设计一个车道检测系统。主要的思想是传统基本预处理前添加白色的提取。还添加了边缘提取在预处理阶段改善车道检测精度。我们还提出了预处理后的ROI的选择。相比之下,选择在原始图像ROI,它减少了nonlane参数和改进的车道检测的准确性。目前,我们只使用霍夫变换检测直巷和卡尔曼滤波器跟踪车道,不开发先进的车道检测方法。在未来,我们将开发一个更高级的车道检测方法来提高性能。

数据可用性

拟议的车道检测数据用于支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

本文也支持地方高校的项目能力建设(没有在上海科委。15590501300)。

引用

1. d·波默洛,”拉尔夫:迅速适应横向位置处理程序”智能车辆95年学报》上。研讨会,页506 - 511年,底特律,MI,美国,2003年。视图:出版商的网站|谷歌学术搜索
2. j·纳瓦罗,j .丹尼尔e . Yousfi c . Jallais m·布埃诺和a .堡”的影响发生车道偏离警告和可靠性对汽车司机的行为,”应用人体工程学59卷,第131 - 123页,2017年。视图:出版商的网站|谷歌学术搜索
3. p . n . Bhujbal和s . p . Narote车道偏离警告系统基于霍夫变换和欧几里得距离,”学报》第三届国际会议上图像信息处理,ICIIP 201512月,页370 - 373,印度,2015。视图:谷歌学术搜索
4. 诉Gaikwad和美国Lokhande车道偏离高级驾驶员辅助识别。”IEEE智能交通系统,16卷,不。2、910 - 918年,2015页。视图:出版商的网站|谷歌学术搜索
5. h·朱K.-V。袁、l . Mihaylova和h .梁“智能车辆环境感知的概述,IEEE智能交通系统,18卷,不。10日,2584 - 2601年,2017页。视图:出版商的网站|谷歌学术搜索
6. f .元,z,吴,y, y方,“实时图像感烟探测使用楼梯searching-based演算法和动态双阈值分析,“专业图像处理,9卷,不。10日,849 - 856年,2015页。视图:出版商的网站|谷歌学术搜索
7. P.-C。吴,彭译葶。Chang和c·h·林”Lane-mark提取汽车在复杂条件下,“模式识别卷,47号8,2756 - 2767年,2014页。视图:出版商的网站|谷歌学术搜索
8. M.-C。壮族,J.-N。黄,和k·威廉姆斯,“一个特征学习和对象识别框架,水下的鱼图片,”IEEE图像处理,25卷,不。4、1862 - 1872年,2016页。视图:出版商的网站|谷歌学术搜索|MathSciNet
9. y齐藤,m .伊藤和t . Inagaki”驾驶员辅助系统双重控制方案:确定司机困倦的有效性,防止车道偏离事故,”IEEE人机系统,46卷,不。5,660 - 671年,2016页。视图:出版商的网站|谷歌学术搜索
10. 问:林、y汉和h·哈恩,“实时车道偏离检测基于扩展Edge-Linking算法,”学报2010年的第二次国际会议上计算机研究和开发,页725 - 730,吉隆坡,马来西亚,2010年5月。视图:出版商的网站|谷歌学术搜索
11. c .μ和x马,”莱茵检测对象分割和分段拟合的基础上,“TELKOMNIKA印尼电气工程期刊》上,12卷,不。5,3491 - 3500年,2014页。视图:谷歌学术搜索
12. J.-G。王,C.-J。林,S.-M。陈,“应用模糊方法建立车道检测和预警系统,”专家系统与应用程序,37卷,不。1,第126 - 113页,2010。视图:出版商的网站|谷歌学术搜索
13. 斯利瓦斯塔瓦,m . Lumb r信号,“改善巷使用混合中值滤波器和改进的霍夫变换检测,”国际先进研究期刊》的研究在计算机科学和软件工程,4卷,不。1,30-37,2014页。视图:谷歌学术搜索
14. j .朴和h Shin“健壮的假设一代使用二进制blob分析多车道检测方法,”专业图像处理,11卷,不。12日,第1218 - 1210页,2017年。视图:出版商的网站|谷歌学术搜索
15. m . j .妞妞j . Lu, p . Lv和x赵,“健壮的车道检测使用两级特征提取和曲线拟合,“模式识别59卷,第233 - 225页,2015年。视图:出版商的网站|谷歌学术搜索
16. j .儿子h .柳、s . Kim和k .孙”实时光照不变的车道检测车道偏离警告系统,”专家系统与应用程序,42卷,不。4、1816 - 1824年,2015页。视图:出版商的网站|谷歌学术搜索
17. A . Mammeri A Boukerche z唐,“实时车道标记定位、跟踪和通信系统,”计算机通信卷,73年,第143 - 132页,2016年。视图:出版商的网站|谷歌学术搜索
18. w·h·c·j·陈,b . Wu, c . c . Kao黄懿慧陈,“移动车道偏离警告系统,”学报2009年IEEE第13届国际研讨会消费类电子产品,2009年,页1 - 5。视图:谷歌学术搜索
19. j·w·李,c·d·凯和英国,“车道偏离识别新方法,”《IEEE IV2003智能车辆研讨会,第105 - 100页,2003年。视图:谷歌学术搜索
20. j·w·李和英国,“基于LBPE车道偏离识别、霍夫变换、线性回归,”计算机视觉和图像理解,卷99,不。3、359 - 383年,2005页。视图:出版商的网站|谷歌学术搜索
21. 徐h . h·李,“研究一个健壮的车道偏离警告算法的方法,”诉讼的EEE信号处理系统(ICSPS)国际会议,第204 - 201页,2010年。视图:谷歌学术搜索
22. a·博卡·m·海耶斯和m·t·史密斯,“健壮的车道检测和跟踪Ransac和卡尔曼滤波器”学报2009年IEEE国际会议上图像处理、ICIP 20092009年11月,页3261 - 3264。视图:谷歌学术搜索
23. 徐h . h·李,“研究一个健壮的车道偏离警告算法的方法,”《IEEE国际会议信号处理系统(ICSPS),第204 - 201页,2010年。视图:谷歌学术搜索
24. 实时h·陈和z金”,研究基于机器视觉的车道线检测Techonogy,”《2010年国际研讨会上智能信息处理和可信计算(IPTC)黄冈,页528 - 531年,中国,2010年10月。视图:出版商的网站|谷歌学术搜索
25. h·昂和m . h .凿”视频使用霍夫变换车道偏离警告系统,”国际会议的程序在工程和技术的进步,页85 - 88,新加坡,2010年。视图:出版商的网站|谷歌学术搜索
26. j·弗里奇、t . Kuhnl和盖革,“一个新的道路检测算法,性能测量和评价基准”16学报》国际智能交通系统(ITSC IEEE会议13)IEEE,页1693 - 1700年,海牙,荷兰,2013年10月。视图:出版商的网站|谷歌学术搜索
27. 研究所。黄和B.-H。陈,“自动移动物体提取通过真实的可变带宽网络流量监测系统,”IEEE工业电子产品,卷61,不。4、2099 - 2112年,2014页。视图:出版商的网站|谷歌学术搜索

版权

版权©2018 Mingfa李等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。