高级驾驶员辅助系统(ADAS)基于识别的智能交通交通锥

文摘

发生了巨大的变化在自动化和机器视觉技术在最近几年。与此同时,要求驾驶安全、效率、和智慧也显著增加。越来越多的注意力都集中在研究高级驾驶员辅助系统(ADAS)作为智能交通中最重要的功能之一。与传统的运输相比,ADAS优越在确保乘客安全,优化路径规划,并改善驾驶控制,尤其是在自动驾驶模式。然而,3级及以上的自动驾驶仪仍不可用由于交通情况的复杂性,例如,创建的临时道路交通锥标检测。本文分析锥形交通路标检测进行协助特殊的交通条件下路径规划。一个特殊的机器视觉系统有两个单色相机和两个彩色摄像头被用来识别的颜色和位置交通锥标。结果表明,这种新方法可以识别的红色,蓝色和黄色交通锥为85%,100%,和100%的成功率,分别,同时保持交通锥标距离传感精度90%。此外,一个成功的自动驾驶仪道路进行了实验,证明相结合的颜色和深度信息识别的临时道路状况是一个有前途的未来智能交通的发展。

1。介绍

随着经济的快速发展,汽车行业出现了新的机遇。近年来,汽车保有量和司机在中国数量急剧增加。根据交通部的数据,在2018年之前,中国已经有超过3亿辆汽车和4亿名司机1),车辆的数量迅速增加,一些严重的交通问题变得明显。第一,交通安全仍然是非常具有挑战性的。在全球范围内,每年因交通事故死亡125万多人,总人数达到了3800万年初以来的汽车工业2- - - - - -4]。中国的情况并不乐观,因为有超过10万人在交通事故中受伤或死亡,每年经济价值超过100亿元人民币(元)。第二,交通堵塞越来越严重。这已经成为一个全球问题在发达国家和发展中国家由于交通接近或超过道路容量。据高德的2019年的报告,高峰期交通堵塞发生在超过57%的城市在中国,4%的城市遭受了严重的(5]。交通拥堵增加旅行时间,汽油消耗和废气排放,同时降低行车安全。

高级驾驶员辅助系统(ADAS)(智能交通的一个重要组成部分)是克服上述问题(6]。电信服务发展,传感技术、自动化、和计算机视觉技术,ADAS发展取得积极成果交通资源整合,实时车辆状态和驾驶环境监测(7- - - - - -10]。一般来说,ADAS由主动安全和被动安全。被动安全依赖于某些设备,如安全带、安全气囊、保险杠,保护乘客和减少伤害(11]。然而,被动安全无法提高驾驶安全本身,因为93%的交通事故是由司机的缺乏认识的危险12]。此外,据报道,90%的危险事故本来是可以避免的,如果司机(早些时候警告只有1.5秒13]。因此,主动安全(开发意义和预测危险的情况下)被认为是现代汽车的一个重要组成部分。通过交换数据与其他设备在互联网上的东西(物联网),主动安全模块可以帮助司机在决策基于整体交通状况和替代自适应调度的红绿灯十字路口的车辆(14]。主动安全模块也可以估计当前的风险驾驶行为通过分析从附近的车辆动态信息通过电信服务和云计算。如果风险较高,可能造成碰撞,车辆可以提醒司机正确的驾驶行为,在紧急情况下,主动安全模块可以接管控制的车辆,以避免交通事故15]。最近的主动安全模块实现交通标志的识别通过应用深机器学习技术。因此,车辆可以识别交通警告或限制并提醒司机不要违反交通规则(16]。

针对智能交通的需要,ADAS的研究集中在蒙特里,和许多国家(特别是美国、日本和一些欧洲国家)投资了很多钱和精力投入到他们的发展和优秀成果(17]。车载ad hoc网络(VANET)技术,它提供了渠道收集实时交通信息和预定车辆过境点的交叉区域,提供了一种新的方法来释放交通压力当传统的治理不能有效解决交通拥堵问题。它减少了车辆的平均等待时间,提高出行效率和安全通过收集适当的交通数据和优化的调度算法(18- - - - - -20.]。许多司机的疏忽造成的事故就可以避免交通标志是否提前注意到这些警告。交通标志识别功能,包括交通标志检测和交通标志分类,开发通过机器视觉技术来解决这个问题。由于相机拍摄图像包含许多无用的信息,滑动窗口技术已经被用于定位图像中的交通标志区域。然后,某些算法,如直方图的面向梯度(猪)、支持向量机(SVM),随机森林,和卷积神经网络(CNN),用于特征检测和分类21- - - - - -23]。滑动窗口技术是相当耗时的,一些研究人员提出其他解决方案定位(即交通区域。感兴趣的区域(ROI),降低平均图像处理时间67毫秒(24]。ADAS的最重要功能之一是避碰,感官预警技术潜在的事故风险基于某些因素,如车速、车辆之间的空间,等等22]。通过安装适当的传感器,如雷达、超声波传感器、红外传感器,多个目标车辆和150米以内的物体可以快速精确地测量和评估一个安全的距离(21,24]。一个明显的挑战,然而,是空间信息可能丢失某些盲点,传感器无法检测23]。为了解决这个问题,vehicle-to-vehicle (V2V)通信和全球定位系统(GPS)最近被引入。此后,防撞预警已经开始不仅通过被动测量分析,还收集到有效的通讯状态数据在附近的车辆25]。

尽管许多不同的措施已经被用于检测危险,仍然还有一个问题的挑战。彩色交通锥标暂时马克公路道路养护控制或事故现场保护往往很难检测和过程传感器由于其体积小的空间。如果司机和ADAS通知交通锥标在路上,可能发生严重的人类伤害和财产损失。一些富有成果的研究在检测交通锥标进行了使用相机和激光雷达传感器,使用这种技术作为机器视觉,图像处理和机器学习26- - - - - -28]。然而,一些问题已经变得明显。第一,高质量的激光雷达等传感器价格不菲,制造商不愿意安装它们没有大幅降低成本。第二,机器学习技术需要大量的系统资源,和车载电脑是不够的。因此,本研究的总体目标是开发一个具有成本效益的机器视觉系统,可以自动检测道路交通锥基于锥形分布,以避免任何潜在的事故。这种方法不仅能够认识到公路上的交通锥标但感觉他们的距离和协助车辆自动控制导航他们顺利。这需要开发的算法快速识别的交通锥标颜色和传感数据对应的距离。

2。材料和方法

2.1。实验车,交通锥标

实验车设计长度2600毫米,宽度1500毫米,1650毫米高度,和它的动力系统是由一个4啊蓄电池和直流电机80千瓦,如图1。

汽车的控制系统包含一个嵌入式计算机(英特尔i7处理器,8 g RAM),车辆控制单元(联邦),电池管理系统(BMS),制动控制器,直流电机控制器,和机器视觉系统,如图2。嵌入式计算机,它是大脑的汽车,不仅控制了机器视觉系统获取的道路图像,还将适当的命令联邦处理后图像和分析汽车的状态。联邦执行作为一个嵌入式计算机和硬件之间的桥梁。联邦收集实时状态数据的汽车,嵌入式计算机。同时,它控制BMS,直流电机控制器,和制动控制器发出有效的嵌入式计算机的命令。出于安全原因,联邦拒绝任何无效的命令或命令在一个组件的存在错误。每个部分控制系统的通信通过CAN总线250 Kbps的波特率,除了机器视觉系统与嵌入式计算机通过以太网交换数据。

红色、蓝色和黄色交通锥,广泛用于中国的公路是200 mm×200 mm×300 mm(长度、宽度和高度分别)附带反光条纹在中间,如图1。红色和蓝色交通锥被用于指示临时道路的左边和右边,而黄色的指定的开始和结束这个实验的道路。

2.2。机器视觉系统

图3显示了智能眼睛B1摄像系统(包括四个摄像头)为本研究选择。两个单色相机,由立体视觉系统中,用于遥感实时三维环境数据,而照相机检测颜色信息。根据智能B1摄像系统的规范,其空间预测误差< 6%的探测范围内0.5 -60。另外,这个摄像系统可以自动调整白平衡。所有摄像机的分辨率设置为1280720年,所有摄像机的频率设置为12帧。两个独立的与100 m以太网带宽控制的数据交换单色和彩色摄像机。相机被离地面1500毫米模拟轿车的视野。在图所示的示例图像4(一)。

2.3。通过立体视觉检测范围

在这个实验中,两个单色相机被用来构建一个立体视觉。一个点P(x,y,z)投射到两个摄像头的世界坐标系统的坐标P_左(xl,yl型,zl),P_正确的(xr,年,zr)。因为两个摄像头的高度是相同的,的值yl型和年是相同的和三维坐标可以变成了二维坐标进行分析,如图5。f相机的焦距,b左、右摄像机的基线。

根据三角形相似定律,存在以下关系:

从方程(1),x,y,z值可以用以下公式计算:

深度图像D(x,y),其中包括在每个像素对象的距离信息,生成的z值作为一个32位浮动矩阵可以通过handleDisparityPointByPoint可视化()API从摄像系统的标准开发工具包(SDK)。加工深度图像呈现在图4 (b),温暖的颜色指示距离越长。最初的深度图像格式从32位浮动矩阵转换为一个彩色图像由于浮动数据和像素值超过255,并没有显示在当前的操作系统。

2.4。锥形交通路标检测

锥形交通路标检测,使用c++语言开发了OpenCV库,包括四个功能:识别颜色,大小和距离计算、噪声过滤和交通锥标记。

2.4.1。颜色识别

所有交通锥有相同的形状、大小和反射条纹,除了他们的颜色。自之间的差异黄色,红色,和蓝色的颜色是显而易见的,他们可以区分从彩色图像处理这些图像在白天时间。所示的颜色检测算法方程(3)。红色,绿色和蓝色的彩色图像的每个像素值H(x,y)被用于比率计算,确定该像素的颜色特性。从T1到T7的阈值是根据实验结果:

2.4.2。大小和距离计算

当所有锥形交通路标在图像像素H(x,y)标志、交通锥的规模和距离计算,如方程所示(4)。大小年代是一个孤立的交通锥标区域的像素数量H(x,y),而D是同一区域的平均灰度值的深度图像吗D(x,y)。

2.4.3。噪声滤波和目标标记

因为各种对象出现在彩色图像的颜色类似的交通锥,有必要消除这些噪音。因为反向比例的交通锥标尺寸的距离图像,过滤假锥形交通路标的像素进行基于大小年代和平均距离数据D,见方程(5)。锥形交通路标被忽略,除非年代在距离小于阈值吗D,如果确认年代等于或大于阈值D。最后,计算最小外部矩形标记所有在该地区现有的交通锥标检测交通锥标:

3所示。结果与讨论

实验分为颜色标记测试和距离匹配测试。颜色标记测试主要是集中在锥形交通路标识别,而空间匹配测试验证的距离测量功能。此外,进行了道路试验来验证算法的稳定性和效率。

3.1。锥形交通路标识别测试

二十红色交通锥,十四蓝锥,十六个黄色锥是手动放置在前面的实验车。如图6,公认的交通锥标着矩形的尸体锥一样的颜色,而无法识别的是标有白色矩形。蓝色和黄色交通锥标达到检测成功率100%,当红色的准确发现85%的时间。三个未被发现的红色交通锥标都靠近左边和右边的图像和放置在一个部分的操场上红色的颜色。同时,其中一个是10米远的地方,相机,和两个二十米远的地方,相机。地面颜色可能会影响红颜色识别。

3.2。距离匹配测试

锥形交通路标标记过程后,距离数据匹配进行了测试,实验结果如图所示7。14个蓝色和十六个黄色交通锥标与相应的匹配距离的数据深度图像,准确率100%。然而,只有15年的20红色交通锥标对应的距离深度图像的像素区域中的数据。除了三个未被发现的红色交通锥标在识别测试中,两个红色的左侧,是接近蓝色,颜色不匹配和深度。覆盖可能这个错误的原因。因此,45的50交通锥标成功与他们的距离信息,和整体的成功率是90%。成对的预测误差存在交通锥标从2厘米到1.1 m预测之间的距离和手动测量距离,这个错误就当相机和锥之间的距离增加。这个错误是在6%,这是可接受的在实验车跑10公里/小时的速度。

3.3。道路试验

模拟一个临时道路,交通锥标红色被指定为左侧道路边界和蓝色的被指定为正确的道路边界。黄色交通锥标是用来指示临时道路的开始和结束。任意两个交通锥标之间的距离相同的颜色是5米,和临时道路的宽度的红色和蓝色锥是3 m。临时道路包括曲线段和直线段,和测试图像如图的必经之路8。

实验表明,机器视觉系统可以检测红、蓝、黄色交通锥标,实验车自动驾驶模式可以成功导航一个临时道路10公里/小时的速度。没有类似颜色的影响,识别的成功率增加。有时,一个或两个交通锥标失踪的框架颜色和深度图像,这可能解释为以下。首先,一些锥附近左边和右边的图片不能配对的颜色和深度,同样发生在最初的静态测试。因为车之间的距离和图像的边缘附近的交通锥标很长,误差不会影响驾驶安全。此外,12帧的颜色和深度图像捕获在一个第二,所以失踪的锥可以检测到在以下离开时帧图像边界地区。第二,交通锥标,是进出图像实验车移动时可能没有被发现如果他们只是部分。一旦这些交通锥标完全进入图像,自动解决了这个问题。

4所示。结论

一个基于彩色和深度图像的图像处理算法被成功地应用于交通锥标检测。每个图像帧在80 ms进行了分析,其中包括一个颜色和一个深度图像捕获和处理。识别的交通锥标非常准确的颜色,颜色识别的成功率是85%,100%,100%,红色,蓝色,黄色的视锥细胞,分别。此外,距离成功感到90%的交通锥标配对颜色和深度图像。一些锥失踪的图像帧定位时的图像边缘区域,但他们可能会发现在以下帧的动态测试。12帧每秒的机器视觉系统,视锥细胞在自然的边缘区域的移动相机的视野。这个方法是非常有效的临时道路的交通锥标不同的颜色。使用成对的彩色和深度图像的优点为锥形交通路标检测可以概括如下。(1)该方法敏感小安全交通锥标。(2)它使用一个高效和稳定的算法进行识别处理。 (3) It is a cost-effective solution for maintaining safe driving on temporary roads.

数据可用性

所有数据呈现和分析的研究从实验室测试获得北京信息科技大学在北京,中国。所有实验室检测数据在本文给出的数据和表。我们将会非常高兴分享我们所有的原始数据。如果需要,请联系我们通过电子邮件:suqinghua1985@qq.com。

的利益冲突

作者宣称没有利益冲突。

确认

作者要感谢国防科技项目(JCCPCX201705)。作者还欣赏北京信息科技大学的大力支持与秦新人才培养计划(QXTCPA201903和QXTCPB201901),科研水平促进项目”(2020 kynh112),和学校研究基金会(2025041)。

引用

1. 中国道路交通安全协会(车)、“中国机动车辆和司机保持2016年的快速增长后,“道路交通管理2017年,卷2,p。9日,在中国。视图:谷歌学术搜索
2. m高,河北省高速公路交通事故的分析和预防措施[D]中国人民公安大学,北京,中国,2019年,在中国。
3. p . j . Ossenbruggen j . Pendharkar和j·伊万,“小城市化和农村道路安全。”事故分析和预防,33卷,不。4、485 - 498年,2001页。视图:出版商的网站|谷歌学术搜索
4. t . Toroyan“道路安全全球现状报告2013:支持行动十年,“伤害预防,15卷,不。4 p。286年,2013年。视图:谷歌学术搜索
5. Xinhuanet.com,”分析报告2018年在中国主要城市交通高德公布的第三季度,“城市交通》第六卷,第107 - 106页,2018年,在中国。视图:谷歌学术搜索
6. r, l .郭l .金et al .,“最近的研究在智能车辆安全辅助驾驶技术,”公路交通技术,24卷,不。7日,页。107 - 111年,2007年,在中国。视图:谷歌学术搜索
7. i . f . Akyildiz w·苏Weilian y Sankarasubramaniam,和e . Cayirci“传感器网络的一项调查,”IEEE通讯杂志,40卷,不。8,102 - 114年,2002页。视图:出版商的网站|谷歌学术搜索
8. 马和z,计算机视觉:计算理论与算法基础,北京科学出版社,北京,1998,(在中国)。
9. 彝族的太阳,短程无线通信和网络技术、西安电子科技大学出版社,西安,中国,2008年,(在中国)。
10. 江z哲,h·贾w . et al .,研究智能控制技术,河北科技大学和工业出版社,河北,中国,2010年,(在中国)。
11. y聂,“汽车安全辅助驾驶技术,分析”交通和运输,卷2,页151 - 153,2008,(在中国)。视图:谷歌学术搜索
12. l .嘉兴基于Multi-Parameret融合的驾驶员疲劳监测和预警系统、兰州大学、兰州,中国,2013。
13. m . Tetsuya和n . Hidetoshi”分析驾驶员的眼动特征之间的关系和视觉场景在推动事件”学报2011年IEEE国际会议在模糊系统(FUZZ-IEEE 2011)。IEEE,台北,台湾,2011年6月。视图:谷歌学术搜索
14. k, d, a . de La Fortelle x,和j·格雷戈勒,“政府主导的优先级调度机制无人驾驶车辆接近十字路口,“IEEE智能交通系统,16卷,不。5,2487 - 2500年,2015页。视图:出版商的网站|谷歌学术搜索
15. e . y . Wang Wenjuan, d .田g . Lu和y . Wang“车辆碰撞预警系统和基于车辆的碰撞检测算法基础设施集成”学报中国先进交通论坛(2011年AFTC), 7日。专业2011年10月,北京,中国。视图:谷歌学术搜索
16. t·陈和美国,“准确、高效的交通标志检测使用歧视演算法和支持向量回归,”IEEE车辆技术,卷65,不。6,4006 - 4015年,2016页。视图:出版商的网站|谷歌学术搜索
17. f·杨,”无人驾驶车辆的发展现状和前景,”上海汽车,3卷,页35 - 40,2014,(在中国)。视图:谷歌学术搜索
18. 答:宝宝,a . Zanella b . m . Masini g .的元素欧洲会议网络与通信学报》上。IEEE2014年10月,瓦伦西亚,西班牙。
19. g . Wang y, y, y, n, n . Cheng,“Tlb-Vtl:三级缓冲虚拟智能协作的十字路口的红绿灯方案为基础,”诉讼IEEE 86车辆技术会议(Vtc-Fall),页1 - 5,多伦多,加拿大,2017年9月。视图:谷歌学术搜索
20. m·b·尤尼斯和a . Boukerche”使用车载网络的智能交通灯控制算法”,IEEE车辆技术,卷65,不。8,5887 - 5899年,2016页。视图:谷歌学术搜索
21. m . Betke大肠Haritaoglu, l·s·戴维斯“硬实时多个车辆检测和跟踪,”《IEEE智能车辆研讨会。IEEE美国拉斯维加斯,NV, 1996年7月。视图:谷歌学术搜索
22. x y . Chen黄、杨,“汽车防撞预警系统的研究与开发,“计算机模拟》12卷,第251 - 247页,2006年,(在中国)。视图:谷歌学术搜索
23. 美国德、美国吸引和h·杨”Sampling-based碰撞预警系统在云计算环境中,与智能手机”学报2015年IEEE智能车辆IEEE研讨会(IV)美国小姐,迪尔伯恩,2015年6月。视图:谷歌学术搜索
24. c .王设计和实现汽车主动安全预警系统、大连理工大学、大连,中国,2013。
25. j·杨,j . Wang和刘,”一个十字路口碰撞预警系统在VANET使用wi - fi手机,”全球通信会议DBLP学报》上2011年12月,亚特兰大,乔治亚州,美国。视图:谷歌学术搜索
26. a .迪豪d戴,l . Van干傻事实时三维锥形交通路标检测自动驾驶,2019年。
27. 黄y和j·雪,“实时交通锥为自动车辆检测,”程序控制的IEEE会议皮斯卡塔韦,新泽西,美国,2015年。视图:谷歌学术搜索
28. d . l .周h . Wang Wang l .谢和k P t形,“锥形交通路标检测和定位在2013年techx挑战,”物理评论快报Na,卷234,不。2、287 - 297年,2015页。视图:谷歌学术搜索

版权

版权©2020投入王等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。