JS 杂志上的传感器 1687 - 7268 1687 - 725 x Hindawi 10.1155 / 2020/4372847 4372847 研究文章 车辆使用两个不同的焦距相机探测和测距 https://orcid.org/0000 - 0003 - 3503 - 6962 刘 小君 https://orcid.org/0000 - 0002 - 1814 - 3371 张 鲁伊 Diraco 乔凡尼 汽车与交通工程学院 江苏大学 212013年 中国 ujs.edu.cn 2020年 20. 3 2020年 2020年 14 10 2019年 04 02 2020年 21 02 2020年 20. 3 2020年 2020年 版权©2020刘骏和鲁伊·张。 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

自动驾驶的车辆检测是一个至关重要的任务和要求精度高和实时的速度。考虑到当前的深度学习对象检测模型尺寸太大了,被部署在车辆,本文介绍了轻量级网络YOLOv3修改特征提取层,提高剩余的卷积结构,和改进的轻量级YOLO网络减少了网络参数的数量意思四分之一。然后,车牌检测来计算实际的车辆宽度和车辆之间的距离估计的宽度。提出了一种探测和测距融合方法基于两个不同的焦距相机解决困难的问题检测和低精度引起的小车牌时,距离是遥远的。实验结果表明,平均精度和召回自建数据集上的轻量级YOLO训练有素的意思比YOLOv3低4.43%和3.54%,分别,但网络的计算速度减少49女士每帧。路上实验不同的场景也表明,长时间运行和短焦距镜头融合等方法显著提高了测距的精度和稳定性。测距结果的平均误差小于4%,和稳定的范围可达100米的范围。该方法可以实现车载嵌入式平台上实时车辆检测和测距杰森泽维尔,满足自动驾驶环境感知的需求。

 1。介绍

自动驾驶技术不仅促进了司机,也提高了安全的交通环境。通过各种传感器感知周围的环境,这相当于汽车的眼睛,然后处理感官数据为开车提供一个危险的警告,甚至控制车辆( 1]。可以看出,高精度和快速交通目标传感技术对自主驾驶是至关重要的。

目前,遥感传感器用于自动车辆主要包括激光雷达、毫米波雷达、超声波雷达、相机( 2- - - - - - 5]。激光雷达可以通过传输扫描和测量激光脉冲来生成一个精确的地图道路场景地形,可以用于短途和长途障碍检测。然而,激光雷达的高价格不利于大规模推广。毫米波雷达具有低价格和应对环境变化的能力强,但感知到的信息不够全面,因为它不能识别目标。短距离超声雷达措施,主要是用于自动停车等场景。与上述类型的雷达传感器相比,视觉传感器是廉价和丰富。相机可以精确地检测交通目标,如车辆、行人、车道线,交通标志图像算法和估计的相对距离通过测距模型完成的综合感知道路信息。此外,一些研究雷达和视觉等多种传感器集成提高认知效率( 6, 7]。考虑到成本,基于成像解决方案是一个战略选择。例如,MobilEye使用一个摄像头来实现自适应巡航控制系统(ACC)和向前碰撞预警(结合) 8, 9]。

传统的车辆检测方法建立可分为两类:基于运动外貌的方法或方法。外貌的方法使用影子功能( 10],对称性[ 11)、颜色( 12),材质( 13,头灯/尾灯[ 14, 15)来检测车辆。同时,一些方法引入机器学习分类器训练外观特性。刘等人使用一个演算法的分类器训练Haar-like特性来检测车辆( 16]。魏等人提出了训练支持向量机(SVM)相结合的特点,面向哈雾和直方图的梯度(猪)提取车辆位置 17]。动态的方法主要包括光流法( 18)和动力学背景建模方法( 19]。方和戴提出结合光流法和卡尔曼滤波器实现车辆检测和跟踪( 20.]。

近年来,深度学习目标检测算法基于卷积神经网络已经成为更受欢迎。一个是卷积神经网络基于地区建议,比如R-CNN [ 21],SPP-net [ 22],和更快的R-CNN [ 23),但计算成本是相对较高的。另一个是卷积神经网络回归的基础上,如YOLO[意思 24],SSD [ 25],YOLOv2 [ 26,不断提高了计算速度。唱等人提出了一种改进的YOLOv2提高检测精度和速度( 27]。然而,仍然有准确性和速度之间权衡当使用卷积神经网络实时车辆检测。

应用对象等方法主要分为两类:立体视觉测距和单眼视觉测距。Toulminet等人提出了一种立体视觉系统提取前车辆的三维特性和计算距离 28]。然而,立体视觉测距是必要的校准多个摄像头,还有问题,如匹配困难和大量的计算,这是不适合交通目标检测复杂的驾驶环境。单眼视觉范围相对比较简单,它使用对象检测边界框来估计距离。基于单眼视觉距离估计方法主要使用摄像机针孔模型或逆透视映射(IMP)。Adamshuk等人提出了一个基于IPM的距离估计方法在HSV彩色地图,使用转换后的图像像素之间的线性关系和实际距离( 29日]。汉等人提出了基于车辆宽度计算的距离估计使用车道线和没有车道线的情况,但是有一个大的错误估计车道线和目标车辆的宽度( 30.]。Mehdi等人估计的距离使用相机的高度和螺距角假设路是平的,但这种方法不考虑横向距离和摄像机姿态角的影响( 31日]。上述测距方法没有长度参考一个现实的目标,仅仅依靠镜头的成像原理,它是具有挑战性的,实现较高的鲁棒性。赵等人提出的估计基于车牌的距离固定宽度,但是车牌时难以准确检测距离长,和盘子很小,导致有限的适用范围( 32]。

因此,为了解决上述问题,深度学习目标探测网络很难在嵌入式平台上部署和车辆测距方法的准确性和鲁棒性不稳定造成的缺乏的实际长度参考,本文提出一种基于轻型车辆和车牌检测模型YOLO和意思长时间运行和短焦距镜头融合等方法。本文的主要工作如下:

提出轻量级YOLO网络意思,结合多尺度预测Shufflenet YOLOv3和轻量级的网络,从而降低网络模型的参数的数量和提高了检测的速度模型检测精度的前提下。使用广义借据的损失来修改损失函数,和改进的回归精度检测边界框。使用匈牙利匹配算法来匹配车辆的位置信息在视频帧,并使用卡尔曼滤波器来实现稳定跟踪相同的车辆

使用车牌宽度来计算车辆宽度和测量self-vehicle之间的相对距离和车辆跟踪。同时,基于匹配的车辆被融合等方法提出了长时间运行和短焦距镜头来解决这个问题,车辆和车牌是挑战远时检测

2。车辆检测和跟踪 2.1。轻量级YOLO网络的意思

骨干网络Draknet53 YOLOv3 [ 33)有太多卷积层和网络参数,它占用了很大一部分时间在特征提取过程中,导致网络缓慢向前传播。

YOLOv3的网络设计结构的基础上,本文结合了轻量级网络ShuffleNet [ 34)构建一个轻量级YOLO对象意思检测模型。ShuffleNet使用depth-separable卷积(DWconv) [ 35)减少卷积的计算复杂度和介绍通道洗牌跨渠道增加了信息的流动。Darknet53相比,这种网络结构可以映射更多通道特性较低的计算复杂度和内存损失。

Shufflenet单元是由两个卷积块组成的。如图 1卷积块1是将采样模块。通过复制输入功能,和执行深卷积的步幅2同时,特征尺寸减少一半,通道的数量翻了一番。卷积块2保留了浅功能语义信息被分裂和拼接通道的大小,确保输出特性保持不变。同时,每两个旋转通道之间进行交换块,和功能渠道交叉排列,解决问题的信息复制和信息通道分割所造成的损失。

Shufflenet卷积网络单元。

轻量级的辅助层YOLO网络意思修改基于最初的网络,保留的多尺度预测方法和减少卷积层和整个网络的计算复杂度。最后,轻量级YOLO网络结构如图意思 2。骨干网络使用Shufflenet结构。浅和深特征融合upsampling深特征映射。网络输出预测张量在三个不同的尺度。输入图像的大小 416年 × 416年 × 3 ,输出大小三张量的特征 13 × 13 , 26 × 26 , 52 × 52 ,检测不同大小的对象。

轻量级YOLO网络结构意思。

 2.2。损失函数

我们发现目标检测模型的检测结果如YOLO非常准确,意思可以成功地识别对象,但检测框的边界位置相对模糊。单眼视觉测距方法主要依赖于检测边界框,和检测盒边界模糊导致测距精度很低甚至是无效的,因此它是至关重要的,以提高检测的准确性边界框。

在培训过程中,卷积神经网络不断更新模型参数通过损失函数和反向传播,减少模型损失和提高检测精度。的损失函数YOLOv3由三部分组成:这个边界框的预测 l bbox ,预测的信心 l 相依 ,分类预测 l cls 。然而,边界框使用均方误差预计损失,它只反映了属性之间的距离检测盒和实际的边界框,而忽略了十字路口在联盟(借据),如图 3。当两个矩形框有相同的L2范数距离,他们的借据可能是不同的。有必要引入借据预测损失损失函数。

借据的计算原则。

借据的计算公式如下: (1) 借据 = 一个 ∩ B 一个 ∪ B , 在哪里 一个 和 B 分别表示检测盒和地面真理盒。

然而,当两个盒子在不同的叠加状态,借据可能是相同的。使用借据作为损失函数有一个相当大的缺点。因此,本文采用广义借据( 36]随着优化借据损失计算方法。公式如下: (2) GIoU = 借据 − C \ 一个 ∪ B C , 在哪里 C 是最小的矩形包含吗 一个 和 B 。当两个矩形不一致,广义借据仍然可以描述的相对关系。如图 4,两个矩形仍然有相同的借据值在不同的重叠的情况下,但广义的借据值小于左边案件。换句话说,广义借据能突出两个矩形之间的偏差。可以看出,广义借据借据解决关键问题是不适合作为损失函数。

两个重叠的情况下,两个相同的矩形借据值。

最后,损失函数使用的轻量级YOLO如下意思: (3) 损失 = l 相依 + l cls + l bbox , l bbox = 1 − GIoU 。

2.3。车辆跟踪

车辆跟踪采用检测多个对象跟踪方法提出( 37]。帧间位移的车辆可以被看作是一个线性恒定速度模型是独立于其他车辆和相机运动,和每辆车的状态可以定义如下: (4) x = u , v , 年代 , r , u ̇ , v ̇ , 年代 ̇ , 在哪里 u 和 v 代表的中心点的坐标目标车辆和 年代 和 r 代表了区域和检测盒的长宽比目标车辆,分别。

这种跟踪方法使用匈牙利分配算法( 38)与目标车辆基于相关检测框之间的借据预测边界框的车辆和车辆检测框当前帧。当检测盒与目标车辆,检测到的边界框是用来更新目标车辆状态速度分量是解决优化通过卡尔曼滤波器( 39]。如果没有相关的检测盒与目标车辆,使用线性模型预测其状态。

如果跟踪匹配检测箱连续两帧,法官的算法是一个有效的跟踪和输出检测边界框和相应的追踪ID。如果跟踪器不匹配任何检测箱连续三帧,它是确定目标消失,预测跟踪的边界框是在此期间输出。跟踪算法的细节可以在文献中提到 37]。

 3所示。融合等

大多数现有的车辆测距方法依赖于相机成像原理来估计距离,主要分为两种类型:基于车辆的位置( 8, 29日- - - - - - 31日和一个基于车辆的宽度 30., 32]。定位测距模型假定道路是平坦和对噪声敏感。距离度量模型基于车辆宽度相对强劲,因为车辆宽度的像素的数量是由螺旋角的变化影响较小的相机,但是车辆的宽度是不固定的,无法准确测量。在此基础上,提出了一种长时间运行和短焦距镜头融合等方法,首先匹配目标车辆和车牌检测通过焦距长,短焦距镜头,然后计算出车辆宽度通过车牌信息,最后计算出两辆车之间的距离使用针孔模型。具体步骤如图所示 5。

长时间运行和短焦距融合包括流程图。

步骤1:捕获前方的道路的形象通过短焦距镜头和探测车辆和车牌,然后跟踪。

步骤2.1:当车辆跟踪相对较近,可以准确地检测到车牌的位置,和实际车辆跟踪车辆的宽度可以根据的实际宽度计算车牌由方程( 5)。然后去第3步。

步骤2.2:履带式汽车远时,车牌不能准确地检测到,因为像素宽度很小。获取当前帧图像的相机焦距长,检测车辆和车牌。找到一个匹配的车辆跟踪车辆的算法 1,并计算实际的车辆宽度根据车牌宽度由方程( 5)。

<大胆>算法1:< /大胆>长时间运行和短焦距车辆边界框匹配。

输入:短焦距工具盒 B w = x 1 w , y 1 w , x 2 w , y 2 w ,

长的焦距工具盒 B l = x 1 l , y 1 l , x 2 l , y 2 l 。

输出: B l 与 B w 。

变焦 B l 来 B ∧ l : B ∧ l = x ^ 1 l , y ^ 1 l , x ^ 2 l , y ^ 2 l

x ^ 1 l = 1 / 2 w 1 − f 1 / f 2 + f 1 / f 2 x 1 l , x ^ 2 l = 1 / 2 w 1 − f 1 / f 2 + f 1 / f 2 x 2 l ,

y ^ 1 l = 1 / 2 h 1 − f 1 / f 2 + f 1 / f 2 y 1 l , y ^ 2 l = 1 / 2 h 1 − f 1 / f 2 + f 1 / f 2 y 2 l 。

为每一个 B w :

计算面积 B w : 一个 w = x 2 w − x 1 w × y 2 w − y 1 w 。

为每一个 B ∧ l :

计算面积 B ∧ l : 一个 l = x ^ 2 l − x ^ 1 l × y ^ 2 l − y ^ 1 l 。

计算交点 ν 之间的 B w 和 B ∧ l :

x 1 ν = 马克斯 x 1 w , x ^ 1 l , x 2 ν = 最小值 x 2 w , x ^ 2 l ,

y 1 ν = 马克斯 y 1 w , y ^ 1 l , y 2 ν = 最小值 y 2 w , y ^ 2 l

ν = x 2 ν − x 1 ν × y 2 ν − y 1 ν , 如果 x 2 ν > x 1 ν , y 2 ν > y 1 ν 0 否则 。

借据 = ν / ο ,在那里 ο = 一个 l + 一个 w − ν 。

结束了

找到最大的借据作为匹配的车辆。

结束了

步骤3:在获得实际的车辆宽度的车辆,车辆的实际距离跟踪可以通过方程计算( 6)。

车辆的实际宽度计算如下: (5) W = W l w l w , 在哪里 W l 和 W 代表的实际宽度牌照车辆的实际宽度,分别。国家标准规定,中国车牌的宽度是440毫米。 w l 和 w 显示的像素宽度牌照车辆,分别。

摄像机针孔模型图所示 6之间的实际距离跟踪车辆和self-vehicle计算如下: (6) D = f ⋅ W w , 在哪里 f 代表了相机像素焦距。

摄像机针孔成像模型。

这两个在同一位置的两个摄像头拍摄的图像用不同的焦距有相同的中心点的位置,除了长的焦距捕获的图像的相机的视野较窄,和视野的关系之间的焦距长,短长度如下: (7) W 1 W 2 = f 2 f 1 , 在哪里 W 1 和 W 2 的视野的宽度短焦距相机和长焦距相机,分别。 f 1 和 f 2 的焦距短焦距相机和长焦距相机,分别。

图像捕捉到长焦距相机与短焦距缩放匹配图像根据方程(比例系数 7)。基于车辆检测的借据边界框的两个图片,盒子的最大借据缩放长的焦距是对象与履带车辆照片。

算法寻找车辆边界框的焦距图像匹配跟踪车辆在短焦距图像算法所示 1。

后确定跟踪车辆,也必要匹配相应的车辆的牌照获得实际的车辆宽度。我们可以匹配车辆牌照和基于检测盒的大小。然而,对于有许多车辆的道路环境和重叠,可能有一个错误的匹配。的先验知识,我们可以知道每个车牌只对应一辆车,和车辆接近self-vehicle最特性。因此,如果车牌边界框属于两个车辆检测盒、相应的车辆应该最接近的一个,和车辆的图像显示,检测框接近图像底部。最后,车牌之间的匹配算法和相应的车辆所示算法 2。

算法2:车辆和车牌匹配。

输入:车辆检测边界框 B c = x 1 c , y 1 c , x 2 c , y 2 c ,

车牌边界框 B 年代 = x 1 年代 , y 1 年代 , x 2 年代 , y 2 年代 。

输出:车牌 B 年代 与相应的车辆 B c 。

为每一个 B c 按 y 2 c 从大到小:

如果 B 年代 ⊂ B c ⇒ x 1 年代 > x 1 c , y 1 年代 > y 1 c x 2 年代 < x 2 c , y 2 年代 < y 2 c :

B 年代 匹配 B c 。

如果

结束了

车牌后与相应的车辆,车辆的宽度可以通过计算车牌的宽度。

 4所示。实验

为了验证车辆探测和测距性能的方法,包括检测精度和速度的轻量级YOLO网络意思,车辆跟踪算法的稳定性,和长时间运行和短焦距镜头的准确性融合等方法,进行了实验。实验上实现了NVIDIA杰森泽维尔( 40]。摄像机安装在挡风玻璃的高度1.3米。实验设备安装图所示 7。

道路试验设备安装。

实验中使用的相机图像传感器OV10635 [ 41),与像素的分辨率 1280年 × 720年 和一个传感器图像区域 5.5104 毫米 × 3.4188 毫米 。在成像区域宽度 w ′ ,相对应的像素宽度成像区域宽度 w 米 是 (8) w 像素 = 1280年 w 米 w ′ 。

同时,方程( 6)和( 8)可以获得 (9) w 像素 = 1280年 f 米 W D w ′ , 在哪里 f 米 代表实际相机的焦距。

本文测试后,网络可以检测对象的宽度大于15像素,我们要检测的对象在100米。根据方程( 9),为了检测车牌宽度440 mm,实际焦距应超过14.67毫米。因此,长时间运行和短焦距被选为6和16毫米,分别可以满足融合等的需要。

4.1。车辆和车牌检测和车辆跟踪算法实验

首先,通过数据筛选和self-collection,图像数据集包含不同类型的车辆和车牌成立,共有30000个,其中24000用作训练集和6000年作为测试集,训练集包含45608车辆目标和21888年车牌目标。测试集包含一个10801车辆目标和5093年车牌目标。所有图片都贴上yolo-mark [ 42]。

轻量级YOLO模型提出了意思是通过PyTorch框架,实现和轻量级YOLO和YOLOv3意思网络模型训练的NVIDIA GTX 1080 ti。初始网络的学习速率为0.001,重量衰减系数是0.0005,和培训策略使用一个随机梯度下降算法0.9的动量词。

为了验证轻量级的性能YOLO网络,意思YOLOv3的检测结果进行了比较。实验的评价指标选择精度,还记得,每帧和计算时间。 (10) 精度 = TP TP + 《外交政策》 , 回忆 = TP TP + FN , TP的数量表明,目标在哪里正确检测到,FN的数量表明,目标未被检测到,和FP表明目标的数量是错误的。当网络的边界框的借据检测目标框和测试集的标签数据大于或等于设定的阈值,它被认为是正确的检测。否则,它被视为错误检测,实验阈值是0.5 43]。

轻量级YOLO和YOLOv3意思在测试集,测试结果如表所示 1。而YOLO,意思的平均精度和召回轻量级YOLO网络意思下降了4.43%和3.54%,分别,但参数的数量是四分之一。车牌目标相对较小,所以它的精度略低于车辆。然而,每一帧的检测速度增加了49女士,实现实时车辆检测在杰森Xavier同时还确保更高的检测精度。

网络检测结果的比较。

网络 分类 精度(%) 回忆(%) 计算每帧的时间(女士) 参数数量
YOLOv3 车辆 94.76 86.25 93.5 6.19 e + 7
车牌 91.21 82.54
轻量级YOLO 车辆 90.38 82.87 44.5 1。5 e + 7
车牌 86.81 78.91

为了验证检测效果添加跟踪算法之后,跟踪算法的效果也是考验。我们选择5个视频,每一个都有350帧,我们标记与yolo-mark地面实况。

考虑到本文中使用的跟踪算法是根据检测结果,我们测试的精度和召回产生的边界框轻量级YOLO和跟踪算法的意思,如表所示 2。与轻量级YOLO,意思跟踪算法的精度和召回增加了1.56%和2.11%,分别。测试样本大小虽小,它仍然可以证明添加跟踪算法之后更好的检测效果,这是由于跟踪算法减少了错误检测和错过的检测。

车辆跟踪结果的比较。

算法 精度(%) 回忆(%) IDswitch 计算每帧的时间(女士)
轻量级YOLO 89.16 81.65 - - - - - - 45.2
后跟踪 90.32 83.76 52 50.6

有39个车辆测试序列。在实验中,IDswitch是52岁,这意味着跟踪算法已经被打断了52次。大多数IDswitch由于履带式汽车完全被遮挡,并完全可见的车辆可以持续跟踪。鉴于模糊车辆不是一个高优先级的范围对象,影响很小。然而,这也是未来改进的方向之一。在添加跟踪算法之后,每一帧的计算时间是增加了5.4毫秒,和整个车辆检测和跟踪算法仍然可以在实时运行。

图 8显示了车辆的检测与跟踪结果。可以看出,轻量级YOLO可以意思准确地检测图像中的车辆和车牌。车辆的准确检测的基础上,基于检测的多目标跟踪方法也可以跟踪车辆稳定。

检测和跟踪结果。

 4.2。融合等实验

首先,车辆检测盒的效果在长时间运行和短焦图像匹配算法验证,如图 9。图 9 (c)显示车辆检测盒的焦距图像。图 9 (b)缩放的算法 1,几乎与相应的车辆检测框短焦距的形象图 10(一)。两个车辆检测框的借据是0.79和0.71,分别,验证扩展长的焦距短焦距的关系是正确的。实验验证,检测箱在不同焦距图像可以通过算法成功匹配 1。借据的匹配过程的偏差主要来自两个摄像头的抖动造成的车辆碰撞和不同大小的检测精度车辆图像。

长时间运行和短焦距车辆检测盒匹配。

实验1:同一车道,self-vehicle停止。

然后,为了验证长和短焦距的动态性能融合等方法,进行了四组比较实验。在实验1中,前面的车逐渐远离self-vehicle self-vehicle是静止不动的,这是车辆跟踪的情况下,像素宽度太大首次在测距算法。在实验2中,前面的车辆接近self-vehicle,即车辆跟踪的像素宽度很小,第一次和车牌不能准确检测。在实验3和4,目标车辆的车道,self-vehicle和目标车辆相对移动。之间的比较长时间运行和短焦距等融合结果和车辆定位测距结果和实际距离数据所示 10- - - - - - 13,车辆定位测距算法的方法 31日),实际的距离被雷达发现。

首先,可以看出,稳定的距离估计方法提出了基于车辆位置高于方法。特别是在动态环境中实验2,超过30米的距离时,定位方法的结果出现巨大波动,如图 11,这完全背离实际的距离。在静态环境中实验1的结果定位方法也表现出显著的偏差大于60米的距离时,如图 10。在实验3中,定位方法的结果出现波动大于40米的距离时,如图 12。

实验2:同一车道,相对移动。

实验3:不同的车道,相对移动。

然后,在实验1和2,目标车辆在车道正前方,和测距结果总是准确的。然而,在实验3和4,可以发现,过了一会儿,等结果显示明显的偏差。考虑到实验3和4的目标车辆在车道,由于检测算法的特点,提取的边界框的检测算法不仅是后方的车辆还一边的车辆。当车辆在车道接近self-vehicle,像素宽度的车辆检测算法输出的大于实际的车辆像素宽度。因此,实际的车辆宽度计算方程( 5)大于真正的实际车辆宽度。作为目标车辆搬走了,错误的车辆检测算法输出的像素宽度变得越来越小,这使得测距结果大于实际的距离。在图 12,该算法的测距结果35米后开始明显增大。同样,在图 13,测距结果小于地面真理在后期。

实验4:不同的车道,相对移动。

尽管一些错误发生在实验3和4,算法的精度和鲁棒性提出了明显比定位测距算法。表 3显示了测距性能的比较。该方法可以降低平均误差 μ d 和标准偏差 σ d 。平均误差百分比 μ e 表明,平均误差百分比之间的关系和距离很小。平均误差百分比小于4%。

等的比较结果。

距离 定位 这篇论文
μ d (m) σ d (m) μ e (%) μ d (m) σ d (m) μ e (%)
0-40米 2.19 2.88 9.30 0.79 0.68 3.77
> 40米 7.13 6.07 11.12 1.80 1.90 3.00
总 4.77 5.41 10.25 1.32 1.54 3.37

图 14车辆检测的结果是基于轻量级YOLOv3和长时间运行和短焦距镜头融合提出了不等。该方法可以准确地检测车辆和车辆之间的距离估计在不同光线和路况。在进一步分析中,长时间运行和短焦距镜头融合等方法提出了完全基于车辆和车牌检测的结果,和误差主要来源于准确检测盒,包括侧车辆检测框宽度超过了实际车辆宽度、扭曲的一面车牌宽度和遥远的车辆的检测框宽度没有明显改变。

探测和测距算法的结果。

 5。结论

本文提出轻量级YOLO对象意思检测模型和长时间运行和短焦距镜头融合等方法。轻量级集成到网络Shufflenet YOLOv3网络,和轻量级YOLO网络构造的意思。参数数量只有四分之一的原始网络,添加和改进的广义借据损失损失函数。该方法的精度和召回比YOLOv3略低,但计算速度大大提高,实现了实时检测的需求。此外,融合等方法使用车牌宽度来计算实际的车辆宽度和估计的距离。通过长时间运行和短焦距的方法融合匹配,可以检测出车牌很长一段距离,扩大范围的范围。跟踪算法的集成也可以检测出车牌一旦确定跟踪车辆的宽度和减少融合匹配算法的计算量。实验结果表明,轻量级YOLO对象意思检测模型和长时间运行和短焦距镜头融合等方法可以实现稳定vehicle-embedded实时操作设备。后续研究需要改进车辆和车牌的精确探测进一步集成其他测距方法准确意义上牌照时车辆的位置不能被检测到。

 数据可用性

可以按照客户要求所有的数据都包含在本研究通过与相应的作者。

 的利益冲突

作者声明没有潜在的利益冲突的研究,本文的作者和出版。

 编辑部的中国公路和运输》杂志上 回顾中国汽车工程研究进展:2017 中国的高速公路和运输》杂志上 2017年 30. 6 1 197年 雷扎 M。 Klette R。 计算机视觉的驾驶员辅助 2017年 施普林格国际出版 10.1007 / 978-3-319-50551-0 崔 Y。 徐 H。 吴 J。 太阳 Y。 赵 J。 自动车辆跟踪与路边connected-vehicles激光雷达数据系统 IEEE智能系统 2019年 34 3 44 51 10.1109 / MIS.2019.2918115 2 - s2.0 - 85067053445 Yoneda K。 桥本 N。 濑进 R。 Aldibaja M。 菅沼 N。 车辆定位使用76 ghz全方位毫米波雷达冬季自动驾驶 2018年IEEE智能车辆研讨会(IV) 2018年6月 常熟,中国 971年 977年 10.1109 / IVS.2018.8500378 2 - s2.0 - 85055477426 Odat E。 夏玛 j·S。 Claudel C。 车辆分类和速度估计使用结合被动红外/超声波传感器 IEEE智能交通系统 2017年 19 5 1593年 1606年 10.1109 / TITS.2017.2727224 2 - s2.0 - 85030643801 方 Y。 赵 H。 咋 H。 赵 X。 姚 W。 相机和激光雷达融合为行车车辆跟踪与强化学习 2019年IEEE智能车辆研讨会(IV) 2019年6月 法国巴黎 1723年 1730年 10.1109 / IVS.2019.8814028 2 - s2.0 - 85072283588 Asvadi 一个。 绞死 l Premebida C。 Peixoto P。 Nunes 美国J。 多通道车辆检测:融合3 d-lidar和彩色摄像机数据 模式识别的字母 2018年 115年 20. 29日 10.1016 / j.patrec.2017.09.038 2 - s2.0 - 85030769477 斯坦 g . P。 马诺 O。 Shashua 一个。 ACC与建立一个镜头:范围和界限范围速度精度 IEEE IV2003智能车辆研讨会。程序(猫。03 th8683) 2003年6月 美国哥伦布,哦 120年 125年 10.1109 / IVS.2003.1212895 2 - s2.0 - 84860652685 达冈 E。 马诺 O。 斯坦 g . P。 Shashua 一个。 向前碰撞预警与单个相机 IEEE智能车辆研讨会,2004 2004年6月 意大利帕尔玛 37 42 10.1109 / IVS.2004.1336352 Ibarra-Arenado M。 Tjahjadi T。 Perez-Oria J。 Robla-Gomez 年代。 Jimenez-Avello 一个。 暗影在城市交通车辆检测 传感器 2017年 17 5 975年 10.3390 / s17050975 2 - s2.0 - 85018244000 28448465 销量 美国年代。 Braunl T。 Symmetry-based单眼车辆检测系统 机器视觉和应用程序 2012年 23 5 831年 842年 10.1007 / s00138 - 011 - 0355 - 7 2 - s2.0 - 84865362226 蔡 l·W。 谢长廷 j·W。 方ydF4y2Ba k . C。 车辆检测使用规范化的颜色和边缘地图 IEEE图像处理 2007年 16 3 850年 864年 10.1109 / TIP.2007.891147 2 - s2.0 - 33947248998 17357742 十凯特 t·K。 范Leewen m B。 Moro-Ellenberger s E。 Driessen b . j . F。 Versluis a·h·G。 Groen f . c。 中档和遥远的车辆检测与移动相机 IEEE智能车辆研讨会,2004 2004年6月 意大利帕尔玛 72年 77年 10.1109 / IVS.2004.1336358 罗伯特。 K。 夜间交通监测:一个健壮的框架,多车检测、分类和跟踪 2009年第六届IEEE国际先进的视频会议和基于信号的监测 2009年9月 意大利的热那亚 1 6 10.1109 / AVSS.2009.98 2 - s2.0 - 72449201253 邹 Q。 凌 H。 罗 年代。 黄 Y。 田 M。 健壮的夜间车辆检测的跟踪和分组头灯 IEEE智能交通系统 2015年 16 5 2838年 2849年 10.1109 / TITS.2015.2425229 2 - s2.0 - 84929791807 刘 l . C。 方 c . Y。 陈 s W。 小说距离估计方法主要防撞协助系统的车辆在高速公路上 IEEE智能交通系统 2017年 18 4 937年 949年 10.1109 / TITS.2016.2597299 2 - s2.0 - 84992337679 魏 Y。 田 Q。 郭 J。 黄 W。 曹 J。 多车检测算法通过结合冷雾和猪的特性 数学和计算机模拟 2019年 155年 130年 145年 10.1016 / j.matcom.2017.12.011 2 - s2.0 - 85041633633 巴达维亚 p . H。 波默洛 d E。 索普 c, E。 超车车辆检测使用隐式光学流 智能交通系统学术会议 1997年11月 波士顿,美国 729年 734年 10.1109 / ITSC.1997.660564 下巴 y . B。 宋子文 l·W。 Siong l . H。 工具包 W·W。 扩展的模糊背景建模移动车辆使用红外视觉检测 IEICE电子表达 2011年 8 6 340年 345年 10.1587 / elex.8.340 2 - s2.0 - 79955383650 方 Y。 戴 B。 一种改进的基于光流运动目标检测和跟踪技术和卡尔曼滤波器 2009年第四届国际会议上计算机科学与教育 2009年7月 中国南宁 1197年 1202年 10.1109 / ICCSE.2009.5228464 2 - s2.0 - 70350493096 Girshick R。 多纳休 J。 达雷尔 T。 马利克 J。 提出卷积网络精确的目标检测和分割 IEEE模式分析与机器智能 2016年 38 1 142年 158年 10.1109 / TPAMI.2015.2437384 2 - s2.0 - 84961595279 他 K。 张 X。 任 年代。 太阳 J。 舰队 D。 Pajdla T。 Schiele B。 Tuytelaars T。 空间金字塔池深卷积网络视觉识别 计算机视觉——2014年大会。2014年大会。课堂讲稿在计算机科学中,第8691卷 2014年 施普林格,可汗 346年 361年 10.1007 / 978 - 3 - 319 - 10578 - 9 - _23 2 - s2.0 - 84906508687 任 年代。 他 K。 Girshick R。 太阳 J。 更快的r-cnn:对实时检测与地区建议网络 神经信息处理系统的进步28(少量的2015) 2015年12月 加拿大蒙特利尔 91年 99年 Redmon J。 Divvala 年代。 Girshick R。 哈蒂 一个。 你只看一次:统一、实时检测 IEEE计算机视觉与模式识别会议(CVPR) 2016年6月 美国内华达州拉斯维加斯 779年 788年 刘 W。 Anguelov D。 Erhan D。 Szegedy C。 里德 年代。 傅 彭译葶。 伯格 a . C。 Leibe B。 Matas J。 ·瑟 N。 威林 M。 Ssd:单发射击multibox探测器 计算机视觉——2016年大会。2016年大会。课堂讲稿在计算机科学中,第9905卷 2016年 施普林格,可汗 21 37 10.1007 / 978 - 3 - 319 - 46448 - 0 - _2 2 - s2.0 - 84990068627 Redmon J。 哈蒂 一个。 YOLO9000:更好,更快,更强 IEEE计算机视觉与模式识别会议(CVPR) 2017年7月 美国檀香山,嗨 7263年 7271年 唱 J。 吴 Z。 郭 P。 胡 H。 香 H。 张 Q。 蔡 B。 一种改进YOLOv2车辆检测 传感器 2018年 18 12 4272年 10.3390 / s18124272 2 - s2.0 - 85058170921 30518140 Toulminet G。 贝尔托齐 M。 Mousset 年代。 Bensrhair 一个。 Broggi 一个。 车辆检测的立体应用障碍特征提取和单眼模式分析 IEEE图像处理 2006年 15 8 2364年 2375年 10.1109 / TIP.2006.875174 2 - s2.0 - 33746217092 16900690 Adamshuk R。 Cravalho D。 Neme j . h . Z。 Margraf E。 Okida 年代。 Tusset 一个。 桑托斯 M . M。 阿马拉尔 R。 文图拉 一个。 卡瓦略 年代。 逆的适用性角度映射基于HSV colormap前进距离估计 2017年IEEE国际工业技术会议(ICIT) 2017年3月 多伦多,加拿大 1036年 1041年 10.1109 / ICIT.2017.7915504 2 - s2.0 - 85019601071 汉 J。 Heo O。 公园 M。 凯 年代。 Sunwoo M。 车辆距离估计使用mono-camera结合/ AEB系统 国际汽车技术杂志》上 2016年 17 3 483年 491年 10.1007 / s12239 - 016 - 0050 - 9 2 - s2.0 - 84964824903 雷扎 M。 Terauchi M。 Klette R。 健壮的具有挑战性的照明条件下车辆检测和距离估计 IEEE智能交通系统 2015年 16 5 2723年 2743年 10.1109 / TITS.2015.2421482 2 - s2.0 - 84959529102 赵 D。 杨 Y。 黄 J。 刘 Y。 车辆位置估计在交通场景中使用几何常数 学报2014年IEEE国际会议服务操作和物流,和信息 2014年10月 中国青岛 90年 95年 10.1109 / SOLI.2014.6960699 2 - s2.0 - 84915795146 Redmon J。 哈蒂 一个。 YOLOv3:增量改进 2018年 http://arxiv.org/abs/1804.02767 马 N。 张 X。 郑 h·T。 太阳 J。 Shufflenet v2:实用高效的cnn建筑设计指南 计算机视觉的欧洲会议(大会) 2018年9月 德国慕尼黑 116年 131年 Chollet F。 Xception:深度学习与切除可分离旋转 IEEE计算机视觉与模式识别会议(CVPR) 2017年7月 美国檀香山,嗨 1251年 1258年 Rezatofighi H。 Tsoi N。 Gwak j . Y。 Sadeghian 一个。 里德 我。 Savarese 年代。 广义交叉在联盟:一个度量和边界框回归的损失 2019年 http://arxiv.org/abs/1902.09630 布雷 一个。 通用电气 Z。 奥特 l 拉莫斯 F。 Upcroft B。 简单的在线和实时跟踪 2016年IEEE国际会议上图像处理(ICIP) 2016年9月 凤凰城,亚利桑那州,美国 3464年 3468年 10.1109 / ICIP.2016.7533003 2 - s2.0 - 85006782971 库恩 h·W。 指派问题的匈牙利方法 海军研究物流的季度 1955年 2 1 - 2 83年 97年 10.1002 / nav.3800020109 卡尔曼 r·E。 一个线性滤波和预测问题的新方法 《基础工程 1960年 82年 1 35 45 10.1115/1.3662552 2 - s2.0 - 85024429815 英伟达杰森AGX泽维尔 https://www.nvidia.com/en-us/autonomous-machines/jetson-agx-xavier/ OV10635 https://www.ovt.com/sensors/OV10635/ AlexeyAB Yolo_mark https://github.com/AlexeyAB/Yolo_mark/ Everingham M。 范干傻事 l 威廉姆斯 c . k . I。 韦恩 J。 Zisserman 一个。 帕斯卡的视觉对象类(VOC)的挑战 国际计算机视觉杂志》上 2010年 88年 2 303年 338年 10.1007 / s11263 - 009 - 0275 - 4 2 - s2.0 - 77951298115