文摘

与图像分析为核心的多目标检测和智能跟踪,主要应用更快R-CNN或YOLO框架,意思多目标跟踪的莫塔分数低,面对复杂的工作环境。因此,进一步研究计算机视觉技术进行设计新的多目标检测和智能跟踪方法。基于小孔径成像模型,透镜畸变的原理进行了分析,和一个相机标定和图像校准计划旨在获得有效的环境图像。介绍了注意力机制优化的结构深度学习网络,和一个计算机视觉检测算法应用在此基础上完成区域目标检测。每个目标之间的距离,然后身体结合双目视觉测量原理。最后,时空背景算法进行仿真计算获得多目标智能跟踪结果。实验结果表明,拟议的技术是0.87分的平均莫塔在夜间环境,24.14%和28.374%比神经网络和机器的跟踪方法,建立分别;白天环境,意味着莫塔的多目标跟踪技术的结果是0.94,即28.72%,莫塔得分的平均值是0.94的多目标跟踪结果在白天环境28.72%和22.34%高于其他两种方法。

1。介绍

现代技术的进步使得汽车行业对一个聪明的趋势(1),可以说,发展水平的目标检测和智能跟踪技术直接决定了车辆的智能程度。随着城市交通场景越来越复杂(2),智能驾驶的技术要求也变得越来越高。以确保自动化汽车驾驶的稳定性和安全性,有必要首先探测目标推动地区和跟踪他们的运动趋势来生成高度智能驾驶决策(3]。同时,智能驾驶车辆操作的一个关键方面是环境感知。只有一个清晰的足够的知识的道路驾驶区域周围的环境可以确保智能驾驶车辆集成到交通环境。然而,现有的多目标检测和智能跟踪技术可以受到好坏照明和天气条件的影响,导致目标探测和智能跟踪效果不符合智能驾驶需求。

随着计算机视觉技术的深入研究,计算机视觉技术与深度学习为核心的已经开始被应用在各个领域。本文以这个为研究方向,并介绍了一种注意力机制,进一步优化当前计算机视觉技术通过添加一个次区域特征库和一个宽高比特征库原检测模型来提高计算机的特征表征能力建立多目标检测模型,获得准确的本地化识别结果。在此基础上,建立了新的多目标检测和智能跟踪技术稳定和快速跟踪目标的运动趋势对象在车辆周围的环境。实验验证结果表明,拟议的多目标跟踪技术的应用导致更准确的跟踪。

本文由四个章节组成。第一章是引言。第二章引入了多目标的设计基于计算机视觉检测和智能跟踪。第三章是实证分析,设计多目标检测和智能跟踪算法测试。第四章是结论。

2。多目标检测和智能跟踪技术

2.1。相机标定和图像校准计划

跟踪的第一步是识别。双目相机的广角镜头安装在前面的智能驾驶车辆的主要设备为传感智能驾驶环境。考虑到径向和切向畸变存在当相机捕捉影像(4),相机标定和图像校准计划建立的目标减少位置错误造成的镜头畸变是计算机应用的一个基本组成部分多目标检测和智能跟踪(5]。大多数相机的成像依赖于小孔径成像模型,在三维空间和摄像机成像平面,分别确定一个目标点的对应关系可以表示如下:

在公式(一个,b,c)代表目标的坐标点在世界坐标系中,(一个′,b′)代表目标的坐标点在摄像机坐标系中,( ,h)代表图像中的目标点的坐标像素坐标系统,我代表比例因子,R代表了旋转矩阵,T代表转换矩阵,代表了内部参数矩阵。

的公式,d₁和d₂代表的比例因子x和u轴,分别,( , )代表的坐标原点,代表了轴倾角参数。(1)和(2),相机的成像原理是直接描述,但在实践中,需要添加非线性畸变模型来描述成像点的转变。

在方程( , )代表了理想的目标点的坐标价值,( , )代表实际的变形协调的价值目标点, , ,和代表了径向畸变因素,r代表半径,k₁和k₂代表了切向畸变系数。根据所使用的精确和扭曲的坐标,在完成摄像机标定过程和合理的参数值。

在实践中,有必要结合张诤友标定方法的标定板组成的黑白方块图像,为校准构建图书馆的照片,将优化方法应用于迭代求解摄像机参数的误差最小为目标(6),确定最佳的内部和外部参数和畸变参数的相机,相机校正完成后,计算出畸变实际照片的像素坐标,以及理想的坐标来完成图像校准。

2.2。计算机视觉目标检测算法

校准相机捕捉的图像应用智能驾驶环境,然后应用计算机视觉技术对多目标检测。考虑到基于深度学习计算机视觉检测技术,它可以在实际应用受到外部因素的影响,使检测结果有偏见。本文应用计算机视觉原理,介绍了注意机制在传统深度学习网络(7)建立多目标检测框架如图1功能池,特征提取和分类回归的相机采集图像。

根据图1,可以看出,应用卷积神经网络计算机视觉目标检测需要首先获取图像卷积特性分类和回归分析。摘要次区域特性关注模块和宽高比特征关注模块(8)引入原多目标检测模型获取计算机视觉目标检测框图如图2。引入次区域特性关注模块和宽高比特征关注模块到原始的多目标检测模型可以帮助区分单一目标在多目标更好。因此,对目标识别可以获得更高的识别准确率。

根据图2,更新后的计算机视觉目标检测模型包含模块的关注主要的ROI特征提取过程中所起的作用,为普通模式提取特性进行进一步的处理,结合原始ROI汇集功能来生成高质量的ROI分类功能。

的公式,p代表ROI,B_p代表ROI池功能,代表ROI分类特性,米₁代表次区域注意力特征图,米₂代表宽高比特征图谱的关注。

新的关注模块包含两个基地关注功能,每个持有相应的关注功能激活的关系。其中,功能显示在次区域的注意特征库与空间位置有关的信息(9],基于每个特征点的位置在ROI次区域,次区域注意力显著值计算公式表达如下:

在公式(我,j卷积特性映射)代表一个点,β代表一个亚区,表示一个注意力显著,U表示一个特征向量,表示一个注意力特征提取器。

功能保存在纵横比关注功能库描述实际的功能属性,直接描述观察到的观点和目标对象的构成形态,目标检测提取水平和垂直尺度差异框架和更好的确定目标类的差异。深入学习网络结构将计算机视觉注意机制应用于运行在智能驾驶技术来获得多目标检测结果。

2.3。目标距离测量项目

在目标检测结束后,目标距离测量方法设计基于双目视觉原理来确定每个目标点之间的距离和车辆的身体。应用针孔模型成像原理(10),在智能驾驶进行图像采集,每个针孔模型的坐标系如图3。

在图3,(Oabc)代表三维世界坐标系统,代表了相机坐标系(b O萨那)代表图像平面坐标系, 代表平面坐标点, 代表了3 d坐标点。

设置一个目标点的存在空间和已知的目标点的像点的坐标的两个校准相机坐标系统,结合投影矩阵,透视投影矩阵转换关系可以表示如下:

的公式,l表示左相机,一个表示正确的相机,表示左相机的投影矩阵,表示正确的相机的投影矩阵。基于左、右摄像机透视投影矩阵变换关系所示(7)和(8),目标的空间坐标可以推导出已知的像点坐标和距离测量结果可以通过比较获得坐标信息。重要的是要注意,相机图像在复杂环境中可以包含大量噪声,从而影响距离测量结果的准确性。在这种情况下,最小二乘方法可以结合进一步的解决方案来获得更准确的测量的空间坐标点。

2.4。多目标智能跟踪

依靠计算机视觉技术,目标对象之间的关系和当地现场需要分析智能跟踪多个目标的探测和本地化(11),和时空背景算法基于贝叶斯框架应用于本文的模拟和计算阐明相关的强度和位置图像中目标区域的当地的上下文,然后最大化信心函数(12是应用于实现实时跟踪的目标位置。,信心函数可以表示如下:

的公式,是目标位置,是目标区域中心位置,置信水平,正常化的因素,是偏差函数,尺度参数,是形状参数。

面对多帧图像实时获得,本地上下文的特性集,它所包含的目标区域可以表示如下:

的公式,D代表当地的上下文的特性集,代表所选位置,G代表图像强度,代表了当地环境地区选址。基于局部上下文分析的概念(13),多目标智能跟踪模型可以描述为图4。

根据图4,STC算法多目标智能跟踪模型本质上是一个多目标智能跟踪任务通过最大信心函数搜索。目标图像帧分析获得其相应的空间上下文模型,和下一帧图像的时空上下文模型表示如下:

的公式,表示图像帧的数量,表示时空上下文模型,表示学习速率的因素表示空间上下文模型。根据(11),可以看出未来的时空上下文模型框架可以通过加权时空上下文模型的当前帧照片和空间上下文模型(14]。因此,信心可以更新函数计算公式如下:

的公式,表示傅里叶变换,表示傅里叶逆变换,表示卷积操作表示加权高斯函数。计算结果的基础上最大信心,目标点在每一帧的位置决定。考虑是STC算法的应用,只能描述单个像素的目标位置的变化,得到的实际位移像素。获得更直观的目标跟踪的结果,它也必须融合光流算法(15)指定的亚像素位移连续图像帧并获得多目标智能跟踪结果。

3所示。实验

的设计多目标检测和跟踪技术是基于计算机视觉技术,并进行了实验分析,在实践中验证该技术的有效性。双目摄像机被安装在一个普通的汽车进行多目标检测和跟踪日夜场景。基于检测和跟踪结果,本文研究内容的有效性体现。

3.1。摄像机标定

计算机视觉技术的实现需要基于图像。实验期间,摄像机标定过程是在摄像机前进行固定在汽车为了捕获一个更现实的形象。首先,创建一个13∗14黑白棋盘视觉标定网格,每个测量20毫米∗20毫米,如图5。打印校准网格粘贴到一个平坦的水平板形成一个视觉标定板。

应用双目摄像头捕捉图像时,需要不断调整视觉校准板的角度获得多个标定板图像,如图6。

标定板图像被摄像头如图6同时加载到MATLAB软件和手工加工通过标定工具箱中提取角点包含在每个标定板图像,和最优左右摄像机的内部和外部参数计算基于图像角点信息,如表所示1和2。

其中, 显示摄像机焦距参数,(u_0, )表明相机主点位置,(l₁,l₂)表明径向畸变,(年代₁,年代₂)表示切向畸变。通过摄像机标定过程,除了intracamera参数见表1,正确的摄像机的外部参数相对于左相机也获得,如表所示2。

相机内外参数后调整,它是固定的车辆和连续图像采集是实施在车辆运动多目标检测和智能跟踪所需的数据。

3.2。评价指标

为了证明的可靠性设计技术,多目标跟踪精度(粘土)应该选择在这个实验来评估智能跟踪结果之间的一致性和实际目标的轨迹。智能跟踪结果输出技术的应用在文本中首次获得形成一个包含多个节点的跟踪路径,然后每个目标的真实位置是调查包含多个节点生成一个实际运行的路径。比较两条路径之间的匹配程度和分析错误检测,错误分类,在跟踪过程中发生的和不正确的匹配,莫塔分数计算公式表达如下:

的公式,米代表假目标跟踪过程中检测到的数量,n代表的数量错误的目标,代表错误匹配的数量目标,N代表所有目标的数量出现在图像帧。

3.3。视觉跟踪结果的分析

首先,一个复杂的场景高客流量被选为实验现场。实验控制车辆驾驶通过现场和视频在晚上环境中,和几个捕获图像视频序列中的多目标跟踪数据集。提出使用多目标检测和智能跟踪技术,分析了数据集获得多目标跟踪结果如图7。

图7显示帧3、10、15日和25日,从中可以看出场景包含大量的行人,行人轨迹并不相同,而跟踪技术在文本,提出应用时,发现基本上所有的行人,除了遮挡的情况太严重了。四个框架的比较表明,行人的位置变化在每一帧,但检测帧的颜色并不改变,这表明多目标跟踪的一个更好的结果。上述实验结果表明,跟踪技术设计的摘要可以探测和跟踪在复杂场景中多个目标准确。

之后,天气的一天和良好的照明条件选择进行多目标检测和智能跟踪实验相对僻静的街上。车辆将穿过街道甚至速度和双目摄像头捕捉图像周围场景移动时形成的第二个实验数据集。这个数据集处理通过应用本文的技术来获取多目标跟踪结果如图8。

从图可以看出8,只有少数车辆在该地区移动,没有行人经过。因此,汽车可以被视为一种检测目标,和插图捕获帧18岁,26岁,32岁和40想象移动车辆的跟踪结果。总体而言,该技术可以应用于快速检测其他车辆从他们进入相机的范围和马克与不同颜色的检测盒,然后跟踪车辆的运动,直到它离开相机的范围。此外,尽管实验是在白天进行的几个目标,照明条件复杂,包含阴影和明亮的区域。然而,检测和跟踪结果的技术设计论文中不受光线影响,表明基于深度学习的计算机视觉技术的应用网络随着注意力机制的引入保证了多目标检测和跟踪的可靠性。

3.4。跟踪性能比较

提高实验结果的可视化,同时进行了实验分析在不同的实验场景中运用课文中提到的技术,神经网络方法,分别和双眼的方法建立。对目标进行检测和跟踪将继续增加,检测和跟踪结果的不同的方法记录。莫塔分数的变化对不同方法在夜间环境如图9。

根据图9的跟踪结果,莫塔的设计方法在论文中不太波动目标数量的增加后,平均值为0.87。莫塔成绩的其他两种方法,然而,请减少目标数量的增加。神经网络方法减少了莫塔分数从0.76到0.52,莫塔平均得分为0.66,而双眼的方法建立多目标检测和跟踪在不同环境中实现的最大莫塔得分0.78,最低0.43,莫塔平均得分为0.62。总之,莫塔分数的智能跟踪结果,该技术提高了24.14%和28.374%相比其他两种方法。

莫塔分数的变化对不同的方法在白天环境就可以分析形成莫塔分数的比较结果如图10。

根据图10,莫塔均值得分的多目标跟踪结果提出技术在白天环境是0.94,而其他两种方法的平均莫塔得分0.67和0.73,分别。结果,该技术提高了莫塔分数28.72%和22.34%相比,神经网络和双目应用方法,分别。

4所示。结论

智能驾驶是未来汽车行业的发展趋势。智能驾驶在城市场景的应用程序依赖于动态对象跟踪技术的发展水平。

在这篇文章中,传统的基于深度学习计算机视觉技术优化。本文通过添加关注机制,进一步研究多目标检测算法在构造一个新的计算机视觉来实现,进一步研究多目标检测更准确和快速。此外,使用优质模型,建立智能目标跟踪算法的结果本文也更准确。

智能跟踪方法在本文设计能保持准确的检测和跟踪多个目标在复杂的交通环境。它执行环境中比传统的智能跟踪方法的目标和改变照明条件。本文构造的智能跟踪方法是应用领域的智能驾驶,这有利于提高汽车驾驶的稳定性。

数据可用性

和/或使用的数据集分析在当前研究可从相应的作者以合理的要求。

的利益冲突

作者声明没有潜在的利益冲突的研究,本文的作者,和/或出版。