文摘

本文提出了一种新的基于一维直接线性变换增强方法估算车辆视频序列中的运动状态。该方法利用目标车辆,波状外形的结构和数据收集过程发现相对稳定和有效,提供一个更好的适用性。车辆的运动视频中被活跃的标定区域,而车辆的驾驶记录之间的空间一致性和校准信息同步。车辆运动状态估计在验证阶段使用该方法首先,然后估计与实际运动状态记录在实验测试。结果表明,在相机的角度90度的情况下,在所有驾驶低速,高速,或减速,估计速度和记录速度之间的误差小于1.5%,加速度的误差小于7%,和距离的误差小于2%;同样,在相机的角度30度的情况下,错误的速度,距离,和加速度是不到4%,5%,和10%,分别。结果表明,该方法优于现有的其他方法。

1。介绍

随着视频图像记录车辆的运动在监控范围内,可以为进一步的定量分析提供客观的原始数据,视频监控设备已经应用提供重要线索vehicle-related应用程序的检测和取证。例如,Byon et al。1- - - - - -3)使用车辆的状态,这是确定的速度和加速度相关路段的录像,作为输入信息,交通模式检测算法。Tarkowski et al。4使用录像和重建motorcycle-motor汽车碰撞车辆朝着同一个方向和执行同步操作:一个左转和超越。吴et al。5)计算车轮轨道运营高速公路上通过视频分析在分析视觉干预路面标志的设计。

汽车的速度有显著影响道路交通事故的严重程度(6- - - - - -9),和一个可靠的方法来提取有效数据和重建车辆运动是关键的成功因素对事故的分析视频。有几个背景减法等传统技术和车辆分割是用手工对噪声敏感的特性。例如,光流法(10),帧间差分法(11),背景差分法(12)造成的变化像素检测运动对象及其相关的速度,和颜色的方法(13)通常用于视频测速领域。高et al。14]发现车速的方法识别基于视频图像,这有助于检测车辆的距离按照固定的结构对象和目标车辆在路上现场环境。根据区间运行速度和点速度的定义,目标车辆的速度可以估计一个视频帧率。目前,该方法已成为主要的方法使用视频图像识别车辆的速度在法医实践中识别的交通事故15- - - - - -19),但由于校准的位置和视频帧率,该方法不能完全反映所有目标车辆的运动状态的监测范围。Kumar et al。20.)提出了一个半自动2 d解决方案对单目视频中车辆的速度估计,他们使用最先进的对象探测器Mask-RCNN生成可靠的车辆碰撞盒子和提出一个两阶段算法近似变换测量在现实世界的图像域。然而,这些方法都能估计车辆轨迹(特别是曲线的轨迹)视图下除了视频的情况下从俯视的角度记录。此外,低速度和多目标的情况下将导致较大的检测错误。

摄影测量和计算机技术的结合提供了一个更好的道路几何测量和车辆速度计算方法(21]。像点坐标系统之间的转换关系和对象空间坐标系统可以利用直接线性变换原理建立在摄影技术22),适合摄影测量目前主导nonmeasurement相机拍摄的照片(23,24]。杨et al。25收集信息的路面和车辆的身体在交通事故场景基于摄影的直接线性变换原理,可作为事故模拟软件的输入条件。通过监控录像,苗族(26和汉27)选择四个路标上的固定的点作为控制点。通过匹配图像控制点的平面坐标和物体平面坐标结合的直接线性变换原理、地面目标的轨道车辆和相关车辆的速度可以被估计。然而,该方法需要4个在路上不动点作为控制点,和道路控制点的选择往往是影响道路标志和道路等级的数量和分布(28]。和四个特征点之间的相对距离需要度量事故会发生,导致很大的局限性对应用程序设置条件和所需的精度。布林格et al。29日)提出了一个方法来重建三维物体运动轨迹在立体视频序列,和他们将车辆轨迹嵌入环境重建结合对象对应的每张图片搭配点云相机姿势背景SfM中包含从运动(结构)重建。这种方法比单眼轨迹重建可靠的方法,但强有力的表面反射造成的无效的立体匹配是不容易避免。Hasith et al。30.]用检测器检测图像中的对象边界框框架和相关的这些检测跟踪使用匈牙利算法基于成对不同分数计算当前帧中检测之间对轨道的记忆和提出一个方法来解决年检(多个对象跟踪的目标)通过定义不同测量对象运动的基础上,外观,结构,和大小。这是一个有效的跟踪精度和先进的框架,但跟踪精度需要改善。

总的来说,传统的和现有的方法估算车辆运动不能完全反映车辆的驾驶状态,或所需的条件极大地限制或没有足够的精度。本文发展一维直接线性变换法来解决整个车辆的轨迹记录的视频图像序列,通过获取车辆的线性结构特点的身体和使用车辆的轨迹作为校准信息。方法的校准信息来源于目标车辆的形象。数据收集过程是发现是稳定的和有效的,它消除了依赖,就像在其他现有方法,在其他信息,如图像中固定的距离,和要求的数量和分布路标。校准区域覆盖整个运动车辆的视频图像,使得交通轨迹之间的一致性和校准空间尽可能多的信息。基于视频帧速率,整个车辆的最小步长轨迹是用来计算距离,这样可以减少在解决过程中外部插值的现象,提高了结果的准确性。

2。基本假设和计算方法

以离散化车辆的连续运动从一个录制视频与某些图像序列,视频帧率(即。,recording frequency) and the vehicle’s position in each image frame are used to compute the change in displacement during each time interval between each consecutive pair of image frames.

2.1。基本假设

因为车辆的运动的连续性和高视频帧速率新兴相机常用的设备,它可以假定两个相邻图像帧中的运动轨迹是大约一个线性运动。因此,相应的视频相邻帧之间的位移可以认为等于其实际距离,如图1。

2.2。解决方案的想法

直接线性变换不需要相机内外方位元素,它适用于摄影测量nonmeasurement相机拍摄的照片。解决直接线性变换的基本公式如下所示: 在哪里x和y图像平面坐标,X,Y,Z是物体空间坐标。和l_1∼11是直接线性变换的因素。

假设两个相邻帧可以近似成线性运动,所以车辆的线性特征的身体概要文件可以被认为是在同一行中两个相邻帧。使变量Z和Y为常数,方程(1)可以写成

方程(2)是一个一维的直接线性变换公式,可以解决一维线性变换图像空间到对象空间的问题。根据图2,四个路口线轮轴的外端与边缘的边缘没有。N帧图像设置为参考点,命名一个_N,b_N,c_N,d_N。四个标记点三段相邻的一条直线。然后,任何选择其中三个控制点。基于像素的距离和实际距离,一维直接线性变换系数l_N= (l₁,l₂,l₃的没有。N帧图像都解决了。下一帧图像(没有。N+ 1帧),结合图像点的坐标一个_{N+ 1}和一个_N和直接线性变换系数l_N,对象空间的距离一个_{N+ 1}和一个_N计算。

然后,我们可以找到的没有。N+ 1帧图像对应的一维直接线性变换系数l_{N+ 1}按照图像距离和实际距离的三分 , , ,和 。同样,根据像点坐标和下一帧图像没有。N+ 2,结合直接线性变换系数 ,的实际距离和可以计算。校准和计算可以继续逐帧的方向车辆的运动。最后,车辆的驾驶状态。

3所示。计算过程

解决过程中所描述的“解决方案的想法”部分可以归纳为如下步骤:(1)提取图像和目标车辆的时间戳在视频逐帧所需的时间。(2)在每一帧,四个路口点之间形成的直线一侧轮子轴的外端目标车辆和边缘的边缘作为参考点,分别设置一个,b,c,d。(3)与没有。N帧图像为例,采取三分一个,b,d(任何三点组合)作为控制点,计算距离和像素平面坐标,其次是结合相应的实际距离。然后,解决一维直接线性变换系数图像的线,线的实际对象。(4)根据像点坐标的没有。N+ 1帧图像,结合直接线性变换系数为没有。N帧图像,计算点的实际运动距离一个从没有。N来没有。N+ 1帧图像。(5)在没有。N+ 1帧图像,一个,b,d作为控制点,根据三分像平面坐标,计算距离和 ,结合相应的实际距离。然后,解决一维直接线性变换系数图像的线,线的实际对象。(6)像点坐标的基础上在没有。N+ 2帧图像,结合直接线性变换系数 ,计算实际的运动之间的距离没有。N+ 1,没有。N+ 2帧图像。(7)计算直接线性变换系数l通过上面的方法逐帧,设定点一个的参考点的实际驾驶距离目标车辆。(8)根据图像中目标车辆的驾驶距离序列,结合视频的帧率,计算出车辆的速度和加速度对应于指定的图像,逐帧。(9)输出文件信息、车辆特征点间距,提取视频图像范围,图像序列和时间戳信息,在每一帧特征点的图像坐标,一维直接线性变换系数 ,特征点的距离一个从一个视频帧到下一帧,并在每一帧的速度和加速度。

4所示。设计验证测试方案

本节描述验证测试设置如下:(我)年代测试材料:手动变速器的汽车,基斯特勒公司- 350光电五轮仪,LED显示器,两个摄像头,小天狼星数字收集器,笔记本电脑(通道设置和数据收集),三维激光扫描仪,棋盘,磁带,和宝马标签。(2)测试地点:150 - m -长直巷。(3)测试场景:图3(一个)显示测试车辆和设备,和3(b)显示了一个测试场景。有六个宝马标签两边的测试线,和两个摄像头旁边的车道。相机的方向设置的方向车辆在90°和30°。测试车辆配备了激光五轮仪、数字收集器,监控,和汽车相机。90°方向远离相机是10米的车道,汽车运行和测试三次不同的车速。DWDEsoft保存收集的视频和数据信息的笔记本电脑。视频的帧率测试中收集的是30 fps,分辨率是640∗480像素。收集的数据包括旅行速度和距离(收集频率100赫兹)。

5。解决方案和分析

5.1。低速运行

5.1.1。在相机的角度90度

(1)图像预处理和frame位移的解决方案。在PC-Rect 4.2中,棋盘由测试摄像机拍摄的图像处理和镜头畸变修正文件。在MATLAB中,收集视频分解成多个帧,视频帧速率是30 fps和帧的总数是73,和文件格式RGB24一点。然后,28日连续帧提取当测试车经过地区的视频。通过应用透镜畸变图像纠正处理。如图4(原始图像)和图5(纠正图像),纠正车道边缘线近似平行于参考线。修正后的图像在0到27日的顺序重新编号。

分析的过程没有。0帧图像是概括为以下:(我)首先,做一个三维矩阵的图像的灰度变化信息,并将它转化为一个二维矩阵。校准三个特征点的车辆轮廓,如图6。从左到右,有三个点一个,b,d(一个点对应于后方中心端点一个的车辆,b点对应于后方中心前端点B,d点前中心前端点D)。(2)第二,图像平面坐标系统建立在图像的左上角坐标原点。提取像素坐标的值三个特征点一个= (331),b= (332)c在MATLAB = (166、332)。纵坐标值略有不同,但在俯视图,方程(2)不涉及协调操作期间的计算,因此可以忽略。测量测试轴的距离是280.3厘米,中心直径44厘米,与一个点(测试车辆后方枢纽屁股点)为坐标原点设置测试车辆的身体平面坐标系统(简单地称为对象平方坐标系),然后对象坐标值一个,B,D,三分一个= (0,0),B0 =(44岁),D= (324.3,0)(3)与此同时,通过一维直接线性变换方程(2): 在哪里 , ,和 。

把上面的三个点的像素坐标的价值观和object-square坐标值公式,得到矩阵的系数 。(我)为没有。1帧图像,获得相同的方法在帧图像一个,b,c。三分像素坐标一个= (331),b= (332)c= (187,331)。(2)相对于没有。0帧图像,三分在帧图像的移动x方向约一个像素,近似的直线运动和与假设一致。把一个点x设在协调价值x_一个在方程(= 332),然后点一个在没有。1帧对象水平轴值X_一个= 31.25厘米。因此,可以认为这一点一个从没有。0框架的没有。1框架横向移动31.25厘米在对象空间。测试车辆运行= 31.25厘米。同时,根据方程(3),你可以得到的没有。1帧变换系数矩阵 。(3)用同样的方法对所有帧图像处理,计算两个相邻帧之间的位移测试工具的d年代(以下称为帧位移),结果如表所示1。

(2)行车速度的解决方案。从表1,框架位移d年代值是在33-38厘米,平均34.84厘米。视频帧率是30 fps,和根据 ,我们解决了帧间速度 ,如图7所示。与此同时,小天狼星的数据收集,我们记录测试速度值的采集频率0.01,和比较分析如图8。

从数据7和8,时间t四阶拟合曲线的计算速度基本上是一样的test-gathering速度曲线,和整体趋势是下降的。标准偏差的 范围36.3公里/小时和39.3公里/小时之间,平均为37.7公里/小时。记录范围在37.2公里/小时和38.9 km / h,包含在36.3 km / h∼39.1 km / h。平均速度为38.1公里/小时,这不同于平均计算大约1.0%。这表明,该方法是有效的计算速度。

(3)加速解决方案。为了计算加速度一个,我们首先适合四阶拟合多项式 ,

然后,我们把微分方程(4)导致加速度一个:

同时,由于数据采集仪器不记录加速度值。本文以的导数关于t和散射加速度一个₀。然后,我们从散射值符合一个三阶多项式一个₀,如图9。

之间有很大偏差一个₀拟合曲线和计算一个。它也指出的分布一个₀是分散的。因为测试速度的变化小(< 2 m / s²),接近匀速运动,当采样周期尽可能短,速度误差反映在加速度放大100倍的采样频率。

我们注意到时间T只有0.9年代和车辆加速度的变化通常是大约线性变量在非紧急情况下的0.9秒。因此,它是合理的线性加速度值的比较,如图10。两个斜坡之间的差异的两个安装线路和平均值分别为7.6%和5.1%,分别。从这个结果我们可以看到,该方法也适用于解决方案的平均加速度值。

(4)旅游距离计算。旅行的距离年代发现了一个整体框架的位移d年代关于T。图11显示了计算行驶距离年代用这种方法测试记录年代₀。

年代和年代₀反映汽车大约是在统一的运动和线性回归方程

两个斜坡和拦截是相似的。累计驾驶距离在0.9年代的结果年代= 9.65 m,驾驶距离的测试记录年代₀= 9.47 m,这之间的区别是1.9%。发现驾驶距离的计算是有效的。

5.1.2中。在相机的角度30度

(1)值修正的特征点坐标。在视频帧应用解决方案和失真校正处理,我们提取的42个连续帧图像测试车辆。图像在0到41的顺序重新编号。

由于30°之间的偏转角镜头方向和车辆的行驶方向,很难确保车辆的主体的特征点位于同一直线。如图12,没有保证相邻的像素距离图像中的特征点坐标系统可以正确地估计。

首先,3为每个帧特征点选择(126特征点)。第二,126年特征点进行线性回归,如图13。每个功能点的纵坐标值修正获得协调价值,和发现修改的纵坐标值变化更加均匀和定期如表所示2。

(2)行车速度的解决方案。根据修正后的坐标和方程(2),相同的方法解决了d年代两个相邻帧之间的帧位移。d的推导年代结果在平均速度帧之间,如图14。计算的比较并记录如图15。

如图14所示,标准差( )范围33.6公里/小时和38.7公里/之间的均值36.1 km / h。记录范围从36.5公里到38.7公里/小时,类似的范围36.7 km / h∼38.6公里/小时,在预计的范围内。平均速度为37.5公里/小时,偏离平均计算是3.7%,达到误差标准。

(3)加速解决方案。的四阶拟合方程发现是

然后,方程的推导结果在下面一个。

曲线的线性回归一个和散射一个₀如图16。

区别两个加速度的平均值是5.6%。尽管这两个配件行斜坡上是相反的,下面的线是0,表明加速度总是负面的。

(4)旅游距离计算。帧位移的积分d年代关于T旅行的距离年代。图17显示了估计驾驶距离年代用这种方法与测试的记录年代₀。两条曲线接近重合,在1.4秒年代= 13.7米,年代₀= 14.4米,导致4.9%的差异,满足误差要求。

5.2。中产阶级和高速运行

5.2.1。在相机的角度90度

(1)行车速度的解决方案。当连续10帧从视频中提取和应用相同的方法来计算平均速度 ,相比之下,记录速度是哪一个 ,结果如图18。

的平均速度和76.99公里/小时和76.77公里,分别不同的大约0.3%。

(2)旅游距离计算。线性回归的旅行距离年代给了

系数测定R²= 1表示回归显著,大约是在一个统一的运动,而速度是21.37米/秒(76.93公里/小时)。估计之间的区别年代= 6.42 m和观察到的年代₀= 6.40为0.3%,满足误差要求。图19显示估计之间的比较和观察累计驾驶距离。

这里不讨论它的加速度值的比较,实验是非常接近匀速运动,类似于“描述的情况低速运行”一节。下一节”减速运行“将讨论特别是减速值。

5.2.2。在相机的角度30度

(1)旅游距离计算。25的连续帧图像测试车辆提取第一,和75年的特征点坐标是固定的,如图20.。

根据修改后的特征点坐标,我们获得这是显示在图21与 。

的平均速度75.31公里/小时,标准偏差( )范围从70.58公里到80.07公里/小时。的平均值76.75公里/小时,这是不同于计算平均大约1.9%,满足要求。

(2)旅游距离计算。累计行驶距离年代和测试记录年代₀如图22。

回归后,确定系数R²= 0.98,大约是在一个统一的运动。在0.8秒,计算之间的区别年代= 16.73 m和记录年代₀= 17.05 m是1.9%。

5.3。减速运行

5.3.1。在相机的角度90度

(1)行车速度的解决方案。10帧连续图像通过视频区域提取和应用相同的方法来计算平均速度 ,相比之下,记录速度是哪一个如图23。

我们把F检验方法验证和显著性检验,然后由此产生H值为0,值为0.38,大于0.05的显著水平。它表明,方程是均匀的。发现没有显著差异,和平均速度的区别是1.3%。

(2)旅游距离计算。在上述计算的加速度,这表明获得直接通过加速度散射值 分散的,有一个更大的错误。因此,对于解决方案的加速减速状态,我们可以选择解决累积的驾驶距离年代在不同条件下的曲线拟合和双推导获得的加速度曲线。

的计算结果年代如图24大约1.1%的误差和非线性变化。

(3)加速解决方案。因为测试车辆的减速基本上是通过视频区域不变,二次拟合年代 残差为0.043,然后二次拟合年代₀ 残差为0.095,然后两次的导数

由此产生的加速度的区别是6.9%。

5.3.2。在相机的角度30度

同样的方法,行驶速度和距离可以获得如下图25和26。在车速没有显著差异,平均误差为1.2%,距离误差也是1.1%,加速度误差是9%。

6。结论

本文提出了一种基于直接线性变换方法计算车辆的运动状态在视频图像,可以充分反映车辆的运行状态根据收集到的数据和发现是稳定和容易获得。在本文描述的应用条件是彻底。示例显示了估计过程中车辆的速度,加速度,和驾驶距离2角下三种不同的运动状态。

为了验证该方法的有效性,车辆运动状态估计在实验测试用例;结果表明在90°角相机的角度来看,低速,under-medium-speed,和高速和减速运行三个州,计算速度和记录发现值误差小于1.5%,加速度值误差小于7%,行驶距离值误差小于2%。在30°角相机角度来看,低速,under-medium-speed,和高速和减速运行三个州,和记录速度的计算值误差是发现不到4%,驾驶距离值误差小于5%,和加速度值误差小于10%。估计的性能由该方法的错误发现车辆速度和距离值高于其他现有方法,和加速度误差值符合误差要求,表明本文提出的方法有效地解决了车辆的驾驶状态的视频。

摘要目前并不试图估计车辆运动状态下的运行轨迹的角度俯瞰相机。我们将继续我们的研究通过添加汽车cross-lane曲线在不久的将来,和身体的特征点的选择标准剖面下俯瞰相机将新定义。

数据可用性

与本文相关的所有数据可供同行研究人员验证。

信息披露

资助者没有作用的设计研究;在收集、分析或解释数据;写的手稿;或决定发布结果。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究是由中国国家重点研究发展计划:研究数字仿真和道路交通事故再现技术,批准号2016 yfc0800702-1,上海科学技术委员会科学技术项目开发:关键技术研究监控视频法医鉴定,批准号17 dz1205500,中国国家自然科学基金一般项目:研究交通伤害机制基于数字场景重建,批准号81571851,和各方研究卓越奖(阿勒河- 2017),批准号8 - 434000104,了中国研究机构公益项目,批准号GY2020G-7,了中国研究机构公益项目,批准号GY2018Z-3。