基于监控视频的高速公路加油站危险品车辆检测

摘要

为提高高速公路服务站的安全能力，提出了一种基于监控视频的危险品车辆检测方法。该方法使用的信息收集设备是在加油站现有的监视摄像机，可以在不改变监视设备安装的情况下，自动检测和识别危险货车的位置。该方法的过程如下。首先，我们绘制了服务站的鸟瞰图作为背景模型。然后，利用反透视映射对每个监控视频进行处理，并将这些视频与背景模型拼接，建立服务站的鸟瞰图监控模型。接下来，我们使用卷积神经网络从原始图像中检测出危险的货车。最后，将检测结果标记在鸟瞰图监控模型中，并利用该模型对服务站进行实时监控。实验表明，我们的鸟瞰图监控模型能够实现对服务站主要区域危险品车辆的实时检测，从而有效地减少了监控人员的工作量。

1.介绍

高速公路服务站是在高速公路沿线为乘客提供休息和加油的场所。服务站通常包括停车场、服务区和加油站。[1]高速公路服务站最初是为公共服务而修建的，但随着国家高速公路的发展，交通流量的增加要求服务站提高其管理和服务能力，提供更好的服务，并确保乘客和人员的安全。

油站作为高速公路上的物流节点，为货运车辆提供服务。因此，许多危险品（DG）车辆进出油站。根据中国交通部提出的“GB 6944-2012危险品分类和代码”标准[2]“危险品”是指具有危险特性的化学产品，术语“危险品车辆”指通过道路运输这些危险品的特定车辆。当DG车辆在加油站发生事故时，二次事故（如有毒气体泄漏和化学爆炸）可能会对周围设施和人员造成重大损害。因此，提高DG ve的风险控制能力hicles可以显著提高加油站的安全性。

服务站须引导车辆进入车站，监察车站内的情况，并在发生意外时作出反应，或确定可能发生意外的风险[3.］．因此，一般在服务站安装监察录像系统，以监察站内的情况[4］．通常情况下，一个屏幕上会播放多个监控视频，供监控人员观察。但是，监控视频是由服务站内不同位置的摄像头采集的，每个视频之间没有连续性，降低了监控管理的效率和有效性。由于监控人员需要同时从不同角度观看监控视频，在视频中跟踪相关目标会使人员感到疲劳;此外，当目标通过两个监控摄像头的帧间时，这可能会增加他们失去目标的可能性。为了提高加油站安全管理的效率，需要一种新的方法来减少监控人员的工作量。

在交通监控领域，经常使用计算机视觉技术来减轻工作量[5，6]及监测站的监察[7]这项技术可以识别和定位图像中的一些目标。由于其高识别成功率和高定位精度，在交通监控中有着广泛的应用[8]及工业测量[9］．

与车辆传感器网络相比[10]和现场技术[11]，计算机视觉响应更快，安装和操作更方便[12］．然而，计算机视觉在交通监控中有其局限性。摄像机的视线通常在道路对角线上，每个摄像机之间的安装姿势也不一样，因此很难在不同的监控视频中使用统一的方法来定位目标[13］．服务站的监控范围与交通监控也有很大的不同。服务区域需要覆盖大面积;然后，它需要更多的摄像机来最小化盲区。但是交通监控的监控区域通常是道路，道路又窄又长，不需要太多的摄像头。两者的任务也不同。一方面，服务区需要引导和调整DG车辆的位置，确保其停车位置符合安全要求;其次，具有定位要求。另一方面，交通监控只需要记录一些别的事故，并不是定位要求(一个路段就足够了)。因此，需要一种方法来组合不同摄像头的信息，实现车辆在服务站的定位功能。

随着图像处理技术的发展，图像拼接技术在视频监控应用中得到了广泛的应用[14]。图像拼接是一种用于将多个图像从不同角度拼接到单个图像中的方法[15]。通过将多个监控摄像机的数据拼接在一起，这种技术可以显著减少监控人员的工作量。然而，传统的图像拼接算法是基于图像之间的特征点匹配，如SIFT[16],[冲浪17]、和球体[18］．这些方法适用于一些重叠区域较大的图像，但不适用于服务站监控视频系统。这是因为交通监控视频设备更注重利用有限数量的摄像头最大化视野，因此摄像头的安装位置更加分散。因此，不同的视频图像之间缺乏重叠区域。这些原因使得传统的图像拼接算法难以对服务站监控视频进行拼接。

摄像机成像的基本原理是利用世界坐标系将图像信息映射到透视变换后的图像坐标系中，从而使图像产生一定的变形。这个过程称为图像的透视映射(PM)。PM的一个典型例子是，如果你取两个相同大小的假设物体，离相机越近的物体在图像中会显得比另一个大。

消除图像透视效果的最常用方法是反向透视贴图（IPM）[19，这是PM的逆过程。IPM通过计算摄像机的变换矩阵，将图像坐标系中的信息映射到世界坐标系中。在道路交通领域，IPM通常用于从监控视频中获取监控区域的鸟瞰图，如Oliveira等人提出的车道检测方法[20.以及Li等人提出的城市道路标线检测方法[21]此外，由于鸟瞰图像保留了目标的水平位置信息，因此通常用于定位和跟踪目标，例如基于航空视频的车辆轨迹提取方法[22]以及基于无人机的交通监控[23］．由于在服务站安装监控摄像头与在交通区域安装类似，因此在服务站使用IPM处理监控视频可能是可行的。

此外，卷积神经网络(CNN)技术的发展极大地提高了基于视觉的目标检测技术的能力[24]利用卷积网络提取的深层图像信息，CNN检测可以快速提取和分类图像中的复杂特征，然后使用这些特征识别特定目标。CNN检测在交通检测中也有很多应用，比如车辆检测方法[25，26]。由于监控视频中包含大量图像信息，因此使用CNN检测来检测这些视频中的车辆是提高监控管理效率的一种方法。

综上所述，本研究提出了一种基于IPM和CNN检测的监控视频处理算法，该方法最适合高速公路服务站使用，非常理想地减少了监控人员的工作量，从而提高了服务站的安全管理效率在加油站对危险品车辆进行视频监控和自动检测。本文的组织结构如下。第2描述了基于监控视频建立定位模型的方法以及危险品车辆的检测方法。第节3.给出了实验的细节和结果，并给出了部分4提出结论。

2.材料和方法

2．1．加油站有监控摄像头

本文提出的方法利用现有的监控摄像机捕捉相关区域的图像信息。图1所示为加油站监控摄像头的常见安装示意图1，其中油站内安装有多个闭路电视塔，每个闭路电视塔配备有不同姿势的监控摄像机，如图所示2．为了确保这些摄像头的视线能够完全捕捉到服务站的主要区域，通常每个区域都有几个摄像头进行拍摄，如图所示3.。摄像机之间的视野不可避免地会出现一些重叠区域，因为这些重叠区域是确保监控视频连续性的先决条件。

2.2. 监控视频的IPM改造

IPM用于去除监控视频中的透视效果，并将其图像重新映射为鸟瞰图像。我们使用了基于单应矩阵的IPM方法[27]该算法利用图像中的四个对应点来获取IPM的变换矩阵，具有良好的可操作性，不需要测量摄像机的姿态参数。

认为有一点 在图像中 为世界坐标系中的对应点(假设所有点在世界坐标系中的同一平面上)。然后计算这些点的变换，如式(1）, (2)和(3.）.3 × 3矩阵H表示单应矩阵，此变换称为单应:

单应矩阵的计算如式(4), 是点我在图像坐标系和 是点的对应点吗我在世界坐标系中。单应性矩阵H可以通过计算来计算吗在方程:

转换后的图像如图所示4．由于变换后的图像已经标记了图像畸变，并且只需要监控服务站图像的一部分(如道路区域和停车场区域)，所以我们对变换后的图像进行裁剪，只留下必要的目标区域。

2．3.目标区域鸟瞰图拼接

为了生成服务站监控模型，需要建立一个基于服务站结构的标准参考系统。由于变换后的图像在服务站中有相应的区域，将这些图像拼接成包含该服务站结构信息的背景图像(如鸟瞰图或结构图)，可以为图像中的检测目标提供定位参考。我们使用无人机(UAV)获取整个服务站的鸟瞰图作为背景图像，为监控模型提供位置参考。

在对每个监控视频中的目标区域进行IPM变换后，我们将目标区域的鸟瞰图拼接到背景图像中，如图所示5.图中不同颜色的区域5表示不同监控摄像机拍摄的转换图像，背景模型为航空摄影获得的服务区域，由于摄像机的安装姿势一般没有统一的标准，因此在拼接过程中需要手动调整目标区域大小，以确保其符合要求在背景模型中具有相应区域的IDE。

3.基于SSD的危险品车辆检测

根据GB 6944-2012《危险品分类和编码》，危险品一般定义为具有危险特性的化学品，此类产品应使用罐式集装箱进行道路运输[28］．因此，我们提出的方法通过检测罐式集装箱来检测图像中的DG车辆，如图所示6．

单发多盒探测器(SSD) [29]是一种单阶段检测CNN模型，使用不同比例和比例的锚盒对图像进行均匀采样，然后使用CNN层提取特征进行分类和回归。与传统的两阶段方法（如快速R-CNN）相比，该设计提高了SSD的计算速度[30.］．将SSD的损失函数与置信度损失和定位损失相结合，如下式:

为了匹配不同的对象，SSD在每个要素层中设置多个锚定框，如方程所示(6),和分别表示锚定框与图像的最大比例和最小比例，以及米是要素图层的数量：

此外，SSD通过设置纵横比来匹配功能。对于具有特定长宽比的锚箱在天平下面 ，可使用以下方程式计算宽度和高度：

考虑到检测到的图像是由不同的相机捕获的，这些相机安装在不同的位置和位姿，这些图像中的特征具有不同的大小和比例;使用SSD的可变锚设计可以有效地匹配这些特性。我们为从不同的相机捕获的图像设置不同的锚高宽比。对于图像序列 ，这是由摄像机拍摄的 ，我们选择了几个长宽比形成比率序列以不同的图像序列进行采样，如下式所示：

DG车辆检测流程如图所示7．由于经过IPM变换后的图像会产生严重的图像畸变，降低了DG车辆检测的成功率，我们将车辆检测过程设计为发生在IPM变换过程之前。然而，由于IPM变换后的图像被裁剪，检测区域只需要包含裁剪后的目标区域，该目标区域约相当于原始图像的30-60%。因此，对于每个相机 ，探测区，以减少计算时间。划分如图所示8，其中应该尽可能地减少，并且应该包括整个监视区域。

需要注意的是，IPM变换还需要SSD检测结果的坐标，以便与变换后的图像坐标系相一致。类似于图像中的IPM单应，假设检测结果的中心点为 ，变换点的计算 为下式:

4.实验与讨论

4．1.监测模型

为了验证监控模型建立方法的可行性，我们利用某高速公路服务区的监控数据，基于Unity构建了监控模型，如图所示9．

监控模型由多个监控视频组件和一个背景模型组成。每个监控视频组件是由监控视频转换而成的鸟瞰图像，背景模型通过航空摄影捕获。图像中的不同颜色点如图所示9是CCTV塔楼，每个框的颜色表示监控视频被相同颜色的CCTV塔楼捕获的区域。图形10显示监控模型的DG车辆检测结果。

根据公式(10)和(11)，我们计算了监控模型覆盖的停车区域的重叠面积，以及监控模型覆盖的停车和道路区域的重叠面积（每个部分的面积除以交通指数线）。结果是达到93%和达到71%:

在本案例中，我们将6个监控视频组合成1个监控模型。这意味着原本需要6个屏幕显示的停车区域现在只需要1个屏幕，在监控模型中可以更直观地观察到车辆的位置。即使不增加识别功能，这也大大提高了监视行动的效率。

但由于监测模型中图像的畸变，定位无法达到较高的定位精度。但根据停车场的交通指数线，可以确定车辆的大致面积。

4.2. DG车辆检测

训练SSD需要2000张图像作为训练样本，这些图像是从第节中提到的监控摄像机捕获的4.1．这些图像包含了从不同角度拍摄的罐式集装箱卡车的视图。

在测试过程中，我们使用了配置好的设备，如表所示1，以测试SSD检测的性能。

为了评估SSD检测，我们使用了200张白天采集的图像和200张夜间采集的图像。这些图像的原始分辨率为2560 × 1440，但由于图像被裁剪，测试图像有几个较小的分辨率。我们使用交集过并(IOU)作为检测成功的判据，其计算方法如式(12).考虑到该方法中的定位操作对定位精度要求不高，当IOU值超过50%时，我们判定检测成功。AP是目标检测算法的主要参数，其计算如式所示(13）.评价结果见表2：

与白天样本的检测结果相比，夜间样本的检测结果大大降低。其主要原因是光线不足造成的图像失真。

4.3.讨论

监控模型的实验结果表明，通过合理选择每个监控视频的目标区域，缝合的监控模型可以包括加油站的主要功能区域（例如道路和停车区）。此外，多个监控视频成功拼接成一个视频，大大减少了监控人员的工作量。然而，在监测模型中观察到一个重大问题。当车辆经过目标区域的两个部分之间时，其外观严重变形，如图所示11，或者车辆暂时从画面中消失。这是由于不同相机的安装位置和拍摄角度的差异造成的，也不是太大的问题，因为车辆的图像完全进入另一台相机的视野后就会恢复正常。

SSD检测实验表明，SSD检测在大多数情况下都能有效检测出视频中的DG车辆。然而，由于摄像机安装位置和姿态的限制，在特定的位置很难检测到遮挡目标。数字12展示了一个例子，图像中有四辆DG车辆，但只有绿色边框标记的一辆被检测到，因为它没有被遮挡，而未检测到的车辆由红色边框表示。在这个案例中，摄像头捕捉到了停车场的图像，当有几辆车停在停车场时，一些车被其他车挡住了。这些被遮挡的车辆将很难被SSD检测器检测到，如图左侧所示12.此外，卡车的头部可以遮挡罐式集装箱的特征，如图右侧所示12．

5.结论

提出了一种基于图像拼接和SSD检测的高速公路服务站DG车辆自动检测方法。检测数据基于服务站现有的监控摄像头数据。我们的实验表明，采用典型方式安装的监控摄像头，拼接监控模型可以覆盖服务站的主要交通区域，从而大大减少了监控人员的工作量。SSD检测也降低了DG车辆识别定位的难度，提高了监测工作的效率。

实验还发现了该方法存在的一些问题，这些问题有待于进一步的研究解决。由于监控摄像机位置和姿态的限制，该方法无法生成加油站的完整实时鸟瞰监控模型。相反，它只能容纳部分油站的监控功能。此外，DG车辆通常相当大；因此，它们很容易阻塞其他DG车辆，从而导致检测失败。然而，由于车辆在服务站的整个时间内都没有被遮挡，因此在未来的工作中，我们计划添加一个目标跟踪算法，将车辆信息链接到不同帧之间，以预测被遮挡的DG车辆的位置。

数据可用性

这些数据不是开源的，因为监控视频不允许自由分发。

的利益冲突

作者声明他们没有利益冲突。

致谢

这项工作得到了上海市科技重大项目（2021SHZDZX0100）和中央大学基础研究基金的部分资助。

参考文献

1. 《高速公路服务站规划设计》新架构，第2卷，2004年。浏览：谷歌学者
2. GB 6944-2012《危险物品分类及编码》。
3. L.Pan，“高速公路服务站危险货物车辆适应性评价，”广东高速公路通信，2014年第4卷，第101-106页，2014年。浏览：谷歌学者
4. z傅,高速公路服务区出入口智能监控系统的应用研究长安大学，西安，2015。
5. H. Idrees, M. Shah和R. Surette，“利用计算机视觉增强摄像头监视:研究笔记”，警察:国际期刊，第41卷，第2期，第292-307页，2018年。浏览：出版商的网站|谷歌学者
6. 何国泰、曾荫权、吴春华、王文华和蔡国麟，“智能城市智能交通中基于计算机视觉的路边占用监控系统，”传感器第19卷第2期8, p. 1796, 2019。浏览：出版商的网站|谷歌学者
7. W.Xiaokui，“高速公路收费站安全监控的前景，”中国日报， 2011年第5期。7, pp. 100-101, 2011。浏览：谷歌学者
8. 谢志伟、余世华、陈耀胜、胡文福，“车辆追踪与分类自动交通监控系统，”IEEE智能交通系统汇刊，第7卷，第2期，第175-187页，2006年。浏览：出版商的网站|谷歌学者
9. Mi，Y.Huang，C.Fu，Z.Zhang和O.Postolache，“基于视觉的测量：自动化集装箱码头的现状和发展趋势，”IEEE仪器与测量杂志，第24卷，第2期4，第65-76页，2021年。浏览：出版商的网站|谷歌学者
10. S. P. Biswas, P. Roy, N. Patra, A. Mukherjee，和N. Dey，“智能交通监控系统”第二届计算机和通信技术国际会议论文集，第535-545页，施普林格，新德里，2016。浏览：谷歌学者
11. M.A.Kafi、Y.Challal、D.Djenouri、M.Doudou、A.Bouabdallah和N.Badache，“用于城市交通监控的无线传感器网络研究：应用和架构，”Procedia计算机科学， vol. 19, pp. 617-626, 2013。浏览：出版商的网站|谷歌学者
12. N. K. Jain, R. K. Saini, P. Mittal，《交通监控系统技术综述》，智能系统与计算的进展，第742卷，斯普林格，2019年。浏览：出版商的网站|谷歌学者
13. S.R.E.Datondji，Y.Dupuis，P.Subirats和P.Vasseur，“基于视觉的道路交叉口交通监控调查，”IEEE智能交通系统汇刊，第17卷，第10期，第2681-26982016页。浏览：出版商的网站|谷歌学者
14. 冯X,魏立义,魏T,张Y,曹L,，铰接式多车智能交通道路车辆全景监控系统的标定与拼接方法，SAE技术论文，2019年。
15. C.C.Lin、S.U.Pankanti、K.Natesan Ramamurthy和A.Y.Aravkin，“尽可能自然的自适应图像拼接”，年计算机视觉与模式识别会议论文集， pp. 1155-1163，波士顿，马萨诸塞州，美国，2015年6月。浏览：出版商的网站|谷歌学者
16. W. Burger和M. J. Burge，“尺度不变特征变换(SIFT)”数字图像处理：计算机科学中的文本，第609-664页，施普林格，英国伦敦，2016。浏览：出版商的网站|谷歌学者
17. H. Bay, A. Ess, T. Tuytelaars，和L. Van Gool，“加速健壮功能(SURF)”，计算机视觉与图像理解，第110卷，第3期，第346-359页，2008年。浏览：出版商的网站|谷歌学者
18. E. Rublee, V. Rabaud, K. Konolige，和G. Bradski，《ORB: SIFT或SURF的有效替代品》，刊于2011年国际计算机视觉会议记录， pp. 2564-2571, IEEE，巴塞罗那，西班牙，2011年11月。浏览：出版商的网站|谷歌学者
19. S.Tuohy，D.O'Cualain，E.Jones和M.Glavin，“使用OpenCV中的逆透视映射确定汽车环境的距离”，年IET爱尔兰信号和系统会议论文集(ISSC 2010)2010年6月，爱尔兰科克。浏览：出版商的网站|谷歌学者
20. M.Oliveira，V.Santos和A.D.Sappa，“多模态逆透视映射，”信息融合， vol. 24, pp. 108-121, 2015。浏览：出版商的网站|谷歌学者
21. 李海华，冯敏，王旭东，“基于反视角的城市道路标记检测”，《中国公路学报》2012年IEEE第二届云计算和智能系统国际会议记录， pp. 1178-1182, IEEE，中国，2012年10月。浏览：出版商的网站|谷歌学者
22. 陈志强，李志强，杨耀阳，齐立群，和柯瑞敏，“从航空视频中提取高分辨率飞行器轨迹并去除噪声，”IEEE智能交通系统汇刊第22卷第2期5, pp. 3190-3202, 2020。浏览：出版商的网站|谷歌学者
23. K.Kanistras、G.Martins、M.J.Rutherford和K.P.Valavanis，“用于交通监控的无人机调查”，年2013年无人机系统国际会议记录（ICUAS），第221-234页，IEEE, Atlanta, GA, USA, 2013年5月。浏览：出版商的网站|谷歌学者
24. 江H和E.在年学习了米勒的《用更快的R-CNN进行人脸检测》2017年第12届IEEE自动人脸和手势识别国际会议记录（FG 2017）， pp. 650-657, IEEE，华盛顿DC，美国，2017年5月。浏览：出版商的网站|谷歌学者
25. Q. Fan, L. Brown, and J. Smith，“A closer look at Faster R-CNN for vehicle detection”，in2016年IEEE智能车辆研讨会论文集（四），第124-129页，IEEE，瑞典哥德堡，2016年6月。浏览：出版商的网站|谷歌学者
26. N.Seenouvong，U.Watcareeruetai，C.Nuthong，K.Khongsomboon和N.Ohnishi，“基于计算机视觉的车辆检测和计数系统”，年2016年第八届知识与智能技术国际会议记录（KST），第224-227页，IEEE，泰国清迈，2016年2月。浏览：出版商的网站|谷歌学者
27. 布拉德斯基，学习OpenCV， O 'REILLY，马萨诸塞州，美国，2008。
28. I. A. Karimi, M. Sharafali和H. Mahalingam，《化学品物流的罐式集装箱运输调度》，爱切杂志，第51卷，第1期，第178-197页，2005年。浏览：出版商的网站|谷歌学者
29. Liu W.， D. angelov, D. Erhan et al.， " SSD:单镜头多盒探测器，" in欧洲计算机视觉会议记录，第21-37页，施普林格，Cham，瑞士，2016。浏览：出版商的网站|谷歌学者
30. R.Girshick，“快速R-CNN”，在IEEE计算机视觉国际会议记录（ICCV），第1440-1448页，智利圣地亚哥，2015年2月。浏览：出版商的网站|谷歌学者

版权

版权所有©2021黄凯、赵钦培。这是一篇发布在知识共享署名许可协议，允许在任何媒介中不受限制地使用、分发和复制，前提是原作被正确引用。