检测车辆占用的框架基础上,主人标记方法

文摘

专用(共)车道或拥堵收费优惠政策来鼓励multipassenger车辆。然而,车辆占用检测,基本实现这样的政策,是基于一个劳动密集型手工方法。为了解决这个问题,一些研究和一些公司试图开发一个自动检测系统。由于图像处理过程的困难,这些系统是有局限性的。本研究克服这些限制,提出了一个算法的总体框架,有效地检测居住者在车辆使用摄影数据。特别是,我们应用一个新的数据标签检测方法,使高度准确的主人即使少量的数据。新的标签方法直接标签使用者的数量,而不是执行的脸或人类的标签。人类的标签,用于现有的研究,和主人标签,本研究建议,比较来验证这种标记方法的贡献。结果,给出了模型的检测精度为99%的二进制案例(2或3人)和91%计算(居住者)的确切数字,这是高于先前研究模型的准确性。基本上,这个系统是为双边开发相机,左和右,但只有一个方面,可以检测出入住率。 The single side image accuracy is 99% for the binary case and 87% for the counting case. These rates of detection are also better than existing labeling.

1。介绍

随着车辆供应的增加,道路基础设施容量相对减少,因此连续建设新的道路需要在全球许多地区。然而,增加道路基础设施能力通过建造更多的道路是昂贵和耗时的,所以是有限度的,不能适应车辆增长速度。为了解决这个问题,一些政策已经实施鼓励拼车,减少旅行时间等多座客车通过通道或提供折扣从multipassenger车辆拥堵收费1]。执行这一政策,技术检测车辆居住者是至关重要的。目前,当高巷控制政策执行或提供拥堵收费折扣multipassenger车辆,员工视觉估计在每辆车的乘客数量检查视频数据管理中心(2]。本手册的方法是劳动密集型,降低运营效率并增加劳动力成本。在美国,这是打击非法使用模式之道,实际违反率约为50 - 80%,但据报道,打击率小于10%3]。在韩国,拥堵收费提供折扣,拥堵可能会增加更多的高峰时段由于检查每辆车的乘客数量的收费站和收费的集合。

为了解决这个问题,进行了各种研究自动化车辆乘员估计过程。研究可分为两个探测技术领域:利用车载传感器(4- - - - - -10)和使用图像数据从外部相机(11- - - - - -17]。当使用车载传感器,精度一般是高;然而,所有的车辆都需要配备的设备可以检测乘客的数量。这种设备通常使用摄像机,这一点引起了很多人的隐私问题。因此,使用这种方法是不切实际的。此外,大多数研究,检测居住者使用外部摄像头范围有限。例如,他们只能探测到前排座位的乘客数量(12- - - - - -14),只有数的儿童数量上(16),或者只确定两个或两个以上的乘客登上一辆车。特别是,在17),88%的检测精度是通过使用捕捉图像数据由一个前面的车外和一个照相机。这个精度级别适用于现实世界,因此飞行员服务在几个地区在美国进行。

在车辆乘员探测领域,有另一个限制,只有新获得的图像可以作为训练数据。因此,需要一个算法来实现高检测率即使一个小数据集。在之前的研究中,一个两级检测算法被用来克服这种限制。通常,两级检测算法首先检测车辆图像,然后检测窗口区域的乘客数量只在窗口区域(15]。然而,这种算法有一些局限性由于其复杂的学习过程和网络规模的增加,从而增加所需的计算时间。

因此,本研究提出了一个算法的总体框架,有效地检测车辆使用者使用左、右侧摄影数据从车辆外部一步过程使用少量的数据。具体来说,我们提出一个新的数据标签方法准确地检测使用者的数量。新的标签方法直接标签使用者的数量,而不是执行的脸或人类的标签,这是一种广泛使用的图像检测方法。基于这一先进的标记方法,本研究只包含一个单级检测算法。减少在检测阶段减少网络的大小,数量的样品,和检测时间。

本文的结构如下:第二部分介绍了图像采集系统检测车载居住者和描述了一种新的入住率标记方法和获得的图像数据集;第三部分描述了结构的深层神经网络用于检测居住者;第四部分提出了一个算法讨论的结果在这个研究;最后部分总结了本研究的结论和启示。

2。图像采集和新入住率标记方法

两个红外线摄像机,红外线照明系统和激光触发获取的图像用于训练和测试。图像采集系统的概述图所示1。摄像机位于车辆的左右。通过各种测试,研究小组确定最优规格的位置,高度,角度的相机18]。红外线照明系统用于提高当没有足够的可见光图像,如在夜间或在汽车的窗户上是有色的。激光触发检测车辆的进入检测区域的摄像机。触发识别车辆时,红外线摄像机图像的车辆的左右。然后,相机向服务器发送帧,和积累的图像用于培训。检测车辆占用时,图像不需要传输到服务器因为他们现场系统对待。

在介绍中提到的,先前的研究已经标记对象,如脸、人类,和windows,这标签方法有一些好处:(i)的数量标签类型,方法需要一个或两种标签;(2)获得大量的学习样本,因为每一个图像都有一个或多个窗口和一个人。然而,该方法需要两个阶段,如发现窗户,然后脸或一个算法将居住者的行。它会导致更多的时间计算和更高的错误率。为了克服的限制,本研究采用一种新的标记方法来确定有多少人在前方和后方乘客座位。因此,每个形象都必须有两个标签在六种标签:一个人在前排座位或两人在前排座位,和0,1,2,或者3人在后座,如图2。

3所示。车辆占用检测方法

图3显示该方法检测居住者使用该标签方法在本研究中。一个独立训练占用检测模型用于图像两侧,在检测到前排座椅和乘客从右侧。至于检测居住者在后座,左边和右边的图片,和后座的乘客的数量决定使用检测得分越高,比较检测结果分数来自双方的图像。之后,乘客的数量在前座和后座被添加到获得居民的总数。

本研究检测模型训练和测试结果在MATLAB环境2019 b。我们使用了快RCNN检测方法,该方法检测精度高,而不是一个统一的检测算法,如Yolo或SSD高速(意思19]。越快RCNN方法介绍(20.),它可以检测多个对象在一个图像精度高和速度。这种加速处理regional-based CNN算法(21]。具体地说,该地区建议网络(RPN),这是基于一个完全卷积网络,介绍了获得该地区建议从输入图像特征映射,它取代了选择性搜索,这是一个训练过程的瓶颈。幻灯片3 x 3项空间窗口地图上一个特性来预测该地区建议,多个锚,呼吁每一个窗口。锚的边界框的乘客的数量需要在输入图像中检测到。在上一篇文章中,9个组合的三个尺寸(128、256和512)和三个比率(2:1,1:1,1:2)锚箱是用于训练。派生的锚分为地区建议如果借据(十字路口在联盟,明白了1)与地面真理框高于0.7或如果它是最高的。如果低于0.3借据,这是归类为背景。

感兴趣的一个RoI(地区)maxPooling层是用来适应不同大小提出区域来源于RPN相同的大小。RoI池处理后,将softmax分类器,分类居住者,和盒子回归量,估计边界框,是训练有素的。因此,我们下面的多任务损失函数用于培训的总和(损失函数分类)和(损失函数边界框检测)。 在哪里锚的预测概率吗 ,这是一个对象,是地面真理是否锚标签是一个对象或一个背景。表明预测的四坐标参数化的锚 :x,y位置、宽度和高度。真理是地面坐标锚吗 ,和和代表了标准化的术语,这将是minibatch大小和锚位置的数量,分别。平衡参数使吗和大约同样的重量。在边界框回归的情况下,通过坐标和培训损失函数估计如下: 在哪里 , , ,和是锚和边界框的坐标:x,y分别位置、宽度和高度。的变量 , ,和表明预测的边界框、锚箱和地面实况框,分别,他们的意思是一样的变量y, ,和 。

为了培养有效的分类器使用RCNN越快,选择pretrained CNN的图像特征提取是很重要的。在这项研究中,我们使用了Inception-v3网络,具有精度高、小尺寸模型,计算时间短,推导出特征映射中使用的输入图像的RPN和乘员分类过程(22]。此外,转移学习了使用pretrained Inception-v3网络ImageNet数据库中的超过100万张照片。Inception-v3网络GoogLeNet的一个改良版本(23),在2014年与2390万年被释放参数。GoogLeNet特性一个初始模块,允许密集处理矩阵的计算,同时减少网络中节点之间的连接配置。此外,Inception-v3提高内核用于卷积操作结构通过引入一个新的《盗梦空间》模块使用5 x 5卷积操作两次3 x 3卷积操作,取代了3 x 3卷积操作1 x 3和3 x 1卷积操作减少计算复杂度。此外,卷积操作和池过程并行进行,然后在连接,改善表征瓶颈,这是一个现象的信息大大减少当维度降低过度的神经网络。此外,根据(24),Inception-v3取得了超过78.1%的准确性ImageNet数据集。应用Inception-v3 RCNN结构越快,我们删除了最后三层,从Inception-v3网络进行图像分类,并添加一个特征提取层。之后,形成RCNN越快,添加了一个新的分类层和RPN符合居住者标签定义在这个研究。模型的总体结构,检测居住者从单边图像如图4。

4所示。结果与讨论

从1246年图像集,1000年随机采样图像集用于模型训练,和246年图像集被用于检测精度测试分析车辆乘员检测框架的性能。模型训练进行了使用一个随机的动量与动量梯度下降法解算器0.9,0.001学习速率是固定在整个训练过程。以前,一个分4步的方法被用来训练RCNN越快;本研究的训练模型使用一个端到端的执行方法,提高了培训效率。

此外,评估的效率标识方法在这项研究中,我们比较模型,使用人工标记方法,使用相同的数据集和相同的网络结构。人类的标签标记的方法是一个技术每个人出现在一个图像作为一个个体对象。这种方法一般用于车辆乘员探测区域和人类探测任务(12- - - - - -17]。两个场景被用来比较两个标记之间的检测精度的方法。第一个场景使用相机,假设一个要求精度高的环境。第二个场景中只使用一个摄像头,假设安装环境和成本是有限的。一般来说,使用高巷执法系统,可以简单地计算精度为二进制,确定乘客在车辆的总数比三个,两个或两个以上的模式根据车道类型。如果详细的座椅乘员探测是可行的,系统使用增加。因此,在这项研究中,二进制的准确性,以及检测的准确性的居住者在前排和后排座椅,也是计算和比较。使用主人标签的模型方法在这项研究中,检测结果是来自乘客的数量在前排和后排座椅没有额外的后处理。然而,对于模型的训练比较标记方法,乘客的数量在前排和后排座椅是人类检测结果重新计算使用。区分为前排和后排座椅,b位置之间的距离的计算每个图像检测的结果。 All the methods in this study were implemented using MATLAB 2019b and trained and tested in a Dual Intel® Xeon® Silver 4114 CPU @ 2.20 GHz, 32 GB ram, and single NVIDIA GeForce RTX 2080 Ti computing environment.

这两种标记方法的模型训练时间是7小时1 K迭代。测试这些模型时,主人标签模型平均需要3.4秒每一组图像输出检测结果;然而,人工标注模型花了约7.6秒,两倍多的时间主人标记方法。车辆占用检测测试结果的一个例子为每个模型如图5。居住者标签模型显示有多少人在前排和后排座椅,而人工标注模型显示所有检测到的人民和区别前排座位后面一个虚拟b。

表1比较的结果主人两个模型的检测精度246左、右侧图像集。主人提出标签方法有相对较高的精度在所有情况下。人工标注模型也是高度准确的二进制情况下检测两个或两个以上的人,但其精度很低,当检测使用者的实际数量。有一个特别大的检出率差异后座的乘客数量;拟议的强劲标记方法检测乘客,即使部分隐藏在捕获的图像。在人类标记方法,神经网络学习一个人的头和肩膀。当很多人占据了车辆,特别是在后座,部分乘客经常阻塞,因此很难确定准确的特点。如果有几个人坐一辆车,后座通常包括一个或多个乘客的一部分。因此,很难确定准确的人类特征。居住者的检测精度提出了模型在本研究中98%的二进制计数和91%案件,这是高于该模型的精度水平(17),这被认为是一种先进的主人检测精度。

混淆矩阵允许的更详细的分析检测每个模型的结果。在图6的混淆矩阵,提出两种模型的测试结果。左边的两个矩阵模型结果使用主人标记方法在这项研究中,和右侧的两个矩阵是使用人工标注模型模型结果。每个模型的前后座位检测结果显示在两个混淆矩阵。首先,前排座位结果相比,99.59%和82.93%,分别。在主人标签模型中,一个人是错误检测到两人在一个实例。然而,有4例,对照组发现两人登上而实际上一个人登上,但是38例检测到一个人登上当两人登上。驾驶座上的人可能认为是司机和车辆的一部分或隐藏的不正确检测到一个人。此外,后座的区别两个模型的检测精度为91.06%和66.26%,分别是大于前排座位检测精度差。在大多数情况下,该模型在本研究中准确地检测到使用者的数量,和错误的检测结果是维持在±1人相比,实际的数量。因此,很明显,这个模型可以为二进制强劲检测结果情况。 On the contrary, in the control model, the detection accuracy was very low when 3 people or more were on board, and there were many results that showed more than 2-person differences from the actual number of passengers. This is similar to the front seat detection result; the occupant labeling method was more effective when learning the appearance of part of the rear seat passengers. Generally, when using human labeling methods, it is difficult to detect people if some parts of them are hidden.

而不是使用左右图像,只使用一个图像进行检测的场景在右边,和这项研究的结果发表在表2。检测居住者的使用只有一个相机图像,该模型显示更好的结果比人类的检测方法,类似于使用两个摄像机的图像。此外,当使用一个相机,而不是两个摄像头,后座的准确性降低,因为后座乘客往往隐藏在使用图像从一侧,和对面的形象不能弥补小数量的图像。然而,单机模型在这个研究显示一定程度的准确性为87%,这是类似于(17),显示最高的准确性(88%)当使用两个摄像头。特别是,在二元的情况下,模型的精度超过90%,所以单机检测模型可以有效地用于一个高执行系统。因此,根据使用的目的和环境,可以使用该占用检测算法灵活。

5。结论

克服增加流量和鼓励拼车,许多政府多座客车使用通道,为汽车提供收费价格折扣有多个乘客。然而,这些系统通常确定每辆车的乘客数量通过雇佣警察或员工在收费站附近的路边或收银员。因此,这样human-resource-based入住率探测系统导致营业预算负担和降低精度。由于这些限制,一些研究试图实现自动车辆占用检测系统以多种方式,包括使用车载传感器或的图像。然而,图像采集和图像处理技术的弱点困难难以达到实现这样的检测系统。

为了弥补短缺的先前的研究,这项研究表明一个新的标识方法,检测乘客根据居住者的数量在每一行的汽车而不是使用人类(或面)和窗口标记。这个新的标识方法在短时间内达到更快RCNN检测和高精度。此外,本研究有两个场景:(i)使用两个摄像头;(2)使用一个相机一侧由于可能的困难设置路的两边各有一个摄像头在某些领域。每个场景都有两种情况:(i)二进制:1或2和(2 +)/ 1到2或3和更多(“3 +”);(2)计算实际的乘客数量。综合,2 +案例也有类似的标记方法检测准确性的主人(99%),这项研究表明,和人类的标签(97%)方法,通常的检测方法。然而,3 +案例显示更大的两种标记方法之间的差距(15%),和计数的情况下这两种方法之间巨大的差异:居民(91%)和人(62%)。算例是乘客的实际数量和实际检测自动检测系统的准确性。一边相机场景也有类似的模式时检测结果,但一般精度低于当两个摄像头。 In order, 2+, 3+, and the counting case scenarios had bigger differences with the labeling method, the occupant label had a detection accuracy of 87%, and the human labeling method had an accuracy of 46% at the counting case.

因为更高的检测精度是取得了与实际系统,本研究对进一步研究很重要的路上增加精度比。在未来,我们会尝试各种机器学习方法和神经网络得到更高级的结果基于新的标识方法。

数据可用性

使用的数据来支持本研究的发现没有提供,因为上帝的政策解决方案。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究是财务支持的贸易、工业和能源技术(MOTIE)和韩国发展研究所(吉)通过国际合作研发项目(项目号0002246)。

引用

1. k .张成泽k .钟d·r·上货速度和彭译葶。Chan“high-occupancy-vehicle设施安全性能”,运输记录交通研究委员会》杂志上的研究表明,卷2099,不。1,第140 - 132页,2009。视图:谷歌学术搜索
2. l .马库拉”共乘车道:执法问题和选项,“技术。代表,亚利桑那州交通部,凤凰城,亚利桑那州,美国,2004年,科技,众议员供料-阿兹- 04 - 552。视图:谷歌学术搜索
3. Schijns和p·马修斯,”一个突破在自动车辆占用高/热设施、监控系统”诉讼模式12日系统的会议,卷1,休斯顿,德克萨斯州,美国,2005年4月。视图:谷歌学术搜索
4. 乔达摩,s . Lacroix, m . Devy“居住者的立体匹配算法检测、评价”学报》国际研讨会上识别、分析和跟踪实时系统的面孔和手势。结合ICCV 99(猫。No.PR00378)科孚岛,页177 - 184年,希腊,1999年9月。视图:出版商的网站|谷歌学术搜索
5. m . Devy a Giralt, a . Marin-Hernandez”乘客座位占用使用立体视觉检测和分类,”2000年IEEE智能车辆迪尔伯恩,页714 - 719年,MI,美国,2000年10月。视图:出版商的网站|谷歌学术搜索
6. m . Klomark“乘员使用计算机视觉检测,电气工程系,林雪平,瑞典林雪平大学2000 m . s .论文。视图:谷歌学术搜索
7. y, c·马斯纳l .艾森曼,萨奥尔,“新一代的宝马儿童座椅和乘员探测系统SBE2,”国际汽车技术杂志》上,3卷,不。2,53-56,2002页。视图:谷歌学术搜索
8. y Owechko: Srinivasa、美国Medasani和r . Boscolo“高性能传感器融合的主人建立检测”《2003年IEEE国际会议在智能交通系统中,卷2,页1128 - 1133,上海,2003年10月,中国。视图:出版商的网站|谷歌学术搜索
9. 农民和a . k . Jain“汽车安全气囊抑制,乘员分类系统”2003年IEEE计算机学会学报计算机视觉与模式识别会议WI,卷1,麦迪逊,美国,2003年6月。视图:出版商的网站|谷歌学术搜索
10. f . Erlik Nowruzi, w·a . El艾哈迈尔r . Laganiere和a . h . Ghods”车载入住率与卷积网络热图像,检测”学报2019年IEEE CVF计算机视觉与模式识别会议/研讨会(CVPRW)美国长滩,CA, 2019年6月。视图:出版商的网站|谷歌学术搜索
11. j·w·伍德,g . g . Gimmestad, d . w·罗伯茨“隐蔽的相机模式检查车辆内饰和执行,”诉讼的传感器和指挥、控制、通信和情报(C3I)技术国土防御和执法奥兰多,页411 - 420,美国2003年9月。视图:出版商的网站|谷歌学术搜索
12. x, h·陈,j·李,“自动车辆乘员计数算法在人脸检测的基础上,”学报》2006年第八届国际会议上信号处理,3卷,北京,中国,2006年11月。视图:出版商的网站|谷歌学术搜索
13. 徐,p .保罗,y Artan, f . Perronnin“机器学习的方法来检测车辆占用,”17学报》国际IEEE会议在智能交通系统(ITSC)卷,2014年,页1232 - 1237,青岛,中国,2014年11月。视图:出版商的网站|谷歌学术搜索
14. f . Perronin y Artan, p .保罗,a .多节的“人脸检测和图像分类的比较来检测前座乘客在车辆,”《IEEE计算机视觉的冬季会议上应用斯廷博特斯普林斯,页1006 - 1012年,有限公司,2014年3月美国。视图:出版商的网站|谷歌学术搜索
15. y Artan, o . Bulan r·p·爱和p .保罗,”乘客舱违反检测在高/热道,“IEEE智能交通系统,17卷,不。2、395 - 405年,2016页。视图:出版商的网站|谷歌学术搜索
16. b . Balci b . Alkan a Elihos, y Artan,”前座的孩子占用检测使用道路监控摄像头的图像,”学报2018年25日IEEE国际会议上图像处理(ICIP),页1927 - 1931年,雅典,希腊,2018年10月。视图:出版商的网站|谷歌学术搜索
17. a . Kumar Gupta, b . Santra et al .,“VPDS:一个基于ai自动车辆占用和违反检测系统,”人工智能学报AAAI会议33卷,第9503 - 9498页,2019年。视图:出版商的网站|谷歌学术搜索
18. j . Lim美国金、美国康和c·金”发展占用检测移动车辆使用计算机视觉技术,”美韩会议程序科学、技术和创业精神美国,芝加哥,2019年8月。视图:谷歌学术搜索
19. a . Sachan“零英雄:指南使用深度学习对象检测:R-CNN更快,”2020年,https://cv-tricks.com/object-detection/faster-r-cnn-yolo-ssd。视图:谷歌学术搜索
20. 任,k .他、r . Girshick和j .太阳,“快R-CNN:对与地区建议网络实时目标检测,”IEEE模式分析与机器智能,39卷,不。6日,页。1137 - 1149年,少量的酒,2015年。视图:出版商的网站|谷歌学术搜索
21. r . Girshick j·多纳休、t·达雷尔和j·马利克,“丰富的特性准确的对象层次结构检测和语义分割”学报2014年IEEE计算机视觉与模式识别会议哥伦布,页580 - 587年,哦,美国,2014年6月。视图:出版商的网站|谷歌学术搜索
22. a . Canziani a Paszke,大肠Culurciello“深层神经网络模型的分析对于实际应用,”2017年,http://arxiv.org/abs/1605.07678。视图:谷歌学术搜索
23. c . Szegedy w·刘,y贾et al .,“要更深的曲线玲珑,”学报2015年IEEE计算机视觉与模式识别会议(CVPR),页770 - 778,波士顿,MA,美国,2015年6月。视图:出版商的网站|谷歌学术搜索
24. c . Szegedy诉Vanhoucke、美国约飞和j . Shlens“反思初始计算机视觉架构,”学报2016年IEEE计算机视觉与模式识别会议(CVPR)拉斯维加斯,页2818 - 2826年,NV,美国,2016年6月。视图:出版商的网站|谷歌学术搜索

版权

版权©2020 Jooyoung李等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。