随着车辆供应的增加,道路基础设施容量相对减少,因此连续建设新的道路需要在全球许多地区。然而,增加道路基础设施能力通过建造更多的道路是昂贵和耗时的,所以是有限度的,不能适应车辆增长速度。为了解决这个问题,一些政策已经实施鼓励拼车,减少旅行时间等多座客车通过通道或提供折扣从multipassenger车辆拥堵收费gydF4y2Ba 1gydF4y2Ba]。执行这一政策,技术检测车辆居住者是至关重要的。目前,当高巷控制政策执行或提供拥堵收费折扣multipassenger车辆,员工视觉估计在每辆车的乘客数量检查视频数据管理中心(gydF4y2Ba 2gydF4y2Ba]。本手册的方法是劳动密集型,降低运营效率并增加劳动力成本。在美国,这是打击非法使用模式之道,实际违反率约为50 - 80%,但据报道,打击率小于10%gydF4y2Ba 3gydF4y2Ba]。在韩国,拥堵收费提供折扣,拥堵可能会增加更多的高峰时段由于检查每辆车的乘客数量的收费站和收费的集合。gydF4y2Ba

为了解决这个问题,进行了各种研究自动化车辆乘员估计过程。研究可分为两个探测技术领域:利用车载传感器(gydF4y2Ba 4gydF4y2Ba- - - - - -gydF4y2Ba 10gydF4y2Ba)和使用图像数据从外部相机(gydF4y2Ba 11gydF4y2Ba- - - - - -gydF4y2Ba 17gydF4y2Ba]。当使用车载传感器,精度一般是高;然而,所有的车辆都需要配备的设备可以检测乘客的数量。这种设备通常使用摄像机,这一点引起了很多人的隐私问题。因此,使用这种方法是不切实际的。此外,大多数研究,检测居住者使用外部摄像头范围有限。例如,他们只能探测到前排座位的乘客数量(gydF4y2Ba 12gydF4y2Ba- - - - - -gydF4y2Ba 14gydF4y2Ba),只有数的儿童数量上(gydF4y2Ba 16gydF4y2Ba),或者只确定两个或两个以上的乘客登上一辆车。特别是,在gydF4y2Ba 17gydF4y2Ba),88%的检测精度是通过使用捕捉图像数据由一个前面的车外和一个照相机。这个精度级别适用于现实世界,因此飞行员服务在几个地区在美国进行。gydF4y2Ba

在车辆乘员探测领域,有另一个限制,只有新获得的图像可以作为训练数据。因此,需要一个算法来实现高检测率即使一个小数据集。在之前的研究中,一个两级检测算法被用来克服这种限制。通常,两级检测算法首先检测车辆图像,然后检测窗口区域的乘客数量只在窗口区域(gydF4y2Ba 15gydF4y2Ba]。然而,这种算法有一些局限性由于其复杂的学习过程和网络规模的增加,从而增加所需的计算时间。gydF4y2Ba

因此,本研究提出了一个算法的总体框架,有效地检测车辆使用者使用左、右侧摄影数据从车辆外部一步过程使用少量的数据。具体来说,我们提出一个新的数据标签方法准确地检测使用者的数量。新的标签方法直接标签使用者的数量,而不是执行的脸或人类的标签,这是一种广泛使用的图像检测方法。基于这一先进的标记方法,本研究只包含一个单级检测算法。减少在检测阶段减少网络的大小,数量的样品,和检测时间。gydF4y2Ba

本文的结构如下:第二部分介绍了图像采集系统检测车载居住者和描述了一种新的入住率标记方法和获得的图像数据集;第三部分描述了结构的深层神经网络用于检测居住者;第四部分提出了一个算法讨论的结果在这个研究;最后部分总结了本研究的结论和启示。gydF4y2Ba

两个红外线摄像机,红外线照明系统和激光触发获取的图像用于训练和测试。图像采集系统的概述图所示gydF4y2Ba 1gydF4y2Ba。摄像机位于车辆的左右。通过各种测试,研究小组确定最优规格的位置,高度,角度的相机gydF4y2Ba 18gydF4y2Ba]。红外线照明系统用于提高当没有足够的可见光图像,如在夜间或在汽车的窗户上是有色的。激光触发检测车辆的进入检测区域的摄像机。触发识别车辆时,红外线摄像机图像的车辆的左右。然后,相机向服务器发送帧,和积累的图像用于培训。检测车辆占用时,图像不需要传输到服务器因为他们现场系统对待。gydF4y2Ba

在介绍中提到的,先前的研究已经标记对象,如脸、人类,和windows,这标签方法有一些好处:(i)的数量标签类型,方法需要一个或两种标签;(2)获得大量的学习样本,因为每一个图像都有一个或多个窗口和一个人。然而,该方法需要两个阶段,如发现窗户,然后脸或一个算法将居住者的行。它会导致更多的时间计算和更高的错误率。为了克服的限制,本研究采用一种新的标记方法来确定有多少人在前方和后方乘客座位。因此,每个形象都必须有两个标签在六种标签:一个人在前排座位或两人在前排座位,和0,1,2,或者3人在后座,如图gydF4y2Ba 2gydF4y2Ba。gydF4y2Ba

图gydF4y2Ba 3gydF4y2Ba显示该方法检测居住者使用该标签方法在本研究中。一个独立训练占用检测模型用于图像两侧,在检测到前排座椅和乘客从右侧。至于检测居住者在后座,左边和右边的图片,和后座的乘客的数量决定使用检测得分越高,比较检测结果分数来自双方的图像。之后,乘客的数量在前座和后座被添加到获得居民的总数。gydF4y2Ba

本研究检测模型训练和测试结果在MATLAB环境2019 b。我们使用了快RCNN检测方法,该方法检测精度高,而不是一个统一的检测算法,如Yolo或SSD高速(意思gydF4y2Ba 19gydF4y2Ba]。越快RCNN方法介绍(gydF4y2Ba 20.gydF4y2Ba),它可以检测多个对象在一个图像精度高和速度。这种加速处理regional-based CNN算法(gydF4y2Ba 21gydF4y2Ba]。具体地说,该地区建议网络(RPN),这是基于一个完全卷积网络,介绍了获得该地区建议从输入图像特征映射,它取代了选择性搜索,这是一个训练过程的瓶颈。幻灯片3 x 3项空间窗口地图上一个特性来预测该地区建议,多个锚,呼吁每一个窗口。锚的边界框的乘客的数量需要在输入图像中检测到。在上一篇文章中,9个组合的三个尺寸(128、256和512)和三个比率(2:1,1:1,1:2)锚箱是用于训练。派生的锚分为地区建议如果借据(十字路口在联盟,明白了gydF4y2Ba 1gydF4y2Ba)与地面真理框高于0.7或如果它是最高的。如果低于0.3借据,这是归类为背景。gydF4y2Ba (1)gydF4y2Ba 借据gydF4y2Ba =gydF4y2Ba 锚gydF4y2Ba ∩gydF4y2Ba 地面实况盒子gydF4y2Ba 锚gydF4y2Ba ∪gydF4y2Ba 地面实况盒子gydF4y2Ba 。gydF4y2Ba

感兴趣的一个RoI(地区)maxPooling层是用来适应不同大小提出区域来源于RPN相同的大小。RoI池处理后,将softmax分类器,分类居住者,和盒子回归量,估计边界框,是训练有素的。因此,我们下面的多任务损失函数用于培训的总和gydF4y2Ba ℒgydF4y2Ba clf。gydF4y2Ba (损失函数分类)和gydF4y2Ba ℒgydF4y2Ba bboxgydF4y2Ba (损失函数边界框检测)。gydF4y2Ba (2)gydF4y2Ba ℒgydF4y2Ba =gydF4y2Ba ℒgydF4y2Ba clf。gydF4y2Ba +gydF4y2Ba ℒgydF4y2Ba bboxgydF4y2Ba ,gydF4y2Ba ℒgydF4y2Ba pgydF4y2Ba 我gydF4y2Ba ,gydF4y2Ba cgydF4y2Ba 我gydF4y2Ba =gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ℒgydF4y2Ba clf。gydF4y2Ba pgydF4y2Ba 我gydF4y2Ba ,gydF4y2Ba pgydF4y2Ba 我gydF4y2Ba ggydF4y2Ba 。gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba NgydF4y2Ba clf。gydF4y2Ba +gydF4y2Ba λgydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba pgydF4y2Ba 我gydF4y2Ba ggydF4y2Ba 。gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba ⋅gydF4y2Ba ℒgydF4y2Ba 1gydF4y2Ba cgydF4y2Ba 我gydF4y2Ba −gydF4y2Ba cgydF4y2Ba 我gydF4y2Ba ggydF4y2Ba 。gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba NgydF4y2Ba bboxgydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba pgydF4y2Ba 我gydF4y2Ba 锚的预测概率吗gydF4y2Ba 我gydF4y2Ba ,这是一个对象,gydF4y2Ba pgydF4y2Ba 我gydF4y2Ba ggydF4y2Ba 。gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba 是地面真理是否锚标签gydF4y2Ba 我gydF4y2Ba 是一个对象或一个背景。gydF4y2Ba cgydF4y2Ba 我gydF4y2Ba 表明预测的四坐标参数化的锚gydF4y2Ba 我gydF4y2Ba :gydF4y2Ba xgydF4y2Ba,gydF4y2Ba ygydF4y2Ba位置、宽度和高度。gydF4y2Ba cgydF4y2Ba 我gydF4y2Ba ggydF4y2Ba 。gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba 真理是地面坐标锚吗gydF4y2Ba 我gydF4y2Ba ,gydF4y2Ba NgydF4y2Ba clf。gydF4y2Ba 和gydF4y2Ba NgydF4y2Ba bboxgydF4y2Ba 代表了标准化的术语,这将是minibatch大小和锚位置的数量,分别。gydF4y2Ba λgydF4y2Ba 平衡参数使吗gydF4y2Ba ℒgydF4y2Ba clf。gydF4y2Ba 和gydF4y2Ba ℒgydF4y2Ba bboxgydF4y2Ba 大约同样的重量。在边界框回归的情况下,通过坐标和培训gydF4y2Ba ℒgydF4y2Ba 1gydF4y2Ba 损失函数估计如下:gydF4y2Ba (3)gydF4y2Ba cgydF4y2Ba xgydF4y2Ba =gydF4y2Ba xgydF4y2Ba −gydF4y2Ba xgydF4y2Ba 一个gydF4y2Ba wgydF4y2Ba 一个gydF4y2Ba ,gydF4y2Ba cgydF4y2Ba ygydF4y2Ba =gydF4y2Ba ygydF4y2Ba −gydF4y2Ba ygydF4y2Ba 一个gydF4y2Ba hgydF4y2Ba 一个gydF4y2Ba ,gydF4y2Ba cgydF4y2Ba wgydF4y2Ba =gydF4y2Ba 日志gydF4y2Ba wgydF4y2Ba wgydF4y2Ba 一个gydF4y2Ba ,gydF4y2Ba cgydF4y2Ba hgydF4y2Ba =gydF4y2Ba 日志gydF4y2Ba hgydF4y2Ba hgydF4y2Ba 一个gydF4y2Ba ,gydF4y2Ba cgydF4y2Ba xgydF4y2Ba ggydF4y2Ba 。gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba =gydF4y2Ba xgydF4y2Ba ggydF4y2Ba 。gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba −gydF4y2Ba xgydF4y2Ba 一个gydF4y2Ba wgydF4y2Ba 一个gydF4y2Ba ,gydF4y2Ba cgydF4y2Ba ygydF4y2Ba ggydF4y2Ba 。gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba =gydF4y2Ba ygydF4y2Ba ggydF4y2Ba 。gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba −gydF4y2Ba ygydF4y2Ba 一个gydF4y2Ba hgydF4y2Ba 一个gydF4y2Ba ,gydF4y2Ba cgydF4y2Ba wgydF4y2Ba ggydF4y2Ba 。gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba =gydF4y2Ba 日志gydF4y2Ba wgydF4y2Ba ggydF4y2Ba 。gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba wgydF4y2Ba 一个gydF4y2Ba ,gydF4y2Ba cgydF4y2Ba hgydF4y2Ba ggydF4y2Ba 。gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba =gydF4y2Ba 日志gydF4y2Ba hgydF4y2Ba ggydF4y2Ba 。gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba hgydF4y2Ba 一个gydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba xgydF4y2Ba ,gydF4y2Ba ygydF4y2Ba ,gydF4y2Ba wgydF4y2Ba ,gydF4y2Ba hgydF4y2Ba 是锚和边界框的坐标:gydF4y2Ba xgydF4y2Ba,gydF4y2Ba ygydF4y2Ba分别位置、宽度和高度。的变量gydF4y2Ba xgydF4y2Ba ,gydF4y2Ba xgydF4y2Ba 一个gydF4y2Ba ,gydF4y2Ba xgydF4y2Ba ggydF4y2Ba 。gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba 表明预测的边界框、锚箱和地面实况框,分别,他们的意思是一样的变量gydF4y2Ba ygydF4y2Ba,gydF4y2Ba wgydF4y2Ba ,gydF4y2Ba hgydF4y2Ba 。gydF4y2Ba

为了培养有效的分类器使用RCNN越快,选择pretrained CNN的图像特征提取是很重要的。在这项研究中,我们使用了Inception-v3网络,具有精度高、小尺寸模型,计算时间短,推导出特征映射中使用的输入图像的RPN和乘员分类过程(gydF4y2Ba 22gydF4y2Ba]。此外,转移学习了使用pretrained Inception-v3网络ImageNet数据库中的超过100万张照片。Inception-v3网络GoogLeNet的一个改良版本(gydF4y2Ba 23gydF4y2Ba),在2014年与2390万年被释放参数。GoogLeNet特性一个初始模块,允许密集处理矩阵的计算,同时减少网络中节点之间的连接配置。此外,Inception-v3提高内核用于卷积操作结构通过引入一个新的《盗梦空间》模块使用5 x 5卷积操作两次3 x 3卷积操作,取代了3 x 3卷积操作1 x 3和3 x 1卷积操作减少计算复杂度。此外,卷积操作和池过程并行进行,然后在连接,改善表征瓶颈,这是一个现象的信息大大减少当维度降低过度的神经网络。此外,根据(gydF4y2Ba 24gydF4y2Ba),Inception-v3取得了超过78.1%的准确性ImageNet数据集。应用Inception-v3 RCNN结构越快,我们删除了最后三层,从Inception-v3网络进行图像分类,并添加一个特征提取层。之后,形成RCNN越快,添加了一个新的分类层和RPN符合居住者标签定义在这个研究。模型的总体结构,检测居住者从单边图像如图gydF4y2Ba 4gydF4y2Ba。gydF4y2Ba

从1246年图像集,1000年随机采样图像集用于模型训练,和246年图像集被用于检测精度测试分析车辆乘员检测框架的性能。模型训练进行了使用一个随机的动量与动量梯度下降法解算器0.9,0.001学习速率是固定在整个训练过程。以前,一个分4步的方法被用来训练RCNN越快;本研究的训练模型使用一个端到端的执行方法,提高了培训效率。gydF4y2Ba

此外,评估的效率标识方法在这项研究中,我们比较模型,使用人工标记方法,使用相同的数据集和相同的网络结构。人类的标签标记的方法是一个技术每个人出现在一个图像作为一个个体对象。这种方法一般用于车辆乘员探测区域和人类探测任务(gydF4y2Ba 12gydF4y2Ba- - - - - -gydF4y2Ba 17gydF4y2Ba]。两个场景被用来比较两个标记之间的检测精度的方法。第一个场景使用相机,假设一个要求精度高的环境。第二个场景中只使用一个摄像头,假设安装环境和成本是有限的。一般来说,使用高巷执法系统,可以简单地计算精度为二进制,确定乘客在车辆的总数比三个,两个或两个以上的模式根据车道类型。如果详细的座椅乘员探测是可行的,系统使用增加。因此,在这项研究中,二进制的准确性,以及检测的准确性的居住者在前排和后排座椅,也是计算和比较。使用主人标签的模型方法在这项研究中,检测结果是来自乘客的数量在前排和后排座椅没有额外的后处理。然而,对于模型的训练比较标记方法,乘客的数量在前排和后排座椅是人类检测结果重新计算使用。区分为前排和后排座椅,b位置之间的距离的计算每个图像检测的结果。 All the methods in this study were implemented using MATLAB 2019b and trained and tested in a Dual Intel® Xeon® Silver 4114 CPU @ 2.20 GHz, 32 GB ram, and single NVIDIA GeForce RTX 2080 Ti computing environment.

这两种标记方法的模型训练时间是7小时1 K迭代。测试这些模型时,主人标签模型平均需要3.4秒每一组图像输出检测结果;然而,人工标注模型花了约7.6秒,两倍多的时间主人标记方法。车辆占用检测测试结果的一个例子为每个模型如图gydF4y2Ba 5gydF4y2Ba。居住者标签模型显示有多少人在前排和后排座椅,而人工标注模型显示所有检测到的人民和区别前排座位后面一个虚拟b。gydF4y2Ba

表gydF4y2Ba 1gydF4y2Ba比较的结果主人两个模型的检测精度246左、右侧图像集。主人提出标签方法有相对较高的精度在所有情况下。人工标注模型也是高度准确的二进制情况下检测两个或两个以上的人,但其精度很低,当检测使用者的实际数量。有一个特别大的检出率差异后座的乘客数量;拟议的强劲标记方法检测乘客,即使部分隐藏在捕获的图像。在人类标记方法,神经网络学习一个人的头和肩膀。当很多人占据了车辆,特别是在后座,部分乘客经常阻塞,因此很难确定准确的特点。如果有几个人坐一辆车,后座通常包括一个或多个乘客的一部分。因此,很难确定准确的人类特征。居住者的检测精度提出了模型在本研究中98%的二进制计数和91%案件,这是高于该模型的精度水平(gydF4y2Ba 17gydF4y2Ba),这被认为是一种先进的主人检测精度。gydF4y2Ba

混淆矩阵允许的更详细的分析检测每个模型的结果。在图gydF4y2Ba 6gydF4y2Ba的混淆矩阵,提出两种模型的测试结果。左边的两个矩阵模型结果使用主人标记方法在这项研究中,和右侧的两个矩阵是使用人工标注模型模型结果。每个模型的前后座位检测结果显示在两个混淆矩阵。首先,前排座位结果相比,99.59%和82.93%,分别。在主人标签模型中,一个人是错误检测到两人在一个实例。然而,有4例,对照组发现两人登上而实际上一个人登上,但是38例检测到一个人登上当两人登上。驾驶座上的人可能认为是司机和车辆的一部分或隐藏的不正确检测到一个人。此外,后座的区别两个模型的检测精度为91.06%和66.26%,分别是大于前排座位检测精度差。在大多数情况下,该模型在本研究中准确地检测到使用者的数量,和错误的检测结果是维持在±1人相比,实际的数量。因此,很明显,这个模型可以为二进制强劲检测结果情况。 On the contrary, in the control model, the detection accuracy was very low when 3 people or more were on board, and there were many results that showed more than 2-person differences from the actual number of passengers. This is similar to the front seat detection result; the occupant labeling method was more effective when learning the appearance of part of the rear seat passengers. Generally, when using human labeling methods, it is difficult to detect people if some parts of them are hidden.

而不是使用左右图像,只使用一个图像进行检测的场景在右边,和这项研究的结果发表在表gydF4y2Ba 2gydF4y2Ba。检测居住者的使用只有一个相机图像,该模型显示更好的结果比人类的检测方法,类似于使用两个摄像机的图像。此外,当使用一个相机,而不是两个摄像头,后座的准确性降低,因为后座乘客往往隐藏在使用图像从一侧,和对面的形象不能弥补小数量的图像。然而,单机模型在这个研究显示一定程度的准确性为87%,这是类似于(gydF4y2Ba 17gydF4y2Ba),显示最高的准确性(88%)当使用两个摄像头。特别是,在二元的情况下,模型的精度超过90%,所以单机检测模型可以有效地用于一个高执行系统。因此,根据使用的目的和环境,可以使用该占用检测算法灵活。gydF4y2Ba

克服增加流量和鼓励拼车,许多政府多座客车使用通道,为汽车提供收费价格折扣有多个乘客。然而,这些系统通常确定每辆车的乘客数量通过雇佣警察或员工在收费站附近的路边或收银员。因此,这样human-resource-based入住率探测系统导致营业预算负担和降低精度。由于这些限制,一些研究试图实现自动车辆占用检测系统以多种方式,包括使用车载传感器或的图像。然而,图像采集和图像处理技术的弱点困难难以达到实现这样的检测系统。gydF4y2Ba

为了弥补短缺的先前的研究,这项研究表明一个新的标识方法,检测乘客根据居住者的数量在每一行的汽车而不是使用人类(或面)和窗口标记。这个新的标识方法在短时间内达到更快RCNN检测和高精度。此外,本研究有两个场景:(i)使用两个摄像头;(2)使用一个相机一侧由于可能的困难设置路的两边各有一个摄像头在某些领域。每个场景都有两种情况:(i)二进制:1或2和(2 +)/ 1到2或3和更多(“3 +”);(2)计算实际的乘客数量。综合,2 +案例也有类似的标记方法检测准确性的主人(99%),这项研究表明,和人类的标签(97%)方法,通常的检测方法。然而,3 +案例显示更大的两种标记方法之间的差距(15%),和计数的情况下这两种方法之间巨大的差异:居民(91%)和人(62%)。算例是乘客的实际数量和实际检测自动检测系统的准确性。一边相机场景也有类似的模式时检测结果,但一般精度低于当两个摄像头。 In order, 2+, 3+, and the counting case scenarios had bigger differences with the labeling method, the occupant label had a detection accuracy of 87%, and the human labeling method had an accuracy of 46% at the counting case.

因为更高的检测精度是取得了与实际系统,本研究对进一步研究很重要的路上增加精度比。在未来,我们会尝试各种机器学习方法和神经网络得到更高级的结果基于新的标识方法。gydF4y2Ba