具有挑战性的天气和光照的影响上优于车牌检测无控环境中

文摘

车牌检测(LPD)是最重要的一个步骤的自动车牌识别系统(门禁),因为它是整个识别过程的种子。在控制室内环境中,有许多有效的方法检测车牌。然而,户外LPD仍然是一个挑战,由于大量的因素可能影响过程和结果。这是一个证据表明一个完整的训练集的图像包括尽可能多的牌照角度和大小改善每一个分类器的性能。在这条线的工作,大量的训练集包含在不同天气条件下拍摄的图像。然而,没有研究测试的有效性的差异不同的描述符为这些不同的条件。在这篇文章中,各种分类器与降雨特征提取一组训练图像使用不同种类的texture-based描述符。这些特定的准确性训练分类器的测试集降雨图像与descriptor-classifier训练与相同功能的准确性从理想条件下提取图像集。同样,我们重复的实验图像受到挑战照明。研究得出结论,一方面,包括图像受雨,雪,雾或训练集不提高分类器的精度检测车牌在图像受到这些天气条件的影响。分类器的训练与理想条件下图像改善图像的车牌检测的准确性受降雨影响多达19%根据提取的特征。 However, on the other hand, results evidence that including images affected by low illumination regardless of the kind of the selected feature increases the accuracy of the classifier up to 29%.

1。介绍

本研究旨在研究两个重要问题的影响户外自动车牌识别(门禁)系统的降雨(雨、雾和雪)和缺乏光这些门禁系统的训练阶段。我们的主要目标是获取新信息对提高作文的训练集,实现有效的结论对于每一种场景,兼容其他图像处理技术。

门禁系统发挥了突出的作用近年来文献中由于其流行应用在真实的场景中,如自动硬币收藏家通行费,监督交通规则,停车访问或流量控制等。然而,这种方法的效率通常局限于特定的或控制的场景。

图1显示任何门禁系统的传统的阶段。这些阶段是常见的控制和不受控制的环境中。然而,算法必须应用在每一个阶段都应该适应环境的特殊情况。控制环境越少,越困难的挑战面临的门禁系统。

车牌检测(LPD)是任何门禁系统的第一阶段。一个完整的图像或视频帧被作为输入。的输出是一组感兴趣的区域(roi),可能包含车牌。因此,LPD包括两个阶段:车牌定位和roi种植。LPD的功效大大决定了整个门禁系统的准确性。此外,它是最耗时的阶段。

LPD系统可以大致分为两类:基于边界/边缘信息和特征检测和基于机器学习(ML)算法在局部特性,主要是增强型的方法。同样重要的是,要提到另一种基于特定区域的位置LPD系统车辆的牌照(比如刹车灯)。在任何情况下,这些上下文感知的方法是基于前面的选择(1]。

近期在受控的环境中工作时,图像中车牌的区域会出现,车牌角或其大小通常是有界的。此外,许多室内场景,如停车访问,照明条件下,和其他气象因素也可以控制。在这些场景中,LPD方法基于边缘检测和形态学操作可以实现良好的性能。这些方法是直观的和强大的场景车牌不吵了2]。

然而,当门禁工作在一个不受控制的环境中,没有先验信息可以用来支持检测过程。车牌可以出现在任何地区的形象,和检测算法通常需要一个方法基于ML算法训练阶段所有可能的角度和大小的车牌是考虑。传统上,这种方法处理问题的角度和地区差异使用学习型算法,包括足够的各种图像训练集。在处理这个问题时,这些系统使用顺序应用single-scale金字塔的图像分类器。但是,在室外环境中,培训也可以由环境因素如照明和气象条件。

一个适当的选择的描述符是一个行列式一步ML-based方法。同样的,图片的选择将用于训练是最重要的一个步骤的整个过程。在本文中,我们评估天气的影响在训练过程中发生的和具有挑战性的照明外不受控制的环境中。有理由认为,一套完整的训练图像包括光线变化和不同天气条件下会提高分类的准确性,尤其是如果系统将用于地区降雨频繁。在这个研究中,我们想知道在哪些条件下这肯定是真的。要回答这个问题,我们检查的准确性不同分类器训练在最优条件下的图像捕捉和比较它与相同的分类器但训练图像受到恶劣天气的影响或低照度。

本研究包括常用的纹理特性的测试如面向梯度直方图(猪)3],局部二值模式(LBP) [4),和Haar-like特性(5)结合了级联和支持向量机(SVM)为了考虑传统的目标检测算法如算法中提琴和约翰5),HOG-based方法提出的中间人和组织3],提出的方法基于LBP特征Ojala et al。4]。除了选择代表描述符,我们考虑各种texture-based变体如结合HOG-LBP [6),当地的梯度模式(lgp) [7多个块局部二进制模式(MB-LBPs) [],8)、复合局部二进制模式(CLBPs) [9),当地的三元模式(ltp) [10),或灰度共生矩阵的特征提取,应用灰度共生矩阵建立()(11]。

此外,为了检查我们的研究的鲁棒性,我们反复测试使用三个分类:再(资讯),人工神经网络(ANN)和线性回归(LR)的方法。

剩下的纸是组织如下。节2,我们简要回顾相关的文献。部分3描述的方法和算法进行研究和介绍我们建议的详细实验。实验结果讨论了部分4最后,我们得出结论部分的纸5在部分,解释的局限性和未来的工作6。

2。相关工作

具有挑战性的天气和困难的照明条件重要问题,应该考虑每个LPD系统外不受控制的环境中。

大部分的现有LPD方法不考虑输入的图像具有挑战性的照明。任何方法提出了对比度增强步骤LPD的步骤(12,13)使用技术作为fuzzy-based拉提出的对比度增强技术和奈尔14]或雪等人提出的改进方法。15]。但是这些方法并不是一个有效的技术高度低对比度区域夜幕图像。其他几个人考虑不均匀照明和其他低对比度问题16,17),但不考虑所有挑战照明条件作为一个伟大的缺乏光晚上发生的外部环境。等特殊硬件的使用红外摄像机是一种常见的解决方案利用多种方法检测车牌在晚上时间18,19]。

此外,基于韦伯定律的预处理技术可以减少亮度效果和高强度脉冲噪声(20.)提供一个更好的检测对光照变化。以同样的方式,这些技术可用于图像的描述提高目标检测性能的技术,像世界21)这是一个纹理描述符基于韦伯定律,提出了鲁棒性噪声和光照变化。

尊重天气挑战,2016年,阿扎姆和伊斯兰教22)认为到那时没有一个现有的LPD方法能够处理天气条件的问题。为支持这一论断,他们提供了一个表,总结了最重要的LPD技术限制从危险状况的角度。自那时以来,一些方法一直在考虑这个问题。阿扎姆和伊斯兰教自己(22在危险条件下)提出了一个LPD系统。这种方法包括一个新颖的方法,使用频域面具来过滤除雨条纹图像的雨。

最近,帕纳西和Gholampour [23)提出了一个完整的门禁系统能够检测和识别波斯车牌混淆的污渍和几个级别的污秽的数字在不同的场景中,变量天气和照明。这种方法也帮助下单色相机和板的红外投影仪检测和达到98.7%,99.2%,和97.6%板检测精度,字符分割,分别和板识别。

Raghunandan et al。19)最近提出了一种新颖的基于数学模型黎兹分数算子增强在车牌图像边缘细节信息。每个输入图像上执行这个操作可以提高图像质量受多种因素影响后应用检测和识别方法。

上述方法面临的问题挑战的天气和光照不同的预处理技术和专门的硬件。否则,没有对不同天气如何影响培训研究使用不同的描述符。在培训过程中,几种方法简单地合并不同的天气和光照条件的数据集。提出了研究,我们不知道任何描述符能够正确地描述天气挑战在检测过程中使用这些信息。同样的,我们分析的影响具有挑战性的照明在相同的描述符。

3所示。材料和方法

他在[等人24)考虑Haar-like、猪和枸杞多糖作为车牌检测因为Haar-like高度代表描述符和LBP特征是合适的代表人物角落,虽然猪特性适合代表轮廓,水平和垂直关系等字符。出于这个原因,他们提出了一个融合的枸杞多糖和猪的特性作为一个合适的描述符代表牌照。

能够研究天气和光照变化的影响在代表图像描述符,我们决定考虑这三个描述符,由他的原因出于et al。24和支持的一个广泛的文献10- - - - - -18]。此外,我们认为上述描述符代表提出的各种改进的变异最近文献中像当地的梯度模式(lgp),多个块局部二进制模式(MB-LBPs),复合局部二进制模式(CLBPs),猪和枸杞多糖(HOG-LBP)或当地的三元模式(ltp),和古典灰度共生矩阵的特征提取,应用灰度共生矩阵建立(),最早的技术用于图像纹理分析。此外,我们认为,基于同样的特征描述符进行类似的行为。

基于颜色的描述符也广泛用于LPD但不考虑当前的研究。因为一些国家有特定颜色的车牌,基于颜色的LPD方法的主要思想是这种颜色的位置在图像模式,例如,使用出现的蓝色矩形欧洲牌照的左边。这种方法,除了种车牌密切相关,本文不考虑由于颜色特征对光照的变化非常敏感,所以一些方法也需要特殊照明25),他们并不被认为是一个很好的选择对于控制环境。

每个描述符被训练使用原分类器提出了文学。这些组合feature-classifier表1标有支票(✓)。除了这些原始组合,三个分类器(神经网络,再和一个线性回归)都包含在本研究为了支持原件组合的结果。

支持向量机分类器作为参考已有培训由于其广泛使用的其他描述符结构分类。此外,为了确保实验的鲁棒性,我们重复每个变体的测试使用上述三个额外的分类器。

对于每个descriptor-classifier的组合,一个“通用的”分类器训练的理想条件下获得的图像(没有挑战性的气候和充足的照明)和另一个“特定”训练一组图像受降雨影响(大雨、雪、雾)。分类器都测试了另一组图像受降雨影响,目的是比较两种分类器的有效性检测车牌在这样困难的条件下。目标是确定哪些类型的描述符可以更好的适应具有挑战性的天气和我们如何提高每个描述符的性能通过一个适当的选择的图像训练集。

在同样的方式,我们重复实验使用图像受到挑战的照明。一个通用的分类器,另一个特定的分类器(与拍摄的图像没有足够的照明培训)为每个组合descriptor-classifier训练和测试了一组拍摄的图像在光照条件差。目标是same-obtain信息的每个描述符是如何受到低照度和提高我们知识的训练集的组成。

3.1。特征提取和分类器

3.1.1。面向梯度直方图(猪)

猪描述符是由中间人介绍和组织3)在2005年和基于评估well-normalized局部图像梯度方向直方图的密集的网格。

图像分为块也由几个细胞组成。对于每一个细胞,一个柱状图,总结了计算每个像素的梯度方向。这一过程的传统步骤如图所示2。

每个直方图连接成一个向量。这个向量是一个猪的描述符的形象。修改细胞和块的大小,可以适应不同尺度的描述符。

图3 (b)是一个猪的可视化描述符的输入图像(图3(一个))计算每个细胞,使用8∗8像素描述符图所示3 (c)计算使用16∗16像素的每个细胞,最后,描述符如图3 (d)计算使用32∗32像素每个细胞。这种可视化的显示为每个细胞的可视化表示梯度向量总结成它的直方图。

分类器选择通过中间人和组织支持向量机。支持向量机是一个监督机器学习算法既可用于分类和回归的挑战。支持向量机是由弗拉基米尔Vapnik Alexey丫。Chervonenkis与进一步改善发表在1963年和1995年科尔特斯和Vapnik26]。

支持向量机是二进制分类系统,被认为是只有两类。在LPD的情况下,这些类车牌(LP)而不是车牌(NLP)。在其最简单的形式,svm超平面将训练数据的最大利润。离超平面最近的训练样本被称为支持向量。

换句话说,给定的训练数据{ ,…,},SVM发现超平面使得同一个类的最大可能数量的样品在相同的方面,同时最大化两类超平面的距离。根据超平面的位置,样品上标明1或−1:

LP和NLP类。每个积极的样本(LP)贴上1,和负样本(NLP)贴上−1。

寻找最优超平面意味着使用二次规划解决约束优化问题。积极的和消极的样本之间的距离是优化准则。超平面的定义是 在哪里k是内核函数。任何数据点对应于一个非零是最优超平面的支持向量。因此,寻找最优超平面相当于找到所有非零 。当 ,x分为1 (LP);否则,x被列为−1 (NLP)。

几种不同的内核是用来解决不同的问题。在这个研究中,一个线性内核的上下文中使用由于其性能LPD [27]。

默罕默德和阿尔金[28检测车牌]利用猪特性通过遗传算法的成功率超过98%。在[29日],Sarfraz等人提出了一个方法的车牌是以前感兴趣的有界区域和局部简单的模板匹配使用猪描述符。汗等人提出了一个有效的方法(30.]使用猪之间的融合特性和几何特性之后,选择不同的功能使用小说entropy-based来选择方法。另一方面,猪描述符广泛应用于门禁系统检测的车牌字符识别阶段(31日]。

3.1.2。局部二进制模式(lbp)

最初的想法提出Ojala et al。4)是将图像的每个像素与枸杞多糖代码。计算每个枸杞多糖代码的第一步是减去中心像素值的价值在一个3×3广场八个邻国。结果严格负值编码为0,和其他1。连接所有这些二进制代码在一个顺时针方向从左上角开始生产LBP代码关联到中心像素,这十进制值编码局部结构。图4显示了一个示例的基本LBP算子。

使用基本LBP算子,大型结构不能捕获由于小3×3的平方。纹理在不同的尺度上,社区成为变量的大小(32),被定义为一组采样点均匀间隔的一个圆的中心像素标签。不属于像素的采样点插值允许任何半径和任意数量的采样点附近(33]。符号P (P, R)代表一个社区的采样点半径的一个圆R。图5代表三个例子的三个LBP算子具有不同半径和采样点的数量。

分割的图像组的像素块,总结了枸杞多糖的每个块的像素值在一个柱状图,一个强大的纹理描述符。现在,特征向量可以使用支持向量机(SVM)处理,再(事例),或其他机器学习算法。

自出版Ojala et al。4),枸杞多糖的方法开发了大量的变化改进的性能在不同的应用程序包括车牌检测。最近,Al-Shemarry et al。34)提出了一个新颖的基于演LPD方法级联分类器与三级枸杞多糖(3 l-lbp)特性。Rashedi和Nezamabadi-pour提议在35)一个完整的LPD解决方案采用四种方法的组合包括一个基于级联分类器和局部二值模式(LBP)特性。

3.1.3。Haar-Like特性

中提琴和琼斯的方法下5),矩形区域和阴影区域从图像中提取。四个原始类型的功能如图6。这些特性是设计用于检测特定的元素,如边缘(数字6(一)和6 (b)(图),行6 (c)),和对角线(图6 (d))。特性计算的结果值减去像素的总和阴影矩形内的和明确的矩形。

这些特性最初是为特定的人脸检测问题而设计的。2002年,Lienhart et al。36]给出一组扩展的Haar-like特性添加额外的领域知识的框架。

中提琴和琼斯的原创作品5)是用于检测面临使用级联分类器基于演算法(37]。其证明有效性检测面临允许在每个领域,它迅速成为流行的对象检测。简单的提振级联特性基于演的是一个监督机器学习方法(适应提高),所需培训的级联。提高技术是基于弱分类器创建一个强分类器的组合与所需的精度。

演,弗洛伊德和Schapire推出了37]在1995年为了解决许多挑战与提升过程。创建一个级联,演两个用于选择一组特性和训练分类器。

选择功能,弱分类器,每个人相关的一个特性,是训练有素的。这些分类器的主要目的是确定的价值,最大限度地减少严重分类样本的数量。因此,一个弱分类器, ,在哪里x是一个输入图像,可以由一个功能 ,一个阈值 ,和一个极性

演算法的每次迭代算法(t= 1,…,T),一个弱分类器,从而一个特性,被选中。强分类器计算的线性组合选择的弱分类器值是0或1,加权

上面,不是创建一个单独的强分类器的提出了算法,可以创建多个有效的小分类器能够拒绝大量的负面windows同时继续确保大量的积极的windows在进一步的评估分类器。这样,一连串的分类器。这个过程在图表示7。

尊重LPD,郑等人提出了(38)一个有效的级联探测器的全球特征阶段是基于一分之二为了丢弃最清晰的背景区域,和之后的四个阶段是基于Haar-like特性。此外,王et al。39)提出了一个cascade-based分类器检测和跟踪车牌使用延长组Haar-like特性。

3.1.4。变体

为了确认结果所选择的三个描述符,代表我们添加到我们的研究各种相关纹理描述符和改进的变异:复合局部二进制模式(CLBPs),当地的三元模式(ltp),当地的梯度模式(lgp),多个块局部二进制模式(MB-LBPs) HOG-LBP组合,Gray-Leve共生矩阵的特征提取,应用灰度共生矩阵建立()。

复合局部二进制模式(9增加简单的枸杞多糖的鲁棒性。在这种方法中,一个2比特代码是用于编码图像的局部纹理属性。第一个编码中心和邻近的像素值之间的区别,而第二位是用于编码对阈值的大小差异。CLBP算法的主要缺点是特征描述符的大小过程中纹理特征描述,这是比其他枸杞多糖变异和给计算带来了很大的困难。降低特征维度将不可避免地导致损失的纹理特性。

当地的三元模式(10]介绍了2010年由Tan和人脸识别的组织。从那时,几个LTP方法是改善原始开发的低压涡轮([40- - - - - -43])。原始LTP使用使用一组三进制码 对每个像素进行编码。每个三元序列分为两个独立的枸杞多糖序列:上层模式和更低的模式。该算法通过这些二进制代码生成纹理特征。

LTP能够编码的关系“大于”,“等于”、“小于”一个像素和邻国之间;另一方面,枸杞多糖只能反映出两个“大于”、“小于”。

小君et al。7)在2013年提出了局部梯度模式。LGP的主要目的是解决这个问题的地方沿着边缘强度变化的组件。为了达到这个目的,LGP认为强度梯度剖面强调当地社区的变化。如果整个图像的强度变化在全球范围内,没有显著区别LGP和LBP算子(不变的模式)。如果背景或前景的强度改变了本地,LGP生成不变的模式与LBP算子由于梯度差异(不仅强度差异)。

提出的多个块枸杞多糖,Zhang et al。8),是枸杞多糖的延伸。同样大小的子块用于计算功能。而单一的像素值之间的比较,MB-LBP需要这些子块的平均像素值之间的比较,并在描述纹理信息在不同尺度允许其在多尺度计算常数时间使用积分图像。

结合面向梯度直方图(猪)和局部二值模式(LBP)的特性集,王et al。6提出了一种新颖的方法来检测行人。该方法结合了猪cell-structured枸杞多糖功能特性。

当背景包含大量的噪声边缘,猪表现不佳。然而,枸杞多糖使用统一的概念模式,可以过滤这种噪音。这个原因使他们互补在这方面。这种组合汇集了猪的优点和枸杞多糖检测车牌。就这样,他et al。24)最近发表的部分原因模型使用检测汽车的猪和猪之间的组合和枸杞多糖检测车牌。

灰度共生矩阵法(11是最早的技术用于图像纹理分析。给定一个灰度图像由像素每一种特定的灰度(强度),应用灰度共生矩阵建立的是一个制表的共现频率的不同组合灰色水平图像或子图象。使用矩阵应用灰度共生矩阵建立的内容,把描述符计算不同的纹理属性对比,不同,同质性、能源和相关性。

3.2。数据集

一个广泛和完整的数据集提供的奥维耶多的市议会(西班牙阿斯图里亚斯),其中包括1000000多城市的交通摄像头捕捉到的图像使用了2013年和2016年之间。所有图片包括至少一个车牌,他们捕获来自37个不同的位置:限制访问的地区,城市和都市间的道路4车道,带有交通信号灯的交叉路口,环形路。

几个相机位置。在某些情况下,如限制访问的地区,相机位于一侧的车辆,在道路和路口,相机通常坐落在波兰人,灯柱或交通信号灯。

图像被抓获一天24小时,数度照明和气象条件是包含在数据集。从上述数据集,21000图像提取并根据环境条件分为三组:降水(雨,雪,雾),低照度和最优条件(没有降雨和良好的照明)。示例图像的低照度和降雨量集合数据所示8(一个)和8 (b),分别。每组由5000图像的训练集和测试集的2000张照片。从不同的摄像机捕获图像的比例和位置在每组都是一样的。表2总结了每组的组成和目的的图像。

此外,7000年负面形象被裁剪nonlicense板块区域从图像中提取的主要设置,为了考虑同样的城市场景。

3.3。方法

这个实验的主要目的是比较分类器训练的准确性与图像捕捉在最优条件下相同的分类器训练受到恶劣天气的影响或低照度图像对应的测试图像设置。

我们的实验是由两个阶段,每一个与本文考虑的两个问题:具有挑战性的天气和低照度。首先,我们分析了恶劣天气的影响。为了实现这一目标,我们进行如下。对于每个descriptor-classifier的组合,一个分类器训练使用GenTrainingSet和另一个被训练使用RainTrainingSet组成的图像受到恶劣天气的影响。设置这两个分类器进行测试RainTestSet组成的图像受到恶劣天气的影响。比较这两种分类器的精度检测车牌在这些困难的条件下,可以确定哪些类型的描述符可以更好的适应具有挑战性的天气和我们如何提高每个描述符的性能通过一个适当的选择的图像训练集。

在第二阶段,我们重复实验使用图像受到挑战的照明。一个分类器训练使用GenTrainingSet和另一个使用NightTrainingSet(训练没有足够的照明)拍摄的图像被认为是为每个组合与NightTestSet descriptor-classifier和测试。目标是same-obtain信息的每个描述符是如何受到低照度和提高我们知识的训练集的组成。

分类器的命名如下:CLASSIFIER-DESCRIPTOR -{创/下雨/晚上}。后缀创表明,分类器的训练与训练集的最佳条件(GenTrainingSet)后缀雨表示,降雨的分类器训练训练集(RainTrainingSet),在相同的方式,后缀晚上表明具有挑战性的照明的分类器训练图像(NightTrainingSet)。

作为一个例子的整个测试每一对classifier-descriptor,人物9表示(图模型训练步骤9(一个)(图)和测试步骤9 (b)一对SVM-HOG)。本程序为每个可能的一对classifier-descriptor重复。

猪的特征提取模块配置了以下参数。细胞大小保持在8×8像素,每一块是由2×2细胞。9个方向被认为是;这是取向垃圾箱的数量,每个单元的像素的梯度直方图会分手。

关于枸杞多糖提取的特征,每个枸杞多糖代码定义为8采样点和一个半径2 px。图像分为16×16 px块,每个块的枸杞多糖编码直方图进行了总结。每个直方图都有一个单独的本为每个模式。我们决定使用统一的模式44)为了减少直方图的长度,因此特征向量的维数。使用统一的模式,特征向量的长度为单个细胞从256减少到59。

每级联分类器训练用相同的参数。训练过程是在20岁阶段解决。最小的分类器的每个阶段所需的命中率是0.998,0.5和最大值所需的假警报。

与线性支持向量机分类器都还训练使用正则化因子C定居在0.1。

3.4。评价

为了比较探测器,错过率和FPPI每图像(假阳性)通过改变阈值检测信心绘制。两个值标注在日志显示轴与美元等提出的评估指标。45]。这是首选曲线精度回忆任务中有一个上限可接受FPPI率独立于车牌的密度(45]。

错过率或假阳性的数量(玻璃钢)错过了检测(车牌分类器未能检测)与假阳性的数量。这是相反的召回或真阳性率(TPR)。

方程(5)显示之间的关系召回或TPR(真阳性)和错过率或玻璃钢。在TP(真阳性)的数量正确的检测,P是车牌的总数,FN(假阴性)错过了检测的数量。每个图像是假阳性假阳性的数量与总数量的图像。

在这样的图表,曲线表明更好的精度较低。率等于1 FPPI小姐被认为是常见的参考点比较的结果,考虑到有1.2车牌/图像所选的测试集。此外,10范围⁻²-10年¹被认为是对评估的范围分类器性能更好(曲线越低,性能越好)。

4所示。结果与讨论

本研究着重于两个环境因素具有挑战性的天气和具有挑战性的照明条件。每个挑战,八个测试进行比较具体的训练分类器的性能和通用训练分类器根据度量暴露部分3.1。

为了分析的影响恶劣天气条件下,8个测试开发。首先,猪的特性进行测试,按照中间人和组织的方法3),通过比较SVM训练的性能最优的条件和SVM训练与挑战性的天气(图10)。

GenTrainingSet执行比的分类器训练分类器已收到特定训练具有挑战性的天气(RainTrainingSet)。通用的分类器的性能提高了19%在1 FPPI召回。

其次,我们测试了枸杞多糖的经典方法描述符和一个支持向量机分类器。图11显示了本次测试的结果。

首先,我们选择了nonrotation不变LBP-Uniform LBP算子(图版本作为代表(11日))。当使用支持向量机分类器,我们没有检测两条曲线之间有着明显的差别。清楚地看到,两曲线执行比另一个愤怒的沿着两个不同的部分。为了确保可靠的结果,我们决定用原始LBP算子的重复实验(图11 (b)),使用相同的参数作为NRI LBP-U除了垃圾箱的数量的直方图(255年而不是59)。两个曲线之间的差距已经很小,但是在最后的测试中,分类器的性能与GenTrainingSet训练表现特定的一个在整个范围的利益。

以下测试算法的性能相比中提琴和琼斯(5]培训有良好的天气条件和训练与特定的具有挑战性的天气图像。

图12再次表明,最优的分类器训练条件的曲线图像沿着曲线下的具体训练分类器感兴趣的领域。它们之间的不同不是很高是因为LPD的这种方法的精度高。

关于变异,结果符合所选择的三个代表性的描述符。重要的是要注意,每个枸杞多糖变体(LTP, CLBP LGP,和MB-LBP)获得类似的结果在感兴趣的范围。我们的测试显示(图13),每个LBP-based描述符的一般分类器性能的改进模型的回忆在5%和10%之间的参考点1 FPPI,相比与RainTrainingSet特定的训练。

图14显示了比较两个分类器的性能与HOG-LBP描述符和SVM分类器训练。获得的结果显示猪描述符,两曲线的一般性能优于枸杞多糖的变体。先前的一系列测试结果类似。在这种情况下,通用的分类器的性能与GenTrainingSet训练提高7%召回的分类器训练RainTrainingSet 1 FPPI的参考点的范围和保持更高的利息。

最后,我们应用灰度共生矩阵建立重复测试的描述符。因为简单的提取功能,两曲线的一般性能明显比其他测试。无论一般性能,图15显示的曲线与GenTrainingSet优于通用的分类器训练,同样,分类器训练的曲线与一个特定的培训。

第二个挑战环境条件评价研究中缺乏光门禁场景。我们使用相同的过程来评估恶劣天气的影响。

再一次,这个实验的第一个测试的目的是评估的影响缺乏光猪性能通过比较SVM训练在最优条件下的性能,支持向量机训练与挑战性的照明(图16)。值得注意的是,利率和FPPI小姐相关的曲线对应的分类器已收到特定训练NightTrainingSet执行比的分类器训练GenTrainingSet一直感兴趣的范围。

图17显示了相同的测试的结果但使用枸杞多糖描述符。曲线对应的分类器已收到特定训练NightTrainingSet执行显然比条件好的分类器训练图像感兴趣的范围。枸杞多糖能够捕捉光线差异与精度高,和分类器之间的差异对召回是19%以1 FPPI为参考。

类似的结果在接下来的测试。结果显示了一个明确的区别的性能曲线对应的分类器已收到特定训练NightTrainingSet和相对应的曲线图像分类器训练良好的条件。图18显示了图相对于哈雾特性的级联分类器。在该测试中,具体分析训练分类器的性能提高了召回多达29%的参考点1 FPPI。

关于变体,相对应的曲线之间存在巨大差异的分类器已收到特定的培训和通用一个用于每个测试执行。结果是决定性的,每一个变体测试(图19)确认的结果代表描述符测试。

4.1。鲁棒性检查

为了验证我们的结果的鲁棒性,另外三个分类器都包含在我们的测试:线性回归(LR),再(事例),和一个人工神经网络(ANN)。

LR分类器实现了一个简单的逻辑回归使用监管因素c= 1。

事例的分类器定义了一个元素的类根据这些元素和它的邻国之间的距离测量。我们选择至少5最近的邻居和一个欧氏距离计算的函数。尊重安,我们使用多层感知器与一个隐藏层。

也可以观察到类似的差异之间的曲线对应于曲线模型,得到一个特定的培训和训练的通用GenTrainingSet每个描述符的分类器。结果证实,曲线关联到一个特定的培训往往比通用的一个具有挑战性的照明测试。另一方面,一个通用的培训相关的曲线往往超越特定的一个具有挑战性的天气测试。

详细的数据执行的每个测试是可用的https://doi.org/10.6084/m9.figshare.7926920。

5。结论

当一个对象执行检测系统基于特征分类在户外场景中,有理由认为,获得良好性能的最佳方法是考虑的训练集的每一个环境条件。如果它位于一个经常下雨的地方,一个可行的策略是训练分类器使用雨图像在适当的比例。同样,如果系统在夜间运行,可以使用低照度图像的比例估计时间,系统在这些条件下工作,或者如果它是可能的,使用不同的分类器为每个条件专门训练。

结果表明,照明和天气是两个不同的问题有不同的起源。因此,他们的影响力的描述对象是完全不同的。

无论什么样的特性,降水的影响没有充分反映在描述符。后测试四种不同特性结合两个描述符,只有结合枸杞多糖+ SVM不会产生确凿的证据。剩下的测试表明,通过消除降雨从训练集图像,可以提高分类器的性能达到19%。当雨、雾或雪被相机捕捉到2 d图像,悬浮粒子之间创建一个随机模式相机和目标。这些模式不同,特征提取过程似乎没有能力恢复相关的信息来提高分类。事实上,包含在车牌可能会恶化这个随机信息分类器的性能,因为它的效果是类似于数字噪音。

相反,应该考虑的影响结果表明,光在培训过程。纹理、颜色或梯度模式在不同光照条件下提取重要信息,因为这些模式可以识别的分类器。

猪是least-sensitive描述符对具有挑战性的照明。猪总结了梯度信息分组的直方图的方向。这些梯度方向保持不变不管光的强度,因此,分类器的性能提升不高。枸杞多糖描述符,可以提高分类器召回多达20%通过执行适当的培训,考虑图像受到挑战照明。以类似的方式,我们可以提高中提琴和琼斯算法的性能高达29%,包括不同的照明条件。

最近比较与其他技术(12,17),通常定义LPD的所有阶段,我们的技术测试与不同texture-based描述符和分类器,允许一个伟大的任何基于ML算法适应性。我们研究的结论允许图像组成的训练集的正确选择;因此,我们的技术是兼容其他预处理技术(12- - - - - -23),尽量避免负面影响的气象和缺乏照明。

6。局限性和未来的工作

提出研究,几个texture-based描述符进行了测试假设其他描述符基于同样的特性表现出类似的行为。对我们来说这是一个有趣的研究,扩大我们的工作包括描述符像冲浪,筛选,快速,或者CSIFT。此外,基于内容的图像检索(CBIR)引起了巨大的关注在过去的几年里,和方法将形状、空间布局和特点描述视觉内容引起了人们的注意。在这方面,小说描述符将最近开发的各种特性。把描述符为m,鼎晖、SED或MSD进我们的工作对我们来说是另一个有趣的研究。

我们决定测试分类器使用我们自己的数据集,因为它不是一个目标,本文比较测试的准确性与艺术的状态分类器。相反,我们的目标是评估每个分类器的精度的变化当训练集被修改,以包括挑战性照明/天气条件。比较不同方法的性能,考虑到本文结论提取,通过使用广泛使用基准测试是研究的一个重要途径。

数据可用性

图像数据集支持本研究的发现并不含有信息公开由于他们会妥协的研究参与者的隐私。其余的数据可从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是由欧盟,通过欧洲区域发展基金(ERDF)和阿斯图里亚斯的公国,通过其科学、技术和创新计划。这部分工作由部门科学、创新和大学(西班牙)根据国家计划研究,开发和创新,项目rti2018 - 099235 b - i00。

引用

1. m . Molina-Moreno i Gonzalez-Diaz, f . Diaz-de-Maria“高效scale-adaptive车牌检测系统,”IEEE智能交通系统,20卷,不。6,2109 - 2121年,2019页。视图:出版商的网站|谷歌学术搜索
2. B.-G。汉族,K.-T j·t·李。Lim和y涌”,在高分辨率的视频中实时车牌检测使用级联分类器和最快的核心模式,”电子杂志,37卷,不。2、251 - 261年,2015页。视图:出版商的网站|谷歌学术搜索
3. n .中间人和b区格”的梯度直方图的人体检测,”2005年IEEE计算机学会学报计算机视觉与模式识别会议(CVPR ' 05),1卷,页886 - 893,圣地亚哥,美国,2005年6月。视图:谷歌学术搜索
4. t . Ojala m . Pietikainen d·哈伍德,“绩效评估的结构措施,分类基于Kullback分布的歧视,”12日学报》国际会议模式识别,1卷,页582 - 585,筑波,日本,2012年11月。视图:谷歌学术搜索
5. p .中提琴和m·琼斯,“快速目标检测使用一个简单的特性,提高了级联”《2001年IEEE计算机学会学报计算机视觉与模式识别会议(2001年CVPR),1卷,页511 - 518,考艾岛,美国,2001年12月,你好。视图:谷歌学术搜索
6. t . x x Wang汉,s .严”HOG-LBP人类探测器与部分遮挡处理”学报2009年IEEE 12计算机视觉国际会议美国佛罗里达州坦帕,页32-39,,2009年9月。视图:谷歌学术搜索
7. b君,崔和d·金,”当地的变换特性和杂交检测准确的脸和人类,”IEEE模式分析与机器智能,35卷,不。6,1423 - 1436年,2013页。视图:出版商的网站|谷歌学术搜索
8. l . Zhang r·楚s, s .辽、李和s . z“人脸检测多个块LBP表示,基于”生物识别技术的国际会议,银行独立委员会2007:先进的生物识别技术,页11到18门,首尔,韩国,2007年8月。视图:谷歌学术搜索
9. f·艾哈迈德·h·巴里,e·侯赛因”人组成的独立的面部表情识别基于复合局部二进制模式(CLBP)”国际阿拉伯信息技术杂志》上,11卷,不。2、195 - 203年,2014页。视图:谷歌学术搜索
10. x y谭和b区格”,增强局部纹理特征集光照条件下的人脸识别困难,”IEEE图像处理,19卷,不。6,1635 - 1650年,2010页。视图:出版商的网站|谷歌学术搜索
11. r . m . Haralick“统计纹理和结构的方法,”IEEE学报》,卷67,不。5,786 - 804年,1979页。视图:出版商的网站|谷歌学术搜索
12. m·k·赛和美国赛”,基于多小波变换的车牌检测。”杂志的视觉传达和图像表示,44卷,第138 - 128页,2017年。视图:出版商的网站|谷歌学术搜索
13. 诉Abolghasemi和a . Ahmadyfard“edge-based color-aided车牌检测的方法,”图像和视觉计算,27卷,不。8,1134 - 1142年,2009页。视图:出版商的网站|谷歌学术搜索
14. 拉和m . s . Nair”,快速、高效的基于模糊逻辑的彩色图像增强方法和直方图,”AEU-International电子和通讯》杂志上,卷68,不。3、237 - 243年,2014页。视图:出版商的网站|谷歌学术搜索
15. x雪,j .叮,y,“光照处理方法的研究和应用在车辆颜色识别中,”学报》2017年第3 IEEE计算机和通信国际会议(ICCC)成都,页1662 - 1666年,中国,2017年12月。视图:谷歌学术搜索
16. j . y, y Lu Yan, z, k·m·冯·迪尼和p .史,“车牌识别的算法应用于智能交通系统中,“IEEE智能交通系统,12卷,不。3、830 - 845年,2011页。视图:出版商的网站|谷歌学术搜索
17. y . d . Wang田、耿w·l·赵和c .锣”LPR-Net:中国车牌识别在复杂的环境中,“模式识别的字母在出版社。视图:出版商的网站|谷歌学术搜索
18. Yi-T。陈,黄永发。壮族,观测。腾,h。林,H.-T。陈,“健壮的车牌检测在夜间场景使用多个强度红外照明灯,”《2012年IEEE国际研讨会上工业电子产品杭州,页893 - 898年,中国,2012年5月。视图:谷歌学术搜索
19. k . s . Raghunandan p . Shivakumara h·a·Jalab et al .,“黎兹分级模型为基础提高车牌检测和识别,”IEEE电路和系统视频技术,28卷,不。9日,第2288 - 2276页,2018年。视图:出版商的网站|谷歌学术搜索
20. h . Dawood h . Dawood, p .郭”高强度脉冲噪声的去除韦伯定律噪声标识符,“模式识别的字母49卷,第130 - 121页,2014年。视图:出版商的网站|谷歌学术搜索
21. j·杰,山,c . et al。”之一:一个健壮的本地图像描述符”,IEEE模式分析与机器智能,32卷,不。9日,第1720 - 1705页,2010年。视图:出版商的网站|谷歌学术搜索
22. 美国阿扎姆和m . m .伊斯兰教,“自动车牌检测在危险情况下,”杂志的视觉传达和图像表示36卷,第186 - 172页,2016年。视图:出版商的网站|谷歌学术搜索
23. r·帕纳西和i Gholampour准确检测和识别的肮脏的汽车板编号为高速应用,”IEEE智能交通系统,18卷,不。4、767 - 779年,2017页。视图:出版商的网站|谷歌学术搜索
24. h .他z邵,j . Tan“汽车品牌和型号识别从单一交通摄像头的图像,”IEEE智能交通系统,16卷,不。6,3182 - 3192年,2015页。视图:出版商的网站|谷歌学术搜索
25. f·德尔玛Kurpiel、r . Minetto和b t . Nassu“卷积神经网络的车牌检测图像,”学报2017年IEEE国际会议上图像处理(ICIP),第3399 - 3395页,北京,中国,2017年9月。视图:谷歌学术搜索
26. c·科尔特斯和诉Vapnik支持向量网络。”机器学习,20卷,不。3、273 - 297年,1995页。视图:出版商的网站|谷歌学术搜索
27. o . Bulan诉Kozitsky、p·拉梅什和m .施立夫”分割,annotation-free与深度本地化和故障识别、车牌识别”IEEE智能交通系统,18卷,不。9日,第2363 - 2351页,2017年。视图:出版商的网站|谷歌学术搜索
28. j·默罕默德和h·阿尔金改进的车牌检测使用HOG-based特性和遗传算法,”学报2016年24日信号处理和通信应用会议(SIU)Zonguldak,页1269 - 1272年,土耳其,2016年5月。视图:谷歌学术搜索
29. m . s . Sarfraz a·沙赫扎德·m·a·艾莱西m . Fraz征服者,和e·a·Edirisinghe”央视法医应用程序实时自动车牌识别的,”实时图像处理》杂志上,8卷,不。3、285 - 295年,2011页。视图:出版商的网站|谷歌学术搜索
30. m·a·汗·m·谢里夫m . y . Javed t . Akram m .优思明,t·萨巴,“许可车牌识别系统使用entropy-based特性选择方法与支持向量机,”专业图像处理,12卷,不。2、200 - 209年,2018页。视图:出版商的网站|谷歌学术搜索
31. c .郭台铭y姚明,k . Wang和z,“汽车车牌识别基于极值区域和限制玻耳兹曼机,”IEEE智能交通系统,17卷,不。4、1096 - 1107年,2016页。视图:出版商的网站|谷歌学术搜索
32. t . Ojala m . Pietikainen, t . Maenpaa”多分辨率灰度和旋转不变的纹理分类与局部二进制模式,”IEEE模式分析与机器智能,24卷,不。7,971 - 987年,2002页。视图:出版商的网站|谷歌学术搜索
33. 黄d . c ., m . Ardabilian y . Wang和l·陈,“局部二进制模式及其应用面部图像分析:一项调查,“IEEE系统,人,控制论,一部分C(应用程序和评论)第41卷。。6,765 - 781年,2011页。视图:出版商的网站|谷歌学术搜索
34. 阿卜杜勒m . s . Al-Shemarry y,和美国,“合奏3 l-lbps演算法级联分类器的车牌检测与低质量图像,”专家系统与应用程序卷,92年,第235 - 216页,2018年。视图:出版商的网站|谷歌学术搜索
35. 大肠Rashedi和h . Nezamabadi-pour层次车辆牌照定位算法”,多媒体工具和应用程序,卷77,不。2、2771 - 2790年,2018页。视图:出版商的网站|谷歌学术搜索
36. r . Lienhart和j . Maydt”一组扩展的Haar-like特性快速目标检测,”图像处理国际会议,1卷,页900 - 903,罗切斯特,纽约,美国,2002年9月。视图:谷歌学术搜索
37. y弗洛伊德和r·e·Schapire”决策理论泛化的在线学习和提高应用程序,”计算机与系统科学杂志》上,55卷,不。1,第139 - 119页,1997。视图:出版商的网站|谷歌学术搜索
38. l .郑x, b . Samali, l·t·杨“车牌识别的算法精度提高,”计算机与系统科学杂志》上,卷79,不。2、245 - 255年,2013页。视图:出版商的网站|谷歌学术搜索
39. n . r . Wang唱,r . Wang和l .江”检测和跟踪策略车牌检测在视频,”Optik,卷125,不。10日,2283 - 2288年,2014页。视图:出版商的网站|谷歌学术搜索
40. m·拉贾·m·拉贾,诉Sadasivam”优化的本地三元模式:一个新的结构模型与纹理分析的最优模式,”计算机科学期刊,9卷,不。1、1 - 15,2013页。视图:出版商的网站|谷歌学术搜索
41. 吴x, j .太阳,g .风扇,z,“改善当地的三元模式在红外图像自动目标识别,”传感器,15卷,不。3、6399 - 6418年,2015页。视图:出版商的网站|谷歌学术搜索
42. l . s . Wu, w . Xu j .郑z . Li和z方,“基于共同local-ternary-pattern调整不同曝光图像的方法,”计算机视觉和图像理解卷,152年,第78 - 67页,2016年。视图:出版商的网站|谷歌学术搜索
43. X.-H。汉族,Y.-W。陈,g .徐”一体化的空间和方向上下文HEp-2细胞分类,在当地的三元模式”模式识别的字母卷。82年,汽车2016页。视图:出版商的网站|谷歌学术搜索
44. 欧巴坎,j·威尔、l .狼和h . Aronowitz“快速高维向量乘法人脸识别,”《IEEE计算机视觉国际会议2013年12月,美国佛罗里达州坦帕市。视图:谷歌学术搜索
45. p .美元,c . Wojek b Schiele, p . Perona一起“行人检测:一个基准,”学报2009年IEEE计算机视觉与模式识别会议,页304 - 311,迈阿密,佛罗里达,美国,2009年6月。视图:谷歌学术搜索

版权

版权©2019 A。Rio-Alvarez等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。