车辆板材检测在汽车黑匣子视频中

抽象的

共享车辆黑匣子视频的互联网服务，由于隐私问题，需要在上传视频时对车牌进行模糊处理。因此，板检测是这些服务所依赖的关键功能之一。虽然有各种各样的检测方法，但它们并不适用于黑匣子视频，因为无法对尺寸、底片数量和光照条件进行假设。提出了一种从黑匣子视频中检测韩国车牌的方法。它的工作分为两个阶段:第一阶段旨在定位一组候选车牌区域，第二阶段使用支持向量机分类器仅从候选车牌中识别出实际的车牌。第一阶段由五个连续的子步骤组成。该算法首先将单个字符区域结合在一起生成候选区域，然后通过剩下的子步骤消除不满足车牌条件的候选区域。在第二阶段，我们提出一个特征向量来捕获板的纹理和颜色特征。为了进行性能评估，我们编制了包含2627张正面和负面图像的数据集。评价结果表明，该方法的精度和灵敏度至少提高了5%，比现有方法提高了30倍。

1.介绍

分享视频、图片等用户创造的内容的互联网服务早已成为人们日常信息和娱乐元素的一部分。这种服务的激增伴随着副作用。由于个人隐私意识的提高，未经同意的个人信息泄露比以往任何时候都更加引起人们的关注。例如，在谷歌街景等互联网服务中，某些人的车牌号在未经许可的情况下被曝光，当然是不可取的。1]和黑匣子视频共享网站[2- - - - - -4]。许多国家禁止在黑色框视频中分享个人信息。例如，德国和美国禁止在未书面许可的情况下分发包含面孔和板块的图像或视频。因此，在在线提供之前，需要删除或至少删除隐私相关数据[5]。

但是，考虑到每天新出现的图片和视频的数量，如果不进行自动化操作，人工清除个人信息是不可能的。本文所处理的隐私信息是通过黑匣子视频捕捉到的车牌信息。共享此类视频的服务需要删除上传的视频中的车牌。为了实现这一工作的自动化，检测车牌的方法起着核心作用;拆下钢板前应正确定位。

在识别板号之前，车辆板检测的方法长期以来在诸如安全控制，停车管理管理，停车管理和自动收费系统中的各种领域使用。然而，现有方法通过约束和假设具有特别限制，特别是在图像，板尺寸和照明条件下的板的位置。在街景和黑色框视频中检测牌照提供各种挑战：道路标志和广告牌类似于板，平板根据距离有不同的尺寸，有时旋转或倾斜，并根据照明改变它们的颜色变化。

在本文中，我们提出了一种新的方法来检测由黑匣子摄像机捕获的视频中的韩国车牌。它检测出六种不同类型的韩国车牌，如图所示1．我们的目标是开发一种方案，它不需要对图像中底片的位置、尺寸和光照进行假设。我们设计它能够检测多个板的实例。我们需要克服的一个挑战是，车牌的边界与车辆颜色难以区分。现有的一些方法利用了板块的矩形边界与背景不同的假设。然而，这并不总是正确的。为了处理这种情况，我们提出了一种自下而上的方法。我们首先检测可能构成板块的字符，然后将它们组合在一起形成板块状区域，然后对这些区域进行分类。

本文的结构如下。部分2调查板检测的研究工作清单。部分3.详细描述了本文提出的方法4呈现性能评估结果。部分5总结本文。

2.相关工程

由于其广泛的适用性，在各种文献中研究了从图像中检测车辆牌照的方法。这些方法可以大大分为五组。在其余部分中，我们详细描述了每个群体的特征，并分别讨论其强度和弱点。

Edge-based方法(7- - - - - -12.]是最简单的方法之一。它们扫描图像以查找垂直和水平边缘重叠的区域，同时，形状是矩形，其宽度与靠近板的高度。这些方法取决于Sobel滤波器来检测边缘。在搜索此类区域时，Hough变换在[9，10.来检测即使是旋转的盘子。为确定矩形的边界，采用连通分量分析[11.或模板匹配[12.] 用来。通常，基于边缘的方法易于实现，但需要连接所有边缘像素。否则，断开的边缘部分被丢弃为噪声。其他约束是板材应该具有不同的颜色而不是车辆，并且预先知道图像和照明条件中的板尺寸的范围。

基于纹理分析的方法[13.- - - - - -15.]通过观察的观察，从出现在板上的字符边缘具有纹理特征。因此，检测过程比较与从实际板衍生的一组预定义纹理匹配的边缘。对于纹理匹配，使用各种方法，例如矢量量化[13.]，Gabor过滤器[14.和小波变换[15.]。

多级方法[16.，17.]由一系列步骤组成，在这些步骤中，可能成为板块的候选区域的数量会减少，并且在步骤的最后只留下可能成为板块的区域。沿着步骤的选择过程使用来自Haar等区域的特征向量[16.，协方差描述符，以及HoG描述符[17.]。使用这种特征向量提升要求该板颜色应与车辆不同的约束。

基于颜色的方法的灵感来自于观察到的颜色组合使用的盘子，包括上面的字符，在街道上很难找到。简单的方法[18.选择在HLS颜色模型下将区域中的像素分成13个类别，选择颜色组合与板的颜色组合匹配。还有其他方法;神经网络用于对颜色分布进行分类[19.]通过颜色检测板的边界[20.]。这些基于颜色的方法是坚固的旋转和透视变换板。然而，当车辆和板的颜色相似时，它们受到照明而不适用。关于这种限制，提出了使用各地区的色调值分布的平均值和标准偏差[21.]。

基于字符的方法以一种自下而上的方式工作;他们利用检测到的字符信息推断出车牌区域。直接法[22.发现包含数字字符等图案的区域，然后使用神经网络确定它们成为车牌的可能性。类似的方法[23.]通过限制图案尺寸的范围来提高精度。为了提高效率，另一种方法采用额外的步骤，通过限制宽高比来排除非板材区域[24.]。还有其他修改方法;LAPPLACIAN FILER用于加强角色边缘[25.采用了多个分类器，例如Adaboost和支持向量机（SVM）在HAAR功能中[6]。这种类型的方法容易受到误报：非栅格对象，其具有字符模式的矩形。

我们提出了一种混合多级方法和基于字符的方法的方法。Ho等人的工作与我们的方法类似[6]，采用两阶段结构:第一阶段选择有高概率成为板块的候选区域，第二阶段使用机器学习分类器在候选区域中确定实际的板块。另一个相似之处可以在两阶段方法中找到[26.谷歌的]。它的开发是为了通过模糊街景图像中的车牌来保护隐私。它有一层卷积神经网络(CNN)用于检测车辆，另一层神经网络用于从检测到的车辆中定位车牌。

但是，相似性在此结束。我们的方法使用不同的方法来选择候选地区而不是Ho等人。在候选地区的数量方面更有效。此外，我们使用不同的特征向量来进行SVM分类器。在复杂性方面，我们的方法比谷歌的工作不同，更简单，雇用了两个CNN。

3.车辆板检测

我们开发一种新颖的方法来检测由汽车黑匣子捕获的视频的车辆。我们的方法是因为板上有信件和数字字符的事实。我们在图像中搜索以定位字符并合并字符区域以形成板状矩形区域。只有满足某些条件的区域被归类为板块。这种方法是合理的，因为韩国车辆板有几位字符均匀间隔。但是，黑色框视频有许多非栅形对象，显示数字字符的类似功能，例如道路标志和广告牌。此外，任务是具有挑战性的，因为板有不同的尺寸;其中一些以一定角度倾斜并且在不同的照明下。

所提出的方法包括两个连续步骤。第一步选择最有可能是板的候选地区;因此，它被称为候选选择步骤。第二步是决定步骤，确定通过使用基于机器学习的分类器SVM来确定哪个候选区域是实际板。

数字2显示中间结果，同时通过两个步骤处理图像。从结果中，我们解释了每个步骤和概述的子步骤。详细信息将稍后讨论。给定输入图像，通过强化边缘强调字符区域，如图所示2(b).然后只选取概率高的边缘，如图所示2(c).下一步将相邻字符区域合并成矩形区域。在这些区域中，只选择满足车牌特征形状条件的区域，如图所示2（d）然后将其送入SVM以确定实际板，如图所示2(e)白色矩形表示板检测的最终结果。

我们现在详细描述了第一步，候选选择步骤。它包括五个子步骤。随着子步骤进行，通过通过形态，连接的分析分析和区域合并的操作过滤OULLEAL区域来减少候选区域的数量。第一个子步骤从输入图像中检测到边缘，然后通过用Laplacian滤波器卷积，仅留下零交叉的像素，稍微锐化它们。通过这种过滤，边缘变得更加明确。它可以防止以下步骤中的字符区域丢失。

第二步是通过如图所示的两种形态学操作去噪并连接边缘3.．应该注意的是，前一步不仅加强了角色边缘，而且还加强了噪音。噪音通常太短的边缘，不能构成字符区域。我们使用两项操作按顺序：打开和关闭。开口通过侵蚀和扩展去除短边，而关闭合并已断开，但是通过扩展和侵蚀在一起相邻的边缘。

在图的第三个词4，我们选择一些具有高概率的矩形区域，它们对应于单个字符区域。通过连接相邻边缘像素并找到包括所有像素的最小矩形区域来实现。为此，我们使用连接的组件分析（CCA）。但是，它返回其他矩形区域以及实际字符区域。因此，需要识别额外的区域。鉴于矩形区域， ，如果满足以下条件，它被视为字符区域： 在哪里是边缘像素的数量和是它在像素的区域。否则，它被归类为非相反区域，并从结果中删除如图所示4 (c)．我们确定和从来自我们自己的数据集收集的实际角色区域的统计信息。例如，我们使用阈值范围这些特征来自于车牌的所有可能特征。

第四步将相邻的矩形区域合并到一起，形成一个包含所有矩形的更大的矩形。这背后的基本原理是，板块由一组相邻的字符区域组成。是否合并区域的决定基于以下三个条件。如果没有满足其中任何一个，则不合并它们。第一个条件是所有区域， ，在一组, ，如果满足以下内容，则可以合并： 在哪里区域的高度是多少 ， 是一套中所有地区的平均高度 ，和是一个门槛。在这个条件下，只有高度相似的区域被合并。

第二个条件要求中心点的垂直坐标满足以下条件: 在哪里是一个区域的垂直中心坐标和是一个门槛。此条件检查区域是否水平对齐。第三个条件是两个最近的区域中的任何一个都应分开小于阈值两个区域宽度较窄的时间如下： 在哪里是宽度 ， 的水平中心坐标是 ，和 中心之间的距离是多少和 ．此条件检查每个区域是否与集合中的其他区域分开。检查三个条件后，图5（b），显示图像中车牌中心底部区域的矩形区域被合并为一个更大的矩形区域。

理论上，第四个子步骤的条件检查应在各种可能的区域组合上进行。然而，它导致产生的计算时间过巨大。因此，我们依靠两个启发式来限制要检查的可能集的数量。首先，我们将设定的大小限制为最小二，最多十个;我们假设没有板材大于十个合并的地区。其次，我们使用回溯算法以这样的方式通过添加新的区域和检查它仍然保存，以达到三种条件的方式。

最终的子步骤仅选择板状区域，如图所示6（b）．我们用以下三个条件定量地定义了板块相似度。不满足所有条件的区域将被丢弃。首先，区域的宽高比应在[ ， ] 如下： 在哪里和是候选地区的宽度和高度 ．其次，区域大小与整个图像的比值应在一定范围内 如下： 在哪里是图像尺寸。这是因为由于与相机和分辨率的距离，黑色框视频中的板在最大和最小尺寸的最大尺寸。第三，当水平分割图像时，区域的中心点应在较低的三分之二的段中等分如下: 在哪里是候选区域中心的垂直坐标吗和为图像高度。这是因为黑匣子摄像头捕捉车辆的角度不同。我们确定范围阈值 从我们自己的数据集中六种不同类型的板块的统计信息。

在第一阶段结束时获得的候选区域然后被送入第二阶段，即决策步骤，该步骤使用基于机器学习的分类器只选择实际的车牌。在这一阶段，我们使用非线性支持向量机(SVM)，它以候选区域的特征向量作为输入。

设计特征向量来表示区域的边缘密度分布和主导颜色。它有 尺寸在哪里尺寸用于边缘密度和对于主导颜色，如图所示7．在检索特征向量之前，具有不同尺寸的区域被归一化，以便它们具有宽度像素的纵横比保持不变。同时，将区域的颜色模型由RGB改为HSV。这是因为HSV在光照变化的情况下比RGB更健壮;使用色相组件可以降低算法对光照变化的敏感性。

计算第一个值的特征向量，划分一个区域矩形块，每个块具有相同的尺寸，并且对于每个块，计算边缘像素的数量与块中的像素总数的比率。总共产生的比率包括第一个维度。例如，图中的区域7分为 布置块行和列。这些比值以行方式存储在特征向量中。r和c超参数的确定需要同时考虑图像分辨率和板宽高比的情况，并通过经验来确定。在本文的实验中，我们使用了 和 ．

其余用特征向量的维数表示地区最大的颜色。我们通过使用具有256个频率的直方图来检索主导颜色，该直方图表示整个色调值范围。我们选择具有最高频率的箱及其相应的色调值是否按频率顺序进行检索特征向量的值。在理论上，两个 主导颜色足够，因为板块由两种颜色组成：背景和字符。但是，添加了一块颜色信息 由于部分阴影，环境，漫射和镜面灯引起的照明不规则，是必要的。

在获取区域的特征向量后，将其输入预先训练的支持向量机进行二值分类。给定一组训练示例，每个示例都标记为属于或不属于车牌，SVM训练算法构建一个模型，稍后可以将区域分配给一个或另一个类别，使其成为一个非概率二进制线性分类器。关于SVM的更多细节将在下一节讨论。

4.绩效评估

我们展示了拟议方法的绩效评估结果以及[6]。对于我们的方法中使用的SVM训练，我们共使用了从黑盒视频捕获的86张实际板图像。以这样的方式选择图像，使得它们代表六种不同类型的韩国板。此外，共有137个非栅格图像用于培训的相同视频。训练图像具有矩形形状，其中宽度范围为22到168.应该注意的是，图像被调整为宽度变为的方式在检索特征向量之前。训练图像的示例如图所示8．我们方法中使用的算法参数列于表中1．

作为测试数据，我们使用了两组数据:阳性和阴性。正数据共包含1627张驾驶员视图图像，如图所示9至少有两辆车牌清晰可辨的车辆。负面数据是总共1000张车牌无法识别或根本没有车辆的图像。正面和负面图像[27.]都是从六个不同的黑匣子视频中拍摄的，分辨率至少为1280 * 720。正片用实际底片的坐标标记。

混淆矩阵用于分析所提出的方法的分类性能。我们以这样的方式构建矩阵，如果检测到的板数，则给定正数据 ，并且坐标与其标签相匹配，我们将其认为是真正的积极，通过增加真正的正（TP）的数量。否则假阴性（Fn）增加。相反，在负数据的情况下，我们增加了真正的负（Tn）的计数是零。否则，误报（FP）增加。

为了比较目的，我们实施了何的工作[6]它在相同的正面和负数据集上运行。我们选择了它，因为它不仅要求召回率超过0.9，而且还与我们的两阶段结构分享了类似的两阶段结构;它使用Adaboost选择一组候选区域，然后在第二阶段中的SVM分类。

桌子2显示混淆矩阵，这是试验数据的结果;所提出的方法的结果位于左侧，Ho等人。的工作是在右侧和是实际和检测板的数量。我们从矩阵中获得了性能度量列表，如图所示10.．所提出的方法的准确性，精度，敏感性和特异性的改善百分比分别为5.22％，3.12％，8.15％和2.35％。灵敏度的最大改善意味着我们的方法可以检测板的方法，如果有的话比Ho等人更进一步。

这些方法之间的更直观比较来自接收器操作特征（ROC）曲线。数字11.显示两种方法在ROC曲线区域内的位置。理论上，位置越靠近左上角，分类性能越好。由此可见，该方法明显优于Ho等人的工作。在未来的工作中，我们将利用可调阈值参数的可能组合来探索完整的ROC曲线。然后，可以搜索更优的参数配置，从而进一步提高性能。

我们比较算法工作的快速。为此，我们从给出输入图像之前的时刻测量经过的时间，直到检测到结束。拟议的方法平均需要0.58秒，而Ho等人的工作量为17.9秒;我们的工作速度快30倍。这种间隙的可能原因部分是由于第一阶段结束时产生的候选区域的数量的差异。该方法平均产生12个候选地区，而Ho等人的工作收益率超过400.这意味着Ho等人的工作量比提出的方法更多的负载量增加了33倍。此外，Ho等人的滑动窗口。在改变其尺寸的同时反复扫描图像的工作用来扫描图像是间隙的另一个原因。

我们现在分析中间结果的数量沿着所提出的方法的顺序过程降低。它有助于我们瞥见我们方法的狭窄性质。数字12.显示了所提出的方法对测试数据进行处理时，子步骤之后提取区域的平均数量。第三个子步骤检测字符区域，平均产生282.8个区域。合并区域的第四个子步骤将它们减少到233。最后的第五步，检查底片的相似度，只选择其中的12个。这表明，平板相似度检测是一种有效的过滤非平板区域的方法。第二阶段SVM分类后，检测到的区域数量下降到1.5，在测试数据中实际真实车牌数的范围内， ．

5。结论

我们提出了从汽车黑匣子视频中检测车辆的两级方法。第一阶段找到一组候选区域，该区域具有高概率的板，第二阶段通过使用二进制机器学习分类器SVM来识别候选者之间的实际板。我们所提出的方法在从一组单个字符区域构建候选区域的意义上以自下而上的方式工作。性能评价结果表明，与具有相似多级结构的现有工作相比，我们的方法可以提高整体检测精度，效率和性能。

在未来的工作中，我们将改进该方法，使其对板的旋转或变换不那么敏感。为此，将重新检查当前使用比率阈值或基于对齐的滤波的方案。其他进一步的工作与实时性能有关。定量目标是在硬件规格为Raspberry PI 3的嵌入式平台上，在小于10毫秒的时间内，在1280 × 720分辨率的图像中检测出至少五个板。我们希望这种实时性能能够扩大该方法的应用范围，如无人驾驶汽车和自动收费系统。

利益冲突

作者声明本文的发表不存在利益冲突。

致谢

这项研究得到了2013年仁川国立大学研究基金的支持。

参考

1. l·文森特(L. Vincent)，“将在线地图推广到街道层面，”电脑杂志，卷。40，不。12，pp。118-120,2007。视图:出版商网站|谷歌学术
2. http://www.iatom.co.kr。
3. https://www.facebook.com/blackboxkorea/。
4. http://www.craxing.com。
5. https://productforums.google.com/forum/#下opic/maps/wnqgwuvljdq.．
6. W.T.HO，H. W. LIM和Y. H. Tay，“两级车牌检测使用温和的Adaboost和Sift-SVM，”2009年第1届亚洲智能信息和数据库系统会议的议程，ACIIDS 2009， pp. 109-114, IEEE, Dong hai, Vietnam, 2009年4月。视图:出版商网站|谷歌学术
7. M.Sarfraz，M. J. Ahmed，以及S.A.Hogi，“沙特阿拉伯车牌识别系统”2003年国际几何建模与图形会议论文集，pp.36-41，Ieee，伦敦，英国，2003年7月。视图:出版商网站|谷歌学术
8. D.郑，Y.赵和J. Wang，“一种有效的车牌地点方法”，模式识别字母第26卷第2期15，页2431 - 2438,2005。视图:出版商网站|谷歌学术
9. V. Kamat和S. Ganesan，“Hough变换用于使用dsp检测车辆牌照的有效实现”，在实时技术诉讼程序。申请，pp。58-59,1995。视图:谷歌学术
10. 段婷婷，杜丽华，“基于Hough变换和轮廓算法的车辆车牌检测”，《汽车工程学报》，2015int的诉讼程序。Symp。智能。多媒体视频语音过程，pp.747-750,2004。视图:谷歌学术
11. M. Chacon和S. Zimmerman，《基于动态PCNN方案的车牌定位》，刊于Int学报》上。联合会议，pp.1195-1200，2003。视图:谷歌学术
12. K.宫本，K. Nagano, M. Tamagawa, I. Fujita, M. Yamamoto，“通过图像分析进行车牌识别”，发表于int的诉讼程序。Conf。IND。电子，pp.1734-1738,1991。视图:谷歌学术
13. R. Zunino和S. Rovetta，“车牌定位和图像编码的矢量量化，”IEEE工业电子学汇刊，卷。47，没有。1，pp。159-167,2000。视图:出版商网站|谷歌学术
14. H. Caner，H.S.Gecim和A.Z.Ankar，“高效的嵌入式神经网络的车牌识别系统”IEEE车辆技术汇刊(第57卷)5, 2008。视图:出版商网站|谷歌学术
15. 谢家华，胡安Y.，洪K.，《复杂背景下的多车牌检测》，载int的诉讼程序。Conf。adv。通知。netw。申请。，第2卷，第389-392页，2005。视图:谷歌学术
16. H. Zhang，W.Jia，X. He和Q. Wu，“基于学习的车牌检测使用全球和本地功能”第18届国际模式识别国际会议的诉讼程序，第PP。1102-1105，IEEE，香港，中国，2006年8月。视图:出版商网站|谷歌学术
17. J. Yoon和D. Kim，“汽车车牌探测器在道路维修服务中塑造了隐私保护的变化，”韩国信息科学家与工程研究所秋季会议课程，卷。38，pp。426-430，2011。视图:谷歌学术
18. “基于彩色图像处理的车牌自动识别系统”，“基于彩色图像处理的车牌自动识别系统”，计算机科学课堂讲稿，第3483卷，第1159-1168页，2005。视图:谷歌学术
19. E. R. Lee, P. K. Kim, H. J. Kim，《使用彩色图像处理的汽车牌照自动识别》第1 IEEE图像处理会议的诉讼程序（ICIP '94），第2卷，301-305页，美国德克萨斯州奥斯汀，1994。视图:出版商网站|谷歌学术
20. Y. Yang，J. Tian和N. Liu，“基于固定色彩搭配的车辆车牌识别系统”机器学习与控制论国际会议论文集，卷。9，PP。中国广州IEEE 5394-5397，2005年。视图:谷歌学术
21. K. DEB和K.-H.jo，“智能运输系统应用的车辆车牌检测方法”，控制论和系统，卷。40，不。8，pp。689-705，2009。视图:出版商网站|谷歌学术
22. J. Matas和K. Zimmermann，“不受约束的车牌和文本本地化和认可”第八届国际IEEE智能交通系统会议的诉讼程序，pp.572-577，IEEE，维也纳，奥地利，2005年9月。视图:出版商网站|谷歌学术
23. S. Draghici，“基于神经网络的车牌识别人工视觉系统”，国际神经系统杂志，第8卷，第2期1，页113-126,1997。视图:谷歌学术
24. F. Alegria和P. S. Girão，“无线交通控制和执法系统的车牌识别”2006年IEEE工业技术国际会议的诉讼程序，ICIT，pp.1800-1804，IEEE，孟买，印度，2006年12月。视图:出版商网站|谷歌学术
25. j·金，《变形不变车牌提取与识别算法》韩国内容协会杂志，第11卷，第5期。3，第1-8页，2011。视图:谷歌学术
26. A. Frome，G. Cheung，A. Abdulkader等，“Google Street View中的大规模隐私保护”第12届计算机视觉国际会议论文集， pp. 2373-2380, IEEE，京都，日本，2009年10月。视图:出版商网站|谷歌学术
27. https://bitbucket.org/kyungkoo/koreanplate.．

版权

版权所有©2017 Dongjin Park和Kyungkoo Jun。这是一个开放式检修文章分布下知识共享署名许可协议，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。