文摘

深度学习技术已经被用于开发改进的车牌识别(LPR)系统。特别是,深层神经网络在LPR系统带来了显著的改进。然而,深层神经网络容易受到敌对的例子。在现有的LPR系统中,敌对的例子研究特定的点,很容易被人或可识别的需要人工反馈。在本文中,我们提出一个方法产生对抗的例子的车牌,没有人类的反馈和由人类很难识别。在拟议的方法中,敌对的噪音是只添加到车牌在整个图像创建一个敌对的例子,错误被LPR系统没有被人类。实验使用baza silka数据集,TensorFlow作为机器学习库。当ε是0.6第一类型和α和第二种类型的迭代是0.4和1000年,分别生成的对抗性的例子第一和第二类型生成方法是减少到20%和15%的准确率LPR系统。

1。介绍

车牌识别系统(LPR) (1)在各种地方作为一个系统用于识别字母或数字的车牌。例如,当汽车旅行速度高于允许的速度在公路上,LPR系统可以自动识别车辆的超速车辆和处以罚款或车辆费用。此外,LPR系统用于检测汽车的数量是违反交通信号灯的法律。的支付使用费用在高速公路上,LPR系统可以自动识别车辆数量和处理通行费。此外,当支付停车费的集市或公司大楼,LPR系统可以自动识别车辆数量和计算停车费用。

LPR系统,很容易识别车辆牌照定位车牌时底部前面的车,车牌上的字母或数字模式。典型的LPR系统(2]提取相应的特征匹配后车辆规格和车辆牌照。之后,它识别出车牌的数字或字母使用识别方法,如支持向量机(3]。然而,现有的LPR系统有一个缺点在车牌识别字母或数字,它不如卷积神经网络(CNN) (4)的分类,因为它是受环境因素的影响。为了更好的识别车牌的数字或字母,识别(5)使用CNN提供良好的车牌图像识别和图像分类的性能。提高了车牌识别的CNN模型分类图像分割通过字体大小为数字或字母车牌识别程序。

然而,CNN模型等深层神经网络(6)是容易受到敌对的例子(7]。一个敌对的例子与噪声小样本添加到原始数据和由CNN错误分类模型,虽然它不是不正常的人类。如果这样一个敌对的例子是应用于车牌,尽管看似正确的人类,一个敌对的车牌可以基于CNN LPR系统错误分类的模型。现有的方法(8- - - - - -10)使用敌对的例子应用到汽车的牌照识别系统故意导致作品点出通过添加噪声到一个特定的点或改变光线的亮度在车牌上。然而,这些现有方法的局限性,很容易被人类或者需要单独的反馈。不同于现有的方法,该方法创建一个敌对的例子在车牌通过添加小噪音,人类很难辨别,只对车牌。

在本文中,我们提出一个方法,将敌对的例子应用到车牌区域LPR系统。在这种方法中,敌对的噪音是添加到对应的区域车牌,这是正常的人类,但LPR系统是不正确的。本文的贡献如下。首先,我们系统地解释了该方法的框架。此外,我们解释了该方法的原理和生成过程。第二,对于车辆LPR系统,精度与敌对的噪声和图像原始数据之间的差异和对抗性的例子进行了分析以不同的方式。第三,以验证该方法的性能,性能检查使用baza silka数据集[11]。此外,该方法详细分析整个程序的每一步LPR系统。

本文的其余部分组织如下。节2相关工作,该方法被解释。节3,该方法描述的内容。在部分4和5、实验环境和实验结果解释道。部分6描述了该方法的讨论,最后,部分7由本文的结论。

2。背景和相关工作

本节描述的基本程序原则LPR,敌对的例子,和相关研究对抗攻击LPR的示例。

2.1。车牌识别的基本解释

过程中车牌识别(LPR)系统包括三个步骤。第一步是确定车牌的车辆在整个图像。第二步是将一个数字或字符车牌中的每个单词。第三步是识别和分类的过程中每个单词的字符或数字。有卷积神经网络(CNN) (4),支持向量机(svm) [3),字符模板(12),和混合歧视限制玻耳兹曼机(HDRBM) [13)方法来识别每个词的数字或字符。其中,CNN执行比其他方法更好的在图像分类通过自动从图像中提取特征。因此,CNN是LPR系统中使用最广泛,该方法生成LPR系统对抗的例子执行字符分类器基于这些CNN。

美国有线电视新闻网有一个多层前馈神经网络的结构。它由卷积层、汇聚层和完全连接层。卷积核的卷积层由(过滤器)并创建一个映射的输入图像的特性。卷积核是由重量组合结构使用反向传播算法(14),每个图像特征提取。池层(15卷积)坐落在一层一层一层从卷积和压缩信息,包括最大池和池。完全连接层传统神经网络结构,去年在CNN结构相连接,用于类图像的预测。

LPR系统用于识别字符从0到9,A到Z的车牌。一般来说,多个单独的cnn被训练识别单词或数字。当函数意味着CNN对车牌字符和标识符意味着输入图像,CNN提供矢量概率值和输出值的对应值的每个类等 。预测的标签显示值中最大的信心类。

2.2。基本描述对抗的例子

提出的对抗性的例子是第一Szegedy et al。16,17]。敌对的例子是最小噪声添加到原始数据样本,对人类没有检测到问题,但更进一步的模型。这些敌对的例子可以分为四类。首先,对抗的例子分为目标攻击(18)和没有针对性攻击(19,20.根据攻击的目的。有针对性的攻击是一个样本的敌对的例子是更进一步的目标类的模型。另一方面,一个没有针对性攻击是一个样本的分类错误是导致对抗的例子模型作为错误的类而不是原始类。没有针对性攻击的优势能够用更少的重复和畸变低于目标攻击的攻击。第二,对抗的例子分为白盒攻击(21,22)和黑盒攻击(23,24根据模型的信息)。白盒攻击是攻击的情况下攻击者知道所有的信息模型。攻击者知道所有的信息结构模型,模型的参数和概率值的输出模型。另一方面,一个黑盒子攻击是攻击者的攻击没有的信息模型。攻击者只能接收结果对模型输入值。第三,可以分为敌对的例子(25),(26),而(27根据给失真的方法。 在哪里是原始的像素和是一个敌对的例子像素。无论使用的三种变形方法,值越小,失真越小的对抗性的例子是最小化畸变的原始样本。第四,至于方法产生敌对的例子,有fast-gradient标志方法(FGSM) [28)和迭代FGSM (I-FGSM) [29日],DeepFool [30.],Carlini和瓦格纳的方法(31日]。这些方法生成一个敌对的例子,通过反馈的结果输入到模型中,以最小的失真。首先,攻击者提供了一个转换的示例一些噪声添加到原始数据作为模型的输入值。接下来,该模型为攻击者提供了一个概率值为输入值对应于每个类。攻击者创建一个转换示例通过添加一点噪音,并被错误地归类为基于反馈所需的目标类概率值,然后使用它作为模型的输入值。重复这个过程,敌对的例子被误诊的模型,以最小的噪音,生成。在本文中,我们提出了一个方法,产生敌对的例子通过修改FGSM I-FGSM方法添加一个小的噪音只有原始图像中的特定区域。

2.3。相关研究车牌的对抗性的例子

有三个代表性研究车牌敌对的例子的方法。首先,钱等。8LPR)提出了一个地方逃避攻击方法系统。这个方法有一个实际的优势作为一个作品点出法通过改变特定像素的图像。然而,缺点是某些像素过度识别在人类感知,它是有限的中国车辆数据和观点,必须找到一个合适的位置在整个图像。第二,咋et al。9)提出了RoLMA LPR系统的方法。这种方法使用光点misrecognize车牌。然而,这种方法的缺点是,它需要一个适当的人力反馈和一个复杂的过程光代位置和一个人很容易识别,因为光的地方。第三,Rana和Madaan [10)提出了一种方法来生成一个敌对的例子,整个车牌识别系统中的图像。这种方法增加了车辆的噪声图像作为一个整体和整体噪音增加了整车环境以及车牌但有缺点很容易被人利用叠加等方法。这个方法是不太现实的,因为它没有调节只有车牌,这是一个特定区域。上述现有方法的局限性,很容易确定,一个人在一个特定的区域或需要一个独立的人的反馈。此外,有一个限制扭曲或覆盖整个画面可以被人类。在本文中,我们提出了一个方法,是人类无法辨认的增加变形,很难看到在特定车牌牌照识别系统和分类错误。

3所示。该方法

图1显示了该方法的概述。在图中,该方法的程序优先检测车牌的区域在原始样本。转换的一个例子是由添加一点噪音只有整个图像中检测出车牌。生成的转换的例子是提供作为一个输入值LPR系统包括CNN。CNN,这是最后一步LPR系统结构,提供了生成的概率值为变压器的输入值的反馈。变压器更新对抗噪声,根据收到的反馈每个类的概率值,并生成一个转换的例子,这样目标类的概率值较高,然后作为输入提供给LPR系统。重复这个过程,创建一个敌对的例子所察觉到人类,但misrecognized LPR系统作为另一个车牌。

的数学表达式,让LPR系统操作功能。鉴于原样品作为输入值,以下是解决优化问题创建一个敌对的例子 。 在哪里是一个函数这意味着原样品之间的距离和对抗的例子。通过这个优化问题,可以创建一个敌对的例子分类错误的LPR系统同时最小化原样品的区别和对抗的例子。

为了产生敌对的例子,提出了对抗的例子只修改了调制整个图像的车牌区域。在第一个类型,该方法生成的通过 。 在哪里是一个函数,只提取车牌区域在整个图像中,是一个对象的函数模型,是一个目标类。在每次迭代过程中,从原始的梯度更新 ,和发现通过优化。

在第二种类型,该方法生成的如下: 在哪里是一个函数,只提取车牌区域在整个图像。在每个步骤中,一个较小的数量, ,更新并最终被相同的值。

4所示。实验设置

通过实验,该方法生成对抗的例子,正确认识到人类但misrecognized LPR系统。

TensorFlow [32作为机器学习库,一个1.7 GHz Xeon e5 - 2609所使用的服务器。

4.1。数据集

车牌数据集,数据集(11500)是用于拍摄使用奥林巴斯Camedia c - 2040变焦数码相机。这个数据是各种车辆的照片,如汽车、卡车和公共汽车,在不同的天气条件,如晴天,阴天,雨天,天气和黑暗的环境。数据集的图像中像素的数量(640480 3),和像素的总数是921600。总额的数据,有400个训练数据和100随机选择的测试数据。

4.2。Pretraining车牌识别系统

从车牌提取每个字符后,LPR系统公认的数字或字符通过CNN的最后一步。CNN模型的参数和结构的LPR系统中指定的表1和2。亚当(33)是用作CNN模型的优化算法。这个系统在学习训练数据与测试数据的92%的准确率。

4.3。代的对抗性的例子

第一代和第二代,该方法生成对抗的例子给噪音整个图像中车牌。第一个方法生成100敌对的例子通过改变ε从0.1到0.9。第二个方法随机生成100敌对的例子通过改变α从0.1到0.6,使用不同的迭代,即50,100,500,1000。

5。实验结果

精度之间的匹配率是原始字符车牌和字符被LPR系统。例如,如果92年的100个样本被LPR系统与原始字符,精度为92%。失真, ,平方根之和的每个像素的区别从原样品,用作失真的措施。

图2显示的示例图片的原样品和敌对的例子提出了车辆数据的方法。该方法使用第一代方法给ε0.4只对车牌和增加了优化噪声产生敌对的例子。在图中,人类的感知,拟议中的对抗性的例子从原样品几乎没有区别。如上所述,该方法只添加特定的噪音车牌从原始样本,这样没有问题对人类识别,但misrecognized LPR系统。

图3显示了车辆车牌识别过程的原样品和对抗性的例子提出LPR系统和分类得分第一个词的原样品和CNN拟议中的对抗性的例子。在图中,左边显示了原始样本,结果,右侧显示的结果提出了敌对的例子。该方法将ε0.4作为第一种方法。在数据3(一)-3(h)、LPR系统首先调节通过输入图像的灰度图像。之后,自适应阈值的步骤,找到轮廓、图像的主要部分与线路调制。处理阶段的数据,它有一个程序处理矩形东西可以预测单词。之后,选择候选人集团作为一个矩形区域,可能可以考虑的字符或数字字符的大小。之后,考虑到轮廓排列的顺序,选择候选字母或数字的矩形。之后,图像提取每平方,这封信被公认为每个单词使用CNN。图3(我)显示分类的第一个字母为原样品和车牌拟议中的对抗性的例子。CNN模型分类共有36例从0到9,无所不包的每个字符。在图3(我),在最初的样品中,第36号对应””最多的是32.1,表明该模型正确认识原样品。另一方面,在对抗的例子示例中,9号对应于“8”是最高的数字为34.3,所以对抗的例子是misrecognized 8的模型。通过这种方式,该方法增加了对抗噪声汽车的牌照,所以提出了敌对的样本可以错误地承认的LPR系统。

图4生成的一个对立的例子显示了一个示例使用第一种方法根据ε。在图中,随着ε的增加,更多的噪音是添加到车牌。在人类感知方面,噪音是只添加到车牌,而不是整个图像,这类似于原样品。

图5生成的一个对立的例子显示了一个示例的第二种类型根据α值和迭代方法。在图中,可以看出,随着迭代和ε的增加,更多的噪音是添加到车牌。在人类认知角度看,第二个方法产生对抗的例子几乎无法区分原样品。

图6显示生成的准确性敌对的例子的第一种方法根据ε。对于每个ε,100年敌对的例子是随机生成的。在图中,可以看出,敌对的例子的准确性降低,ε的价值增加。然而,当ε增加时,有一个权衡车牌,增加了更多的噪音。如图,ε的减少0.7或更高的精度是无关紧要的。当ε值约为0.4至0.6,敌对的例子是适度的准确性低的同时最小化畸变。

图7显示生成的准确性敌对的例子的第二种类型根据α值和迭代方法。随着α值的增加,敌对的例子的准确性下降。从0.4的alpha值,减少精度敌对的例子是无关紧要的。此外,随着迭代的增加,敌对的例子的准确性下降。然而,α值相比,迭代精度没有影响减少敌对的例子。

6。讨论

6.1。假设

该方法的假设是攻击LPR系统使用CNN。该方法必须知道信心值作为输出结果的输入值LPR系统。这是因为第一和第二种方法通过添加最优噪声产生敌对的例子,直到获得错误的类的高概率分配与信心。

6.2。精度

第一和第二类型的方法,对抗的例子的准确性取决于ε,迭代,α值。第一种,因为梯度上升据ε的数量增加,随着ε增加,足够对抗噪声添加交叉模型的决策边界,和敌对的例子的进攻成功率增加。第二类型,随着迭代和α值的增加,噪声的数量逐步增加,和最优噪声可以通过多次迭代,从而增加了攻击成功率对抗的例子。然而,如果ε、迭代和α值增加,精度降低由于攻击成功率的敌对的例子,但添加噪声增加,所以它可以被人类发现。因此,该方法需要根据攻击者的请求添加适当调整对抗噪声的原始数据。

6.3。分类的分数

该方法生成的敌对的例子通过添加一些噪声的相应图像的车牌。在分类评分,原样品得分最高的原始类。然而,对抗的例子表明,错误的阶级分类得分较高。通过这种方式,该方法生成一个敌对的例子高分类分错类使用最少的噪音。

6.4。敌对的噪音

在拟议的方法中,对抗噪声的攻击效果有两个作用:减少不正确的分割和车牌检测的性能防止车牌识别正确执行。首先,对抗噪声的影响使分割车牌。在图2原样品的车牌是正确分割。然而,在对抗的例子中,结果mis-segmentation车牌由于敌对的噪音。因此,该方法可以使车牌被误诊。

第二,字母或数字的识别车牌误认为是错误的字母或数字由于敌对的噪音。这是因为该方法产生敌对的例子通过增加对抗噪声这类错误的字符使用反馈分类时更高的分数。敌对的例子几乎看不出这种噪声通过人类但misrecognized LPR系统。

6.5。应用程序

这种方法可以应用于自动车辆或军事情况。在自主车辆的情况下,可以创建一个敌对的例子misrecognizes特定车牌车牌通过操纵。在军事情况下,如果车牌misrecognized,敌人的车辆可能会被误认为是一个盟友。

6.6。局限性和未来的研究

该方法应该知道的信心值LPR系统。如果信心值是未知的LPR系统中,使用该方法建立敌对的例子是有限的。因此,产生敌对的例子用该方法没有信心价值信息也是一个重要的研究课题。此外,该方法目标LPR系统基于CNN模型。如果LPR系统不是基于CNN模型,该方法可能的攻击效果差。

未来的研究可以考虑黑盒与未知攻击的信心值,而不是假设白盒攻击值与已知的信心。他们可以利用黑盒之间的替代网络方法攻击方法。这个方法创建一个类似的模型通过使用多个查询与黑盒模型。敌对的示例生成的白盒攻击上面生成的类似模型将能够攻击目标模型,这是一个黑盒模型。因此,在该方法中,一个黑盒子使用替代网络攻击是可能的方法。

7所示。结论

该方法生成的敌对的例子通过添加最小噪声只在整个车牌图像。与现有的方法,没有人类的反馈和最小的噪音。该方案可以创建一个错误被敌对的例子LPR系统。当第一类型和ε是0.6当α和第二种类型的迭代是0.4和1000年,分别实验结果表明,生成的对抗性的例子第一和第二种类型退化为模型精度20%和15%,分别。

在未来的研究中,该方法可以延长使用生成敌对的净(34)模型生成对抗的例子。此外,国防研究[35在该方法将是一个有趣的研究课题。国防技术(36,37]该方法将检测敌对的例子使用分类得分。因为一个特定的模式在分类评分中存在敌对的例子中,一个方法来检测敌对的例子使用此模式可以被认为是在未来的研究。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者要求后接受。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由韩国国家研究基金会(NRF)授予由韩国政府资助(MSIT)(2019号r1f1a1059249)和基础科学研究项目通过韩国国家研究基金会(NRF)由教育部(2021 r1i1a1a01040308)。