文摘
有轨电车有越来越多的部署对象探测器感知运行条件,和深度学习网络已经广泛采用这些探测器。越来越多神经网络产生严重攻击等攻击敌对的例子,对有轨电车的安全威胁。只有在对手的攻击彻底研究,研究人员可以对他们想出更好的防御方法。然而,大多数现有的方法产生敌对的例子一直致力于分类,和没有一个目标电车环境感知系统。在本文中,我们提出一种改进的投影梯度下降(PGD)算法和一种改进Carlini和瓦格纳(英国大东电报局)算法对速度R-CNN对象探测器产生敌对的例子。实验验证两种算法可以成功地进行不属预定目标的有轨电车运行时和有针对性的白盒数字攻击。我们也比较两种方法的性能,包括攻击效果,干净的图像相似度,生成时间。结果表明,两种算法在220秒内可以产生敌对的例子,只是很短的一段时间,没有降低的成功率。
1。介绍
有轨电车得到普及,因为成本低、效率高和环境友好(1,2]。甚至越来越多的人采用自动驾驶,引发高感知运行环境要求和行车安全3]。有轨电车感知系统通常部署探测器,如摄像机安装在车厢(4),和深度的学习方法,如卷积神经网络(cnn),分析异象被相机。系统用于检测障碍及其位置事先和采取相应措施。神经网络已被广泛采用,如车辆车牌识别(5),系统控制(6- - - - - -8],投票率故障诊断[9),免疫组织化学(10]。日益增长的知觉系统煽动不断对抗攻击深学习算法(11- - - - - -13),隐藏的电车安全威胁。
与地铁运行在部分封闭空间,有轨电车分享道路地面运输和操作在操作系统模式,这意味着有轨电车必须遵守速度限制和他们的司机必须保持警惕的情况下5]。这对有轨电车司机大大高需求的工作:他们用眼睛需要确定是否有行人、nonmotor车辆,机动车辆,或其他障碍,确定安全距离基于速度和采取适当的行动。
减轻驾驶员的负担,发现隐患,人类不能识别,许多研究人员设计了有轨电车环境感知系统(14基于深度学习网络和计算机视觉技术。有轨电车运行环境感知系统有轨电车的维护工作。如果他们发现图像被敌对的例子,系统不能正确识别对象和潜在的危险,可能导致不正确的操作和事故。我们最好的知识,然而,不存在对抗的例子研究目标电车环境感知系统。
最危险的和侵略性的威胁之一神经网络攻击使用敌对的例子(15- - - - - -17]。2014年,Szegedy et al。18]提出的概念,对抗的例子中,一种精心构建欺骗神经网络的输入,从而导致更进一步的输出。这些样品是稍微修改过的,听不清人类但很容易混淆网络(19,20.]。图1显示一个典型的敌对的例子。目前的研究证明,任何网络可能遭到敌对的例子。甚至Szegedy等人发现,敌对的例子是普遍的,这意味着恶意样本指定一个网络可以愚弄所有神经网络。因此,研究人员转向的方法产生敌对的攻击,打算在未来引导防御措施。
相当大的努力一直致力于发现机制产生敌对的例子。例如,Szegedy et al。18)提出了一个算法称为L-BFGS产生敌对的例子通过寻找最小可能的干扰。格拉汉姆·古德费勒et al。21]试图解释敌对的例子从班轮角度的原因,设计了一个方法FGSM寻求的方向梯度变化是最大的,并添加干扰图像的方向。Moosavi-Dezfooli et al。22)找到了一个高效、准确的方式称为DeepFool,愚弄深层神经网络评估分类器的鲁棒性和提高他们的性能通过适当的微调。这个方法执行更好的不如L-BFGS FGSM做改变。最小化损失函数用于生成对抗的例子Carlini和瓦格纳(23),介绍了一组三个敌对的攻击防御后蒸馏敌对的扰动。结果表明,防守蒸馏对这三个袭击目标网络几乎完全失败。
然而,考虑到复杂的运行环境,有轨电车需要信息不仅包括分类障碍也是他们的具体位置。分类算法是远远不够的。在过去的几年里,一些研究人员已经转移到目标检测在图像识别已经取得了惊人的成果(24]。王等人。25)提出了一个方法去学习一个敌对的网络产生的例子与遮挡和变形。谢et al。26)提出了一种新颖的算法称为密集的对手一代(DAG),应用梯度下降算法的优化和扩展这个问题从分类对象检测。魏et al。27)设计一个算法称为统一、高效的对手(UEA)产生敌对的例子通过培训GAN高级类损失和一个低级功能损失。王等人。28]使用PGD产生敌对的例子的全损更快R-CNN对象探测器,达到一个高的成功率和适用于许多神经网络架构。
虽然这些研究对手的攻击对象检测为神经网络提供足够的反例反击,他们很难准备电车感知系统。首先,大多数的研究只进行了不属预定目标的攻击,这很难全面。例如,在魏et al。(27)不属预定目标的攻击,他们使用的训练数据集分为只有20类,每个类和互相大大不同。考虑到复杂和不断变化的环境,电车感知系统过程中,这些不属预定目标的方法是不足以保护对抗的例子必须包括和有针对性的攻击。第二,尽管大多数研究讨论了准确的结果的对抗性的例子,他们倾向于使用time-costing,忽略了一个事实,即神经网络可以被实时模型。例如,王et al。(28)方法花费不少于35分钟产生敌对的例子在不同的体系结构,和一个时间成本的权衡是成功率低。
因此,我们提出一种改进的投影梯度下降(PGD)算法和一种改进Carlini和瓦格纳(英国大东电报局)算法更快R-CNN白盒的攻击。这种方法是指定电车环境感知系统产生敌对的例子,而我们所知,是第一个研究。它可以用更少的时间进行有针对性的和不属预定目标的攻击,成功率高。
本文的其余部分的结构如下。部分2介绍了该方法的理论。部分3解释了实验不属预定目标的攻击和有针对性的攻击。部分4讨论了攻击效果,干净的图像相似度,生成时间。部分5得出结论,并提供了对未来工作的方向提出建议。
2。材料和方法
从理论上讲,所有分类算法可以提高等方法提出了对抗的例子来攻击对象(20.]。在本文中,我们应用这种改进PGD和英国大东电报局。在本节中,提出的方法。介绍了一些定义和分类对对手的攻击。然后,改进的PGD的原则方法和改进的英国大东电报局方法进行了说明。
2.1。背景的对手的攻击
敌对攻击可以各种各样的几个点的角度攻击者欲望的输出类型,知识的攻击者对目标模型,和手段把对手的例子到目标模型(29日]。
根据输出的类型攻击欲望,对手的攻击可分为两类:(1)不属预定目标的攻击:攻击者只打算带来任何错误分类的分类器(2)有针对性的攻击:攻击者意愿导致分类器特定错误的分类
根据知识的攻击者对目标模型,对手的攻击可分为两类:(1)白盒攻击:攻击者是充分意识到目标模型,包括其类型、架构和所有参数(2)黑盒攻击:攻击者只是有限的信息了解目标模型或任何信息
2.2。改进PGD算法
改进的PGD算法提出了一种白盒的攻击,只有目标R-CNNs更快。因此,在攻击之前,所有的参数需要更快R-CNN为了产生敌对的例子。
典型的快R-CNN电车探测系统架构包含两个网络:该地区建议网络(RPN)和目标检测网络(强迫症),如图2。两个网络进行两份工作:第一,RPN输出几个地区的建议;第二,强迫症在每个区域进行分类的建议。
探测器被定义为一个对象 图像的高度在哪里和的宽度输入;输出 是类型的对象。每个探测器的输出包括的概率分布预定义的类别,和四个坐标位置检测对象的描述。
探测器可以识别对象的数量变化与不同的输入图像。为了简单起见,我们选择第一个n检测对象按别人。
在我们改进PGD算法,计算每个地区的损失函数的提议,然后添加在每个迭代。损失函数可以定义为 在哪里 , 是地区建议的数量,是指一个地区的建议意味着需要攻击的错误分类。
因此,可以得到以下方程: 在哪里的子图象区域和 的损失函数模型的输出之间的距离而错误的分类 。
在这种方法中,采用交叉熵损失函数和最终的损失函数可以表示为 在哪里是一个n维向量,其中每个维度表示分类的信心。
过程改进的PGD算法如图3。在第二步中,得到图像的地区建议项。我们执行提出移情作为常量和修正项修改后的地区建议在每个迭代的第二步。因此,优化问题可以解决通过删除无用的地区建议。在最后一步,当counter-propagation被执行时,敌对的例子是迭代更新,直到迭代次数达到指定数量。
2.3。英国大东电报局算法改进
在本节中,提出一种改进的英国大东电报局算法攻击对象探测器R-CNNs更快。这个算法也是一种白盒攻击只有目标R-CNNs更快,这意味着所有参数都是必需的。
探测器被定义为一个对象 在哪里输入图像的高度和手段意味着宽度; 代表输出;是指检测到的类别和相应的概率分布 ; 是指相应的坐标种检测类别输入清廉形象。
拟议中的英国大东电报局在本文改进算法基于最重要的特点R-CNNs更快,项。更快的R-CNN通过卷积层提取输入图像的特征图,生成地区建议项,然后在每个地区完成分类的建议。在改善英国大东电报局算法,每个地区的损失函数建议叠加计算,并和每次迭代后的损失函数优化。这里,采用交叉熵损失函数。
的损失函数改进英国大东电报局算法可以被定义为 在哪里 代表地区的建议和是一个可调参数。一些研究证明,大可能会导致更高的攻击的成功率和更大的平均大小的干扰23]。 代表的损失函数的值地区的建议 ,显示了分类结果的差异和不正确的分类 ,也就是说,攻击的目标。
改进英国大东电报局算法与改善PGD的共享相同的程序算法,如图3。它们之间唯一的区别是损失函数的公式。
在这种方法中,计算损失函数后,删除不必要的地区建议以达到优化的收敛。
3所示。实验
3.1。实验数据
摘要清洁图像被相机捕获安装在有轨电车在深圳,中国,的大小 。我们选择一天四代表图像在目标图像,如图4。前四图像覆盖常见场景,有轨电车可能满足每一天,如车辆经过,行人等待,和交通灯。下面的实验都进行这四个图像。我们使用的电脑是Nvidia Tesla K80。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
自快R-CNNs需要输入图像广场,我们放大图像的宽度从540年到960年增加了50%的中性灰色照片扩大部分。因此,更快的需求R-CNNs很满意没有强加任何噪声在干净的图像。
3.2。使用改进的PGD算法对手的攻击
在本节中,我们表现不属预定目标的攻击和有针对性的攻击速度R-CNNs我们改进PGD算法的使用。
通常,识别结果被认为是一个成功只有当一个分类大于50%的信心(有时甚至是80%),而结果是不到50%折扣由神经网络和自认为是一个失败的检测。
3.2.1之上。不属预定目标的攻击
我们定义一个成功的摘要不属预定目标的攻击当R-CNN越快无法正确识别的对象(如行人和车辆在敌对的例子。
所有维度的值在方程(2)改善PGD方法设置为0。敌对的四个图像数据的例子4(一)- - - - - -4 (d)TensorFlow生成,结果如图4 (e)- - - - - -4 (h)。也告诉清洁图像之间的差异和他们敌对的例子与人类的眼睛。
我们把第一个形象图4及其相应的对抗的例子为例,进行详细的分析。
检测结果的清廉形象及其对抗的例子快R-CNNs显示在图中5。图5(一个)显示了结果的清廉形象,在检测到对象包括车辆、行人和交通标志高大约95%的信心。图5(b)显示了示例中,对抗的结果,检测对象的信心从0%到100%都保留。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
为进一步比较,数据6(一)和6 (b)显示两张图片的信心。在图6(一),检测结果的信心清廉形象的调和而敌对的例子在图的信心6 (b)都极低,低于11%。考虑到常见的标准,一个成功的信心是不少于50%,这个结果表明,不属预定目标的攻击发起改进PGD方法对R-CNN越快成功了。
(一)
(b)
(c)
以此类推,我们进行了不属预定目标的攻击其他三个敌对的示例数据4 (f)- - - - - -4 (h)。别人的检测结果图4 (f)都低于7%,这些图吗4 (g)都低于7%,这些图吗4 (h)都低于8%。这些低信心意味着越快R-CNN不能发现任何的对象;也就是说,它不能检测的所有敌对的例子。因此,我们改进PGD方法能产生敌对的例子成功攻击R-CNNs更快。
3.2.2。有针对性的攻击
我们定义一个成功的有针对性的攻击当检测到图像的预先指定的分类。
我们改进的PGD方法也可以用来进行有针对性的攻击图像有轨电车运行环境和目标类别的对象可以是任何能被探测到的训练有素的R-CNN更快。在这个实验中,我们选择“狗”作为目标类。相应的价值维度的“狗”在方程(2当别人为0)被设置为1。生成的相应的有针对性的袭击是敌对的例子TensorFlow。也,这是几乎不可能区分清洁人眼图像和相应的对抗的例子。
和之前一样,我们把第一个清廉形象图4(一)及其相应的对抗的例子为例阐述攻击机制。
图5(d)显示检测结果的对抗性的例子R-CNN越快。虽然没有实际的狗的图片,快R-CNN识别的对象都是“狗”,所有的结果都达到极高的信心从97%到99%不等。
的比较清廉形象及其之间的信心敌对的例子在图6可以进一步解释了有针对性的攻击。如我们所见,没有认识到“狗”在干净的形象识别结果是只“狗”对抗的例子。
我们进行了有针对性的攻击其他三个敌对的例子,结果如图5(e) -5(g),不能正确检测到的对象,如第一个形象的结果。更糟糕的是,他们都认为是“狗”,高的信心。
这个实验证明,改进的PGD方法能够快速R-CNNs推出有效的有针对性的袭击。
3.3。使用改进的英国大东电报局算法对手的攻击
在本部分中,我们开始都不属预定目标的攻击和攻击目标的四个图片使用改进的英国大东电报局算法。
3.3.1。不属预定目标的攻击
成功不属预定目标的攻击这里符合相同的标准,在改进的PGD的实验。
在这个实验中,每个维度的值在方程(6)被设置为0。敌对的四个例子TensorFlow干净图像生成。
数据7(一)和7(b)展览第一清廉形象的检测结果及其相应的对抗的例子。对象(如香蕉、椅子、瓶子和鸟被更快发现R-CNNs信心较低不超过27%。同样,别人比较清廉形象及其之间的对抗性的例子,解释在图8。清廉形象的信心被调和而最有信心的敌对的低于5%,都低于27%。
(一)
(b)
(c)
(d)
(e)
(f)
(一)
(b)
(c)
不属预定目标的攻击其他三个敌对的例子实现了类似的结果。别人的第二图像的检测结果都低于15%,第三都低于10%,和第四都低于15%。越快R-CNNs不能有效检测的对象;也就是说,它不能检测的所有敌对的例子。
这些结果表明,我们改善了英国大东电报局方法可以启动成功不属预定目标的数字攻击R-CNNs更快。
3.3.2。有针对性的攻击
一个成功的有针对性的攻击这里符合相同的标准,在实验的改进技术。
同样的,我们选择了“狗”作为目标类别和相应的价值维度的“狗”在方程(6当别人为0)被设置为1。敌对的例子在图的四个图像4被改进的英国大东电报局方法生成。
图7显示检测结果的对抗性的例子R-CNN越快。尽管没有实际的“狗”在这些照片,越快R-CNN只有确定了“狗”高的信心。它证明我们提高英国大东电报局方法可以发射成功和高效目标数字攻击R-CNNs更快。
4所示。结果和讨论
在本节中,我们评估表现,比如攻击效果,相似性干净的图像,我们的算法和生成时间。
4.1。攻击效果
攻击的成功率是一个最重要的指标来说明敌对的例子的性能。的两个实验证明了改进的PGD方法和改进英国大东电报局方法可以有效的和有针对性的攻击速度R-CNNs行为不属预定目标的攻击。这两种方法的平均信心不属预定目标的攻击和“狗”的有针对性的袭击是计算结果列在表中1。
不属预定目标的攻击,平均小于信心的改善PGD方法的改进英国大东电报局方法,这意味着改善PGD方法比改进的英国大东电报局方法更好的攻击效果。类别的有针对性的攻击”的狗,“平均信心的改善PGD法高于改进英国大东电报局方法,这再次证明了改进的PGD方法更好的攻击效果比英国大东电报局方法改善。因此,改进的PGD方法执行好一点都不属预定目标的攻击和有针对性的攻击比英国大东电报局方法改善。
4.2。相似性干净的图片
清洁之间的差异产生的图像和相应的对抗的例子PGD改善方法和改进英国大东电报局方法几乎不能被人眼感知。因此,我们采用欧氏距离,使用最广泛的距离,测量差异。结果如图所示9。有针对性的攻击和不属预定目标的攻击,清洁之间的欧几里得距离图像和改进的英国大东电报局方法生成的对抗性的例子被改进的PGD短比方法,这意味着改善英国大东电报局方法生成的对抗性的例子更类似于干净的图片。
4.3。操作时间
生成时间也是一个重要指标。图10显示了生成时间之间的改进PGD的比较方法和改进的英国大东电报局的方法。的生成时间这两个基本上是相同的,不超过220秒,比35分钟长的操作时间更短(28]。提出的两个算法可以高效的性能。
5。结论
在本文中,我们提出一种改进的PGD和一种改进的英国大东电报局产生敌对的例子和攻击速度R-CNN对象探测器为有轨电车的环境感知。这两种方法能成功地进行不属预定目标的攻击和有针对性的攻击,和比较不同的指标证明他们满足实时的要求的前提下精度高,优于方法引用。
未来的工作将集中在进一步缩短生成时间没有一个大型的成功率下降,这种改进应用到第三个分类算法来找到一个模式,并寻找更有效的防御措施。值得研究的黑箱攻击并将这两种方法应用于真实的世界。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项研究受到了中国国家重点研发项目(2016 yfb1200402),中国国家自然科学基金(批准号61703308),四川省科技项目(2019 yfg0040)。