视交叉上核 安全性和通信网络 1939 - 0122 1939 - 0114 Hindawi 10.1155 / 2021/5395705 5395705 研究文章 FNet:二束模型检测敌对攻击5 g深度学习建设服务 徐 Guangquan 1 2 https://orcid.org/0000 - 0001 - 7124 - 0536 冯 国峰 1 焦 Litao 2 冯 Meiqi 1 郑 习 3 https://orcid.org/0000 - 0001 - 9104 - 2975 刘 剑 1 阿齐兹 便雅悯 1 大学的情报和计算 天津大学 天津300350 中国 tju.edu.cn 2 学校的大数据 青岛黄海大学 青岛266555年 中国 3 部门的计算 澳大利亚麦考瑞大学 2113年北方莱德 澳大利亚 mq.edu.au 2021年 7 9 2021年 2021年 26 6 2021年 17 8 2021年 7 9 2021年 2021年 版权©2021许Guangquan et al。 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

与人工智能技术的广泛应用在5 g和超越第五代(B5G)网络,已成为人工智能的一个共同趋势融入现代通信网络。深度学习是机器学习的一个子集,最近在许多领域导致了重大改进。特别是,许多5 g服务使用深度学习建设技术提供更好的服务。虽然深度学习是强大的,但它仍然是脆弱的,当面对5 g深度学习建设服务。因为深度学习算法的非线性,轻微的扰动输入由攻击者将导致大的变化输出。尽管许多研究者提出对对手的攻击方法,这些方法并不总是有效的连续波等强大的攻击。在本文中,我们提出一个新的二束网络包括RGB流和空间丰富模型(SRM)噪声流发现敌对的例子和干净的例子之间的区别。RGB流使用原始数据捕捉细微的差别在敌对的样本。SRM噪音流使用SRM过滤器得到噪声特性。我们认为噪声特性是额外的证据对抗的检测。 Then, we adopt bilinear pooling to fuse the RGB features and the SRM features. Finally, the final features are input into the decision network to decide whether the image is adversarial or not. Experimental results show that our proposed method can accurately detect adversarial examples. Even with powerful attacks, we can still achieve a detection rate of 91.3%. Moreover, our method has good transferability to generalize to other adversaries.

 中国国家重点研发项目 2019年yfb2101700 中国的国家科学基金会 62172297 61902276 四川的主要研究和发展项目 21 sysx0082 天津智能制造专项资金项目 20201159 澳大利亚研究理事会 LP190100676 天津城市的自然科学基金 19 jcqnjc00200 1。介绍

深度学习最近导致显著的改善在许多领域,如计算机视觉( 1- - - - - - 3),语音识别( 4, 5),和自然语言处理 6, 7]。5 g通信的不断发展和人工智能技术,两人从相互独立发展到深度集成。人工智能促进智能通信网络本身的发展,业界普遍认为,5 g和人工智能通用技术(gpt) [ 8]。许多人探讨了人工智能的应用5 g通信的形式调查或实证研究( 9, 10]。在这一趋势下,人工智能发展迅速,积极沟通。例如,中国运营商向用户和合作伙伴提供服务由人工智能中心( 11]。人工智能中心是基于人工智能算法,封装scene-oriented服务,并提供应用程序和服务在客户销售和客户服务。

尽管深度学习是强大的,有安全风险深度学习神经网络提供的服务模型。例如,在客户销售服务部署在5 g平台,主要应用人工智能技术是图像分类。这个服务有效地识别图像数据通过图像分类模型。虽然图像分类模型为用户提供了极大的便利,深度学习的内在脆弱是服务的一个弱点。最近的研究( 12, 13]表明,攻击者可以创建敌对的样品通过添加小扰动原始数据。干扰非常小,他们是人类的眼睛几乎看不见。如果攻击者对抗的样本输入识别模型,该模型将不会正确地认识到样品。

深度学习模型部署在5 g平台提供了智能图像识别服务。黑客攻击深学习模式,导致错误的图像识别服务部署。具体来说,攻击者增加了小扰动原始输入引起的输出模型中一个巨大的变化。目前现有的最敌对的攻击是针对图像分类。确保安全的5 g深度学习建设服务,我们主要研究对抗样本的检测方法来防止图像分类模型。虽然方法( 14- - - - - - 17)提出了检测敌对的例子,这些方法总是失败当面对一个强大的攻击像连续波。解决对手的攻击图像分类服务基于5 g平台,我们主要研究对抗样本的检测方法。在我们的方法中,我们作为对抗干扰对抗特殊的噪声特性,可以提供额外的证据样本检测。因为对抗干扰和图像隐写术都直接修改图片,破坏原始图像像素之间的相关性,我们可以应用隐写式密码解密的方法对抗领域的样品检测。事实上,格拉汉姆·古德费勒等人还提出,对手的攻击可以被视为偶然的隐写术( 18]。

在本文中,我们使用丰富的功能从空间中提取丰富的模型(SRM) [ 19)来帮助检测的深度学习模型对抗的例子。SRM是传统方法提取噪声特性在隐写式密码解密 20.]。隐写式密码解密隐写术的出现促进了发展。隐写术是将秘密信息添加到原始载体,使信息隐藏在载体难以检测( 21]。图片的隐写术改变图片的像素值,这将破坏原始图像的相邻像素之间的相关性。因此,隐写式密码解密可以根据这个进行。隐写式密码解密决定图像隐写式密码解密了建模图像的相邻像素之间的相关性。传统的隐写式密码解密算法是基于手工特征提取。经过不断的研究,许多学者、SRM已经能够从数据中提取30000多维功能通过改进高通滤波器(HPFs分区) 22]。这些高通滤波器的设计大多是基于经验的。SRM使用30个不同像素预测。像素预测是线性的或非线性的。每一个线性预测是移不变的有限脉冲响应滤波器由一个内核描述矩阵 K pred 。剩余 R 是一个矩阵的尺寸一样吗 Y: (1) R = K pred ∗ Y − Y ≜ K ∗ Y , ∗象征表示卷积和在哪里 Y mirrorpadded。因此, R 一样的尺寸吗 Y 。

有六种类型的残差:一阶,二阶,三阶,广场边 3 × 3 ,边缘 5 × 5 ( 19]。表 1显示了计算方法的一阶、二阶和三阶线性残差。例如,一个简单的线性残留 R 我 j h = y 我 j + 1 − y 我 j ,这是一对横向相邻像素之间的区别。在这种情况下,内核是残留 K = − 1,- 1 ,这意味着像素值预测水平作为其邻近的像素。我们可以用这种方法来提取其他方向的噪声特性。

SRM线性残余过滤器, R 我 j h 表示线性剩余像素的位置 我 , j 在水平方向上和 y 我 j 表示像素的位置 我 , j 。

剩余的类型 高通滤波器 线性残
一阶 (1)−1) R 我 j h = y 我 j + 1 − y 我 j
二阶 (1,−2,1) R 我 j h = y 我 j − 1 − 2 y 我 j + y 我 j + 1
三阶 (1、−3 3−1) R 我 j h = y 我 j − 1 − 3 y 我 j + 3 y 我 j + 1 − y 我 j + 2

广场边缘 3 × 3 ,边缘 5 × 5 线性残差使用更多方向邻域像素的计算。表 2和 3展示广场边缘 3 × 3 ,边缘 5 × 5 SRM过滤内核。

广场SRM过滤内核。

− 1 2 − 1 2 − 4 2 − 1 2 − 1 − 1 2 − 2 2 − 1 2 − 6 8 − 6 2 − 2 8 − 12 8 − 2 2 − 6 8 − 6 2 − 1 2 − 2 2 − 1

边缘SRM过滤内核。

2 − 1 4 2 2 − 1 − 2 2 − 1 8 − 6 2 − 12 8 − 2 8 − 6 2 − 2 2 − 1

我们的模型由一个二束网络和网络的决定。RGB流用于捕捉细微的差别,比如对比差异的RGB图像。SRM噪音流用于捕捉清洁样品和对抗性的样本之间的噪声不一致。我们使用30个典型SRM过滤器从相邻像素提取噪声特性。使用噪声特性的SRM噪声输入二束模型。然后,我们使用双线性池( 23]融合提取两个流的特性。双线性池用于它可以融合两个流的特性,同时保留空间信息。最后,我们使用完全连接层作为决定网络检测敌对的样本。

我们的贡献总结如下:

提高5 g深度学习建设的安全服务,我们提出一种新的检测模型和执行端到端培训二束敌对的例子。这种方法可以获得丰富的特征信息从噪声特性和检测提供额外的证据敌对的例子。即使有一个强大的连续波攻击,我们仍然可以实现91.3%的检出率。

我们选择的空间丰富模型(SRM)生成线性和非线性噪声特性。30 SRM过滤器可能会放大噪声的不同领域和获得丰富的信息,以帮助检测敌对的样本。

本文的其余部分组织如下。部分 2描述了相关工作对敌对的样本攻击和深度学习模型。部分 3介绍了提出二束网络。部分 4对实验结果进行了分析。最后,部分 5总结了纸。

 2。相关工作

我们简要回顾相关工作对抗攻击和对抗的防御在这一节中。

2.1。5 g深度学习建设服务的安全问题

由于神经网络固有的脆弱性,5 g深学习服务建设面临同样的威胁对手的攻击。深度学习(包括深强化学习)是容易受到敌对的例子 24]。这些修改输入可以欺骗模型作出错误的决定。黑客可能会利用这个漏洞攻击服务基于深度学习( 25]。对手的攻击攻击可分为黑盒和白盒的攻击。黑箱攻击只能得到的识别结果输入通过API接口平台的但不能获得模型的内部参数。白盒攻击可以得到所有的参数神经网络模型部署在平台。因此,白盒攻击也代表最高水平的攻击。

 2.2。深度学习攻击

深度学习的深度学习算法是一个弱点服务基于5克。由于神经网络固有的脆弱性( 26),一个小对抗干扰会导致一个巨大的改变在模型的输出。此外,学者们提出了攻击模型优化过程和正则化过程( 27, 28]。

格拉汉姆·古德费勒et al。 18)提出了快速梯度符号(FGSM)产生敌对的例子。FGSM的主要想法是使干扰方向的梯度方向最大化损失函数值的变化,然后最大化分类器的分类结果的变化。

Moosavi-Dezfooli et al。 28]提出DeepFool找到最短的距离的干净图像边界的决定敌对的图像。DeepFool不属预定目标的攻击方法来生成一个敌对的例子是通过迭代干扰图像。实验表明,比FGSM DeepFool方法产生更少的干扰,也有类似的傻瓜。

Carlini和瓦格纳 27)提出了连续波方法产生敌对的例子。连续波是一种对抗性的例子基于目标函数优化的攻击算法。它限制了 l ∞ , l 2 , l 0 规范扰动探测不到。实验表明,防守蒸馏是完全无法抵御这三种类型的攻击。连续波方法是一个强大的攻击很难防守。

 2.3。深度学习国防

最近的研究( 29日]表明,对抗的例子不仅误导分类器在电子数据,在现实世界也有相同的效果。针对敌对的极大危害的例子,许多学者研究了防御对抗的例子。

格拉汉姆·古德费勒等人提出的对抗训练。 18)是早期措施抵御样本。主要的方法是训练同时敌对的样本和正常样本在训练阶段增强模型的鲁棒性。然而,对抗性训练需要大量的敌对的例子来确保高检测率,这将导致巨大的培训成本。

辛顿et al。 15)首先介绍了蒸馏防御方法对于小模型模仿大模型。后来,Papernot et al。 30.)采用蒸馏的方法来保护对抗的样本。这种方法使模型的决策边界平滑,可以有效抵御敌对的样品由FGSM生成,荡妇,和其他算法。与敌对的培训,其培训成本较低。然而,这种方法并不是有效的连续波攻击。

Dziugaite et al。 16]研究了针对FGSM攻击的防御性JPG压缩特性的影响。这种防御方法的限制是,大规模的压缩的下降将导致法律样本分类的准确性。示例与大干扰,它并不足以消除干扰。

由于敌对的样本重新分类的困难,许多研究人员转向敌对的样本的检测。

梁等。 17)提出了一个敌对的样本检测方法基于自适应去噪。在这种方法中,对抗干扰被认为是人工噪声,降噪技术用于减少敌对的效果。刘等人。 31日)提出了隐写式密码解密应用于检测敌对的例子。这项工作发现了一个有关计算机视觉之间的联系和对立隐写式密码解密的例子。Feinmanet et al。 32)提出了一种方法来检测敌对的例子使用贝叶斯网络的不确定性和核密度估计的方法。

 2.4。该方法

我们设计了一个二束网络检测敌对的例子。如图 1,RGB流直接使用RGB图像输入和SRM流使用SRM滤波器的噪声特征提取作为输入。然后,我们使用双线性池融合的特征提取两个cnn。最后,我们将最终的特征输入决定网络分类。此外,我们的训练模型维护一个良好的检出率与敌对的黑箱模型生成的例子。

说明我们的二束网络(FNet)。颜色代码如下:亮绿色= Conv,浅蓝色= batchnorm +双曲正切,深蓝= batchnorm + ReLU,黄色= avg池、橙色= max池,和紫色=完全连接层。RGB流使用原始图像作为输入,并捕捉细微的差异对比差异和不自然的像素的RGB特性。噪音流首先获得噪声特征图谱通过SRM过滤层,利用噪声特性来提供额外的证据对抗的图像检测。双线性池相结合的特征提取两个流。最后,通过功能通过一个决定网络相结合,生成预测的网络标签,并确定是否输入图像是敌对的。

 2.5。SRM特征提取

对手的攻击和隐写术图像像素值进行扰动,改变像素之间的依赖。然而,隐写式密码解密可以有效地检测修改引起的隐写术通过建模的自然图像相邻像素之间的依赖。所以,我们也可以利用隐写式密码解密识别偏差由于对手的攻击。灵感来自刘的工作( 31日和周 33),我们决定使用SRM过滤器放大图像的局部噪声干扰和使用它作为额外证据协助决策网络。

虽然刘的工作等。 31日)SRM过滤器用于对抗样本识别,证明了该方法的有效性,这些作品只考虑线性SRM噪声特性。在我们的工作中,我们模拟的人工提取方法SRM线性残差。的线性卷积图像获得的残差是一个高通滤波器移不变的内核。具体来说,我们使用30基本SRM卷积过滤器然后卷积这个内核与原始图像收集基本的噪声特性。剩余的定义过滤器表所示 1- - - - - - 3。此外,我们把过滤器分为五类:一阶,二阶,三阶,广场 3 × 3 +边缘 3 × 3 ,广场 5 × 5 +边缘 5 × 5 。过滤器为每个类别的数量是8,4、8、5和5,根据像素特征提取的不同的方向。具体来说,第一,三阶,我们使用8像素特征的提取过滤器在八个方向 ↑ , ↓ , ← , ⟶ , ↗ , ↙ , ↖ , ↘ ;二阶的边缘 3 × 3 ,边缘 5 × 5 4过滤器是用来提取像素特征四个方向 ↑ , ↓ , ← , ⟶ ;在广场 5 × 5 和广场 5 × 5 ,我们使用1像素特征的提取过滤器。的角度更全面的SRM非线性残余统计特性的特点,我们使用了线性残留特性通过SRM过滤器在空间域获得非线性残余特性的非线性处理。

取特征提取的二阶SRM滤波器为例,介绍如何获得非线性剩余功能。首先,我们可以预测像素 Y 我 , j 从它的水平或垂直相邻的像素,从而获得2水平和垂直的残余。然后,我们得到4残差方向: R 我 j ⟶ , R 我 j ← , R 我 j ↑ , 和 R 我 j ↓ 。其次,我们可以使用这些4残差来计算2非线性极大极小“残差如下: (2) R 我 j 马克斯 = 马克斯 R 我 j → , R 我 j ← , R 我 j ↑ , R 我 j ↓ , R 我 j 最小值 = 最小值 R 我 j → , R 我 j ← , R 我 j ↑ , R 我 j ↓ 。

其他四个类型的非线性残余功能以同样的方式计算。通过这种方式,得到了非线性剩余10通道的特点。最后,我们得到的线性特性30渠道和10通道的非线性特性。然后,我们结合的非线性和线性特性得到噪声特性40-channel作为噪声的输入流。

 2.6。二束网络

我们采用二束网络与RGB流和空间丰富模型(SRM)噪声流检测敌对的图像。设计的模型结构如图 1。RGB输入的角色在我们的网络是捕获重要的干扰。然而,对于干扰的图像被小心隐藏缝合处理边界和减少对比差异,很难使用RGB流独自完成这项任务。此外,当产生敌对的样本,我们经常使用 l p 规范限制对手的干扰。因此,生成的敌对的样本扰动通常人眼不可见。在这种情况下,很难完成敌对的检测样本仅依靠RGB流。灵感来自刘的工作( 31日和周 33),我们采用SRM噪声特性作为额外的证据来确定输入图像是否敌对的。

在我们的模型中,我们使用RGB流模拟视觉篡改检测图像干扰和大扰动;SRM噪音流用于提取和放大噪声特性通过SRM过滤器,这是用作额外证据敌对的图像检测(见表 4对特定的网络结构)。在SRM的结构噪声流网络,我们添加一个ABS层减少符号模型决定的影响。然后,我们使用双线性池( 23融合了SRM噪音流和篮板流。双线性池提出了细粒度的分类器。它有两个CNN网络结构和特征提取两个CNN网络融合通过双线性池。融合后的特征通过一个决定网络由两个完全连接层,得到最终的预测结果(见图 1)。我们使用叉损失导致以下目标函数: (3) l = l 交叉 f D B P f RGB x , f N f SRM x , y , 在哪里 x 是输入图像, y 是 x的标签, f SRM 表示SRM网络与固定权重, f RGB 和 f N 是RGB流网络和噪音流网络, B P 表示双线性池、 f D 表示决策网络, l 交叉 表示叉损失。

详细的二束CIFAR-10网络体系结构。Conv ( d, k, 年代)表示卷积层 d维度, k内核大小, 年代步。

RGB流 SRM流
Conv (64 3 1) Conv (64 3 1)
BatchNorm层,双曲正切 ABSLayer
Avg池 BatchNorm层,双曲正切
Conv (128 3 1) Avg池
BatchNorm层,双曲正切 Conv (128 3 1)
Avg池 BatchNorm层,双曲正切
Conv (256 3 1) Avg池
BatchNorm层,ReLU Conv (256 3 1)
Conv (256 3 1) BatchNorm层,ReLU
BatchNorm层,ReLU Conv (256 3 1)
马克斯池 BatchNorm层,ReLU
马克斯池
全连接4096、ReLU辍学(0.5)
全连接4096、ReLU辍学(0.5)
Softmax 2

该模型接受32 ∗ 32 ∗ 3(宽 ∗ 高度 ∗ 通道)图像和输入两种类型的标签。这个模型由SGD优化器训练。SGD优化器的参数设置如下:动量= 0.9和weight_decay = 0。网络的hyperparameters设置如下:lr = 0.1和batch_size = 64,和培训设计是100时代,和lr自动更改为每30时代原始值的0.1倍。

 3所示。实验

在本节中,我们目前的实验评价方法,比较几种检测方法。

3.1。实验设置 3.1.1。数据集

我们评估CIFAR-10数据集上的检测方法。CIFAR-10数据集包含了60000年 32 × 32 彩色图片,培训包括50000张图片和10000图像进行测试。

对于敌对的示例数据集,我们采用三个FGSM攻击方法,连续波,DeepFool。我们用三种方法来攻击VGG16 ( 34],Resnet50 [ 35],LeNet [ 36),终于9敌对的示例数据集。为了方便起见,我们命名为敌对的示例数据集生成的VGG16“Adv-VGG16-Set。“我们使用了Adv-VGG16-Set训练二束网络模型(FNet)和基线模型。生成的数据集攻击ResNet50和LeNet用于黑盒测试来测试模型Adv-VGG16-Set训练。三种攻击方法的参数设置如表所示 5。以前的工作表明,不属预定目标的攻击更容易成功,结果在小扰动,转移不同的模型。因此,我们测试了我们的方法不属预定目标的敌对的例子。

参数设置的三个攻击方法在敌对的健壮性工具箱。

攻击方法 参数
FGSM 范数= 2,eps = 2.0, eps_step = 0.1
DeepFool 每股收益= 0.1
连续波 Lr = 0.2, = 0.1的信心
3.1.2。分类器

CIFAR-10数据集,我们训练有素的三个模型:VGG16 [ 34],ResNet50 [ 35],LeNet [ 36]。这些模型被SGD训练优化器(动量= 0.9;weight_decay = 0), hyperparameters设置如下:lr = 0.01, batch_size = 64,时代= 30,lr为每10乘以0.1倍的时代。

 3.1.3。基线模型

我们比较我们的方法(FNet)与其他检测方法包括RGB-Net SRM-Net, KD +布鲁里溃疡( 32]。RGB-Net是一个单个流网络,只有输入RGB图像判断。它有相同的网络结构RGB流二束网络的一部分我们设计;同样,SRM-Net只有SRM我们网络的一部分。布鲁里溃疡KD + ( 32)使用贝叶斯模型不确定性和核密度估计来确定是否敌对的示例。为了方便起见,我们使用FNet引用方法。

 3.1.4。攻击方法

我们采用了三种攻击方法从敌对的健壮性设计的工具箱微软 37]:FGSM [ 18),连续波( 27],DeepFool [ 28]。RGB-NET、SRM-NET KD + BU, FNet,我们都Adv-VGG16-Set用于培训。在训练中,我们培养一个新的探测器每次只使用一种攻击方法。

 3.1.5。评价指标

我们使用精密的分数,回忆起评分,ROC曲线下面积(AUC)评分模型的评价指标( 38]。AUC值越接近1,ROC曲线下的面积较大,模型越好。

度规的计算公式如下: (4) 精度 = TP TP + 《外交政策》 , 回忆 = TP TP + FN , 在哪里 TP 表示真阳性, 《外交政策》 表示假阳性率 FN 表示假阴性率。

 4所示。实验结果

CIFAR-10数据集,表 6- - - - - - 8显示不同的检测方法的精度和召回分数正常图像和敌对的图像。大胆的值在表中代表我们方法的实验结果(FNet)。我们可以看到,RGBNet和我们的方法(FNet)有良好的效果在防御攻击白盒和黑盒的攻击。FNet达到93.2%的精度分数对抗VGG16 DeepFool生成的图像。实验结果表明,很难探测到敌对的连续波方法生成的例子。SRM-Net几乎是无效的对连续波。KD +布鲁里溃疡和RGB-Net实现低分数时检测连续波。然而,FNet改善KD +布鲁里溃疡30%以上,和FNet达到90.8%的精度分数检测敌对的连续波产生的例子。正如上面我们提到的,所有的探测器在Adv-VGG16-Set训练。此外,我们可以看到,我们的方法具有良好的可转让性可以检测到敌对的样品由黑人模特。 SRM-Net and KD + BU are almost invalid against adversarial examples generated on black models, while the precision score of FNet reaches 90.1% against CW.

性能正常的图片和他们对抗CIFAR-10 FGSM生成的例子。

模型 方法 正常的图片 阿德图片
精度 回忆 精度 回忆
白色的模型 VGG16 RGB-Net 0.896 0.928 0.864 0.807
SRM-Net 0.748 0.773 0.571 0.538
KDBU [ 32] 0.902 0.643 0.580 0.876
FNet 0.926 0.926 0.868 0.868
黑色的模型 ResNet RGB-Net 0.888 0.928 0.874 0.809
SRM-Net 0.692 0.773 0.543 0.440
KDBU [ 32] 0.648 0.643 0.426 0.431
FNet 0.912 0.926 0.879 0.854
LeNet RGB-Net 0.919 0.928 0.821 0.801
SRM-Net 0.731 0.773 0.359 0.309
KDBU [ 32] 0.697 0.643 0.269 0.319
FNet 0.927 0.926 0.819 0.822

大胆的值代表的实验的结果我们的方法(FNet)。

性能正常的图像和CIFAR-10敌对的连续波生成的例子。

模型 方法 正常的图片 阿德图片
精度 回忆 精度 回忆
白色的模型 VGG16 RGB-Net 0.912 0.856 0.843 0.903
SRM-Net 0.539 1.000 0.000 0.000
KDBU [ 32] 0.852 0.525 0.617 0.893
FNet 0.913 0.922 0.908 0.898
黑色的模型 ResNet RGB-Net 0.916 0.856 0.840 0.906
SRM-Net 0.544 1.000 0.000 0.000
KDBU [ 32] 0.545 0.525 0.457 0.478
FNet 0.883 0.922 0.901 0.855
LeNet RGB-Net 0.943 0.856 0.792 0.914
SRM-Net 0.625 1.000 0.000 0.000
KDBU [ 32] 0.589 0.525 0.330 0.390
FNet 0.903 0.922 0.865 0.835

性能正常的图片和他们对抗CIFAR-10 DeepFool生成的例子。

模型 方法 正常的图片 阿德图片
精度 回忆 精度 回忆
白色的模型 VGG16 RGB-Net 0.913 0.861 0.848 0.905
SRM-Net 0.766 0.776 0.734 0.724
KDBU [ 32] 0.857 0.526 0.619 0.898
FNet 0.908 0.944 0.932 0.888
黑色的模型 ResNet RGB-Net 0.917 0.861 0.845 0.907
SRM-Net 0.649 0.776 0.650 0.498
KDBU [ 32] 0.554 0.526 0.466 0.495
FNet 0.868 0.944 0.926 0.828
LeNet RGB-Net 0.940 0.861 0.806 0.913
SRM-Net 0.661 0.776 0.510 0.370
KDBU [ 32] 0.577 0.526 0.341 0.390
FNet 0.881 0.944 0.900 0.798

大胆的值代表的实验的结果我们的方法(FNet)。

图 2显示CIFAR-10 ROC曲线的检测方法。在第一行数据显示探测器性能的三个攻击方法的不同检测方法对敌对的白盒模型生成的样本(VGG16)。我们可以看到FNet的AUC得分从0.963到0.976,KD的AUC得分+布鲁里溃疡是0.795到0.837。数据显示,很难检测连续波攻击。SRM-Net的AUC得分是0.525,KD的AUC得分+布鲁里溃疡是0.795。我们的方法达到最好的性能检测敌对的白盒模型生成的样本。第二和第三行中的数据显示不同的检测器性能的方法对抗黑盒模型生成的样本。实验结果表明,FNet的AUC分数达到0.954。KD +布鲁里溃疡和SRM-Net实现低AUC得分当检测样品产生的黑箱模型。布鲁里溃疡KD +最好的AUC得分是0.715时检测对ResNet DeepFool攻击。

CIFAR-10 ROC曲线的检测方法。我们选择显示ROC曲线的检测方法在三种不同的攻击。我们可以直观地看到,我们的方法(FNet)是在所有情况下都优于其他方法。

结合精密、召回和AUC分数,RGB-Net执行第二个方法(FNet)和KD + BU排名第三。在图 2,我们可以清楚地看到,FNet更好的性能在所有情况下都比其他检测方法。RGB-Net布鲁里溃疡和KD +防御时表现良好白盒的攻击,但他们不执行黑盒攻击。

 5。结论

在本文中,我们提出一个二束模型包括RGB流和SRM残流改善深度学习的安全服务基于5克。我们使用30 SRM过滤器来提取线性噪声特性和执行非线性处理获得40个频道的丰富的功能。我们将这些噪声特性输入网络作为检测更多的证据。实验表明,我们的方法执行黑盒和白盒的攻击。此外,我们的方法具有良好的可转让性。

虽然我们的检测方法是有效对抗的例子图像,该方法不是有效的在所有类型的数据。空间丰富模型(SRM)适用于图像数据特征提取方法。我们的二束网络采用SRM隐写式密码解密获得对抗的检测特性作为额外的证据,这是唯一有效的图像。因此,我们的方法是惟一有效的深度学习服务,图像识别等提供服务。在未来的工作中,我们将探索更有效的方法对抗的样品检测和恢复。

 数据可用性

实验数据用于支持本研究的结果包括在本文中。实验部分中描述的数据 4在细节。

 的利益冲突

作者宣称没有利益冲突。

 确认

这部分工作是由中国国家重点研发项目(2019号yfb2101700),中国的国家科学基金会(62172297和62172297号),四川省重点研发项目(第21号sysx0082),天津智能制造专项基金项目(20201159)、天津市自然科学基金资助(19 jcqnjc00200)和澳大利亚研究理事会项目(没有链接。LP190100676)。

 Krizhevsky 一个。 Sutskever 我。 辛顿 g . E。 ImageNet与深卷积神经网络分类 先进的神经信息处理系统 2012年 25 1097年 1105年 Szegedy C。 刘 W。 贾 Y。 Sermanet P。 里德 年代。 Anguelov D。 Erhan D。 Vanhouc V。 与旋转会更深 《IEEE计算机视觉与模式识别会议 2015年6月 波士顿,美国 1 9 10.1109 / cvpr.2015.7298594 2 - s2.0 - 84937522268 Shahverdy M。 Fathy M。 Berangi R。 Sabokrou M。 司机使用深卷积神经网络行为检测和分类 专家系统与应用程序 2020年 149年 113240年 10.1016 / j.eswa.2020.113240 张 Z。 盖革 J。 Pohjalainen J。 Mousa 一个。 舒乐问 B。 深度学习环境鲁棒语音识别:近期发展的概述 ACM智能交易系统和技术(TIST) 2018年 9 5 1 28 10.1145 / 3178115 2 - s2.0 - 85047117711 Amodei D。 Ananthanarayanan 年代。 Anubhai R。 深演讲2:端到端在英语和普通话语音识别 机器学习的国际会议 2016年6月 纽约,纽约,美国 PMLR 173年 182年 郭 J。 他 H。 通 H。 Lausen l 李 M。 林 H。 史 X。 王 C。 谢 J。 咋 年代。 张 一个。 张 H。 张 Z。 张 Z。 郑 年代。 朱 Y。 GluonCV GluonNLP:深度学习在计算机视觉和自然语言处理 机器学习研究杂志》上 2020年 21 23 1 7 年轻的 T。 哈札里卡 D。 云苓 年代。 威尔士 E。 最近的趋势在基于深度学习的自然语言处理 IEEE计算机情报杂志 2018年 13 3 55 75年 10.1109 / mci.2018.2840738 2 - s2.0 - 85051085274 Lipsey r·G。 Carlaw k . I。 Bekar c . T。 经济的转换:通用技术和长期经济增长 2005年 牛津大学,英国 牛津大学出版社牛津 陈 M。 Challita U。 萨德 W。 阴 C。 Debbah 米 机器学习和人工智能无线网络:神经网络教程 2017年 https://arxiv.org/abs/1710.02913 Kibria m·G。 阮 K。 Villardi g . P。 赵 O。 Ishizu K。 小岛 F。 大数据分析、机器学习和人工智能在下一代无线网络 IEEE访问 2018年 6 32328年 32338年 10.1109 / access.2018.2837692 2 - s2.0 - 85046995241 贾 K。 肯尼 M。 马提拉 J。 Seppala T。 人工智能的应用在中国数字平台巨人:百度,阿里巴巴和腾讯 ETLA报告 2018年 81年 邓 Y。 张 T。 卢 G。 郑 X。 金 J。 汉 问:L。 基于深度学习自主驾驶系统:攻击和防御的调查 IEEE工业信息 2021年 17 10.1109 / tii.2021.3071405 邓 Y。 郑 X。 张 T。 陈 C。 卢 G。 金 M。 分析对手的攻击和防御上自动驾驶模式 学报2020年IEEE国际会议上普适计算和通信(PerCom) 2020年5月 比萨、意大利 IEEE 1 10 10.1109 / percom45495.2020.9127389 徐 G。 鑫 g . H。 焦 l 刘 J。 刘 年代。 冯 M。 郑 X。 semi-black-box android敌对的样本攻击对DLAAS框架 2021年 https://arxiv.org/abs/2105.11593 辛顿 G。 Vinyals O。 迪安 J。 蒸馏在神经网络的知识 2015年 https://arxiv.org/abs/1503.02531 Dziugaite g·K。 Ghahramani Z。 罗伊 d . M。 jpg压缩的影响的研究在敌对的图像 2016年 https://arxiv.org/abs/1608.00853 梁 B。 李 H。 苏 M。 李 X。 史 W。 王 X。 检测对抗的形象的例子在深层神经网络自适应降噪 IEEE可靠和安全的计算 2018年 18 格拉汉姆·古德费勒 i . J。 Shlens J。 Szegedy C。 解释和利用对手的例子 2014年 https://arxiv.org/abs/1412.6572 Fridrich J。 Kodovsky J。 丰富的数字图像隐写式密码解密的模型 IEEE取证和安全信息 2012年 7 3 868年 882年 10.1109 / tifs.2012.2190402 2 - s2.0 - 84860434682 Fridrich J。 Goljan M。 实用数字图像隐写式密码解密:艺术的状态 国际社会对光学和光子学 2002年 4675年 1 13 10.1117/12.465263 2 - s2.0 - 0036034444 约翰逊 n . F。 Jajodia 年代。 探索隐写术:看到看不见的 电脑 1998年 31日 2 26 34 10.1109 / mc.1998.4655281 2 - s2.0 - 0031996445 吴 年代。 钟 年代。 刘 Y。 深残余学习图像隐写式密码解密 多媒体工具和应用程序 2018年 77年 9 10437年 10453年 10.1007 / s11042 - 017 - 4440 - 4 2 - s2.0 - 85012918341 林 T.-Y。 RoyChowdhury 一个。 Maji 年代。 双线性CNN模型细粒度的视觉识别 《IEEE计算机视觉国际会议 2015年12月 圣地亚哥,智利 1449年 1457年 10.1109 / iccv.2015.170 2 - s2.0 - 84973863234 Behzadan V。 姆尼尔 一个。 深入强化学习政策诱导攻击的脆弱性 《国际会议在模式识别的机器学习和数据挖掘 2017年7月 纽约,纽约,美国 施普林格 262年 275年 10.1007 / 978 - 3 - 319 - 62416 - 7 - _19 2 - s2.0 - 85025136946 Madani P。 Vlajic N。 鲁棒性深autoencoder入侵检测在对抗污染 学报》第五届年会和训练营在安全科学的热门话题 2018年4月 美国罗利数控 1 8 10.1145/3190619.3190637 2 - s2.0 - 85047209630 Szegedy C。 扎 W。 Sutskever 我。 米菲 J。 Erhan D。 格拉汉姆·古德费勒 我。 费格斯 R。 有趣的神经网络的性质 2013年 https://arxiv.org/abs/1312.6199 Carlini N。 瓦格纳 D。 评估神经网络的鲁棒性 学报2017年IEEE安全和隐私(SP)研讨会上 2017年5月 美国加利福尼亚州圣何塞 IEEE 39 57 10.1109 / sp.2017.49 2 - s2.0 - 85024480368 Moosavi-Dezfooli S.-M。 法瓦兹。 一个。 帕斯卡 F。 DeepFool:一个简单的傻瓜深层神经网络和准确的方法 《IEEE计算机视觉与模式识别会议 2016年6月 美国内华达州拉斯维加斯 2574年 2582年 Kurakin 一个。 格拉汉姆·古德费勒 我。 Bengio 年代。 敌对的例子在现实世界 2016年 https://arxiv.org/abs/1607.02533 Papernot N。 麦克丹尼尔 P。 吴 X。 杰哈 年代。 阁下 一个。 蒸馏作为防御敌对的扰动对深层神经网络 学报2016年IEEE安全和隐私(SP)研讨会上 2016年5月 美国加利福尼亚州圣何塞 IEEE 582年 597年 10.1109 / sp.2016.41 2 - s2.0 - 84987680683 刘 J。 张 W。 张 Y。 侯 D。 刘 Y。 咋 H。 余 N。 基于检测防御敌对的例子从隐写式密码解密的观点 《IEEE / CVF计算机视觉与模式识别会议 2019年6月 美国加利福尼亚州长滩 4825年 4834年 10.1109 / cvpr.2019.00496 Feinman R。 科廷 R R。 Shintre 年代。 加德纳 答:B。 从工件检测敌对的样本 2017年 https://arxiv.org/abs/1703.00410 周 P。 汉 X。 Morariu 诉我。 戴维斯 l S。 学习丰富的功能图像处理检测 《IEEE计算机视觉与模式识别会议 2018年 美国犹他盐湖城 1053年 1061年 10.1109 / cvpr.2018.00116 2 - s2.0 - 85055125573 Simonyan K。 Zisserman 一个。 很深的卷积网络大规模图像识别 2014年 https://arxiv.org/abs/1409.1556 他 K。 张 X。 任 年代。 太阳 J。 深层残留图像识别的学习 《IEEE计算机视觉与模式识别会议 2016年6月 美国内华达州拉斯维加斯 770年 778年 10.1109 / cvpr.2016.90 2 - s2.0 - 84986274465 勒存 Y。 Bottou l Bengio Y。 Haffner P。 Gradient-based学习应用于文档识别 IEEE学报》 1998年 86年 11 2278年 2324年 尼古拉· 我。 Sinn M。 Tran m . N。 Buesser B。 Rawat 一个。 Wistuba M。 Zantedeschi V。 Baracaldo N。 陈 B。 路德维希 H。 莫雷 i M。 爱德华兹 B。 敌对的健壮性工具箱v1。0.0 2018年 https://arxiv.org/abs/1807.01069 Carlini N。 Athalye 一个。 Papernot N。 Brendel W。 儒伯 J。 齐 D。 格拉汉姆·古德费勒 l Madry 一个。 Kurakin 一个。 在评估敌对的鲁棒性 2019年 https://arxiv.org/abs/1902.06705