文摘
与第五代网络和人工智能技术的发展,新的威胁和挑战已经出现,无线通信系统中,特别是在网络安全。在本文中,我们提供了一个回顾攻击检测方法包括深度学习技术的力量。具体来说,我们首先总结基本的网络安全问题和攻击检测和介绍一些成功使用深度学习相关的应用程序结构。分类的基础上深入学习方法,我们特别注意攻击检测方法建立在不同的体系结构,如autoencoders,生成对抗网络,递归神经网络和卷积神经网络。之后,我们提出一些描述和比较基准数据集表示方法的性能显示当前工作状态的攻击检测方法与深度学习结构。最后,我们总结这篇文章,讨论一些方法来提高攻击检测的性能下利用深度学习的思想结构。
1。介绍
的不断发展和互联网的广泛使用效益众多网络用户的数量方面。与此同时,网络安全变得更加重要和广泛的使用网络。网络安全密切相关,计算机、网络、程序,各种数据,等等,国防的目的是防止未经授权的访问和修改(1]。然而,越来越多的网络系统在金融、电子商务、和军事使他们成为网络攻击的目标,导致大量的风险和损失。从本质上讲,必须提供有效的策略来检测和捍卫和维护网络安全攻击。此外,不同类型的攻击通常需要以不同的方式处理。如何识别不同类型的网络攻击因此成为网络安全领域的主要挑战有待解决,特别是那些从未见过的攻击。
在过去的几年中,研究人员使用各种机器学习的方法对网络攻击进行分类没有先验知识的详细特征。然而,传统的机器学习方法不能够提供独特的特征描述符来描述攻击检测的问题,由于其局限性模型的复杂性。最近,机器学习做出了很大突破通过模拟人类大脑神经网络的结构,也叫深深的学习方法的一般架构层来解决复杂的问题。在这些成功的应用程序,谷歌的AlphaGo是其中最杰出的试验的游戏”,“涉及一种典型的深度学习的力量结构,也就是说,卷积神经网络。
由于深度学习是复杂的原有结构和面向领域的应用,本文写解释所以对于那些旨在研究网络安全领域的利用深度学习的方法。从本质上讲,存在一个数量的以前的工作专注于攻击检测使用深度学习技术。其中,一些文学评论(2- - - - - -8)进行攻击检测得到了来自应用深度学习的想法,这是我们的论文的基础。例如,伯曼et al。5)提供一个阅读量资源描述的基本知识和发展历史深度学习在攻击检测方法和相应的应用程序。不同于一个完整的视图在这个特定领域带来的伯曼et al。5),Apruzzese et al。4)重点解释攻击入侵检测相关检测方法,恶意软件分析和垃圾邮件检测。在Wickramasinghe et al。7],他们主要审查深度学习方法在确保使用物联网技术,提供一个清晰的看法变异类型的网络攻击和相应的技术用于检测。后来,Aleesa et al。3审查和分析入侵检测系统的研究现状四大数据库中基于深度学习技术。同时,他们提供了一个系统的文献回顾相关的文章使用关键词“深度学习”、“入侵”,和“攻击”的选择,这为研究人员提供一个广泛的资源背景。通过对显著重要的入侵检测数据集,Ferrag et al。635)描述知名网络数据集,将他们分为7类。他们介绍七个表象的模型为每个类别,他们评估和比较的效率通过准确性和误警率根据实际交通数据集,也就是说,CSE-CIC-IDS2018 Bot-IoT。
事实上,所有上述审查论文有自己的重点,如安全应用、攻击类型,数据集,或数据库。与以前的方法不同,我们打算建立我们的论文的基础上深度学习模型,因此特别关注攻击检测方法建立在不同的深度学习架构。此外,我们提供了一个公平的比较,自己的指定的分析基于基准数据集表示方法的性能。我们相信我们的论文可以为读者提供一个更容易理解阅读资源,有兴趣不同深度学习架构如何影响该地区的攻击检测。
在本文中,我们试图通过全面建立基础为未来的研究文献综述的深度学习相关领域的攻击检测方法。更特别,首先,我们总结的基本问题,前面的分类方法,对于初学者来说复习有用的方法。然后,我们简要介绍网络安全深度学习技术的巨大进步。代替传统的机器学习方法与深度学习结构,研究人员提出了一个数量的新算法大大提高性能指的是更高的检测率和较低的误警率。后来,我们比较和分析一些代表深度学习方法的性能基准数据集。最后,我们要解决的问题做一个小结和未来方向的深度学习方法来提高攻击检测。
我们组织的工作如下。部分2注重概念的攻击检测和网络应用程序通过研究背景介绍。部分3提供了概述在不同深度学习攻击检测方法,分为无监督和监督方法有不同的结构。部分4提出了数据集的性能比较和分析深度学习方法的数量。部分5提供了讨论和结论基于当前基础,为未来的研究提出了一些想法。
2。简要介绍攻击检测
为了提供一个概述基于深度学习的有效攻击检测技术,有必要介绍一下背景知识。因此我们首先简要介绍给攻击检测的概念,这可能为新学员提供了一个基本的认识。后来,我们成功申请的网络安全做一个简短的表示。
2.1。发展过程的攻击检测
攻击可以被视为试图绕过系统的安全策略,使攻击者获取或修改信息更容易获得,甚至破坏系统。与技术发展中在无线通信系统中,严重威胁网络安全,尤其是无线通信系统的安全,提出了更频繁的网络攻击活动,由于无线信道的开放性特征。因为我们现在在机器学习和大数据时代9),为用户在无线通信系统中网络安全是很重要的保护网络,计算机和数据从攻击。网络系统存在不同类型的攻击,如洪水、分布式拒绝服务,异常数据包的攻击和欺骗。
为了应对此类攻击线程网络安全,研究人员已经提出了很多的解决方案(10]。在解决方案中,攻击检测是最有效的方法之一,它提供了一个完整的和动态的安全机制来监控,防止和抵御攻击。具体地说,通过监测网络攻击检测收集信息,系统状态,行为,和使用的系统,可以自动检测未经授权使用系统用户和系统的外部攻击者的攻击。
近年来,机器学习正以难以置信的速度发展。在不同的机器学习方法,深度学习结构构建人工神经网络模拟人脑的神经元连接,将独特的能力来解决复杂问题。研究人员因此采取不同深度的学习方法操作攻击检测,从而导致重大的成就。然而,仍有许多未解决的问题由于深度学习方法的局限性。有必要做一个总结的方法前使用深度学习的方法来检测攻击,这可能为未来发展带来新的想法。
2.2。应用程序的攻击检测使用深度学习结构
因为深度学习显示巨大的潜力在构建安全应用,它已广泛应用于网络安全11]。有许多相关的应用程序(如恶意软件、入侵、网络钓鱼、垃圾邮件检测,流量分析(12]。我们相信这些成功应用的例子可以帮助分析用户的需求与深度学习带来的创新结构。因此,我们提供了一些典型的应用程序现在的深度学习方法的实用性,我们相信这些应用程序可以实现在多媒体处理的域(13),信号处理(14],等等15]。
2.2.1。入侵检测
入侵检测系统可以检测恶意活动通过收集和分析网络行为、安全日志,和其他网络上的信息和连接电脑(16]。从本质上讲,入侵检测系统检查异常行为的存在对系统安全策略和被攻击的迹象系统,它能够保护系统的实时响应。传统的系统设置下,入侵检测系统是合理的,活跃的,防火墙和有效补充,这实际上充当被动防御攻击的意思。
传统的入侵检测系统是首先基于误用的入侵检测技术,主要提取特征或入侵行为的规则。后出现的异常行为检测技术与传统的机器学习模型,入侵检测系统渐屈线进行概率统计建模的正常行为,从而分析和报警异常行为与大偏差。然而,这样的系统可能不满意结果,由于低能力问题空间定义和建模的恶意活动的复杂性。
进一步克服传统的机器学习方法带来的缺陷,执行深度学习技术分析网络数据包,而逐渐变化的主流思想从黑名单白人入侵检测模型。一个新的NIDS深度学习模型是照等人提出的。17),这有助于分析网络流量下对称深autoencoder技术。LSTM算法的基础上,Vinayakumar et al。18)设计一个系统调用与集成建模方法异常入侵检测系统的方法。系统调用建模有助于捕获每个调用的语义和关系网络。集成方法主要侧重于误警率按照id设计。目前,一个成熟的入侵检测系统可以检测多种攻击与深度学习的力量结构。
2.2.2。恶意软件检测
恶意软件的目的是减少电脑的性能和脆弱性,服务器或计算机网络。在极端情况下,恶意软件将导致整个系统的毁灭。恶意软件需要被移植到目标计算机。后来,它可以执行代码,脚本,活动内容,和其他软件自动或种植园主的命令。指出,此类软件或代码可以分类形式的计算机病毒,蠕虫,木马,间谍软件,广告软件,恶意代码。
我们把恶意软件检测方法分为两类,即基于签名和anomaly-based检测。传统的杀毒软件可以包含在第一类,检测到恶意文件基于文件签名。然而,稍微变形恶意代码可以忽略,导致大量的假阳性。之后,沙箱技术和虚拟机似乎检测动态行为的病毒,它可以被视为大进步从静态检测动态分析,大大提高检测未知恶意代码的能力。
例如,在[19),萨克斯讨论的深度学习基础课网络应用程序。为了得到合适的计算功能文本提取技术,体育可以使用元数据功能。作者提出暴露神经网络,网络以原来的短字符串作为输入和提取特征与字符级映射进行分类。因为self-extraction特性设计,表达比基线的方法基于人工特征提取方法。Pascanu et al。(20.]回声状态网络有助于通过随机时间投影技术,提取所有信息的最大池用于非线性采样的数据,和逻辑回归用于最终分类的数据。
2.2.3。域生成算法
作为流行启动恶意软件工具来创建大量域名跟踪与C2服务器通信。不同的域名很难使用标准技术如黑名单或步臭棋,防止恶意域名。启动中经常使用各种网络攻击,如垃圾邮件、个人数据盗窃和DDoS攻击。
通过应用深度学习技术,DGA能够检测域名从语法的角度分析。具体地说,这种新颖的算法不仅可以比较词频和正常的域名n克方法还比较字符组合的概率与普通域名通过HMM方法。此外,它能够分析熵,辅音字母,和其他域名的特征,利用在LSTM异常分类。由于速度慢和传统技术的表现不佳,冯et al。21)提供一个深度学习方法有助于区分DGA域non-DGA域。在[22),无特色的提取原料的优势在LSTM网络域名作为输入进行了讨论。
3所示。深度学习攻击检测的方法
考虑到目前的深度学习攻击检测方法(23和以前作品的分类后24,25),我们大致划分成三类,即无监督(例如,autoencoder (AE),深层信念网络(DBN)和生成对抗网络(GAN)),监督(例如,深层神经网络(款),卷积神经网络(CNN)和递归神经网络(RNN)),和其他混合方法;我们展示分类图的细节1。从本质上讲,存在其他分类标准。例如,伯曼et al。5)审查相关的深度学习方法根据攻击类型和关注多深学习是用于各种攻击。此外,Al-Garadi et al。2]全面深刻的学习方法基于网络安全的应用程序。
采用不同的深度学习算法可以带来变体攻击检测方法的优势。基于监督学习的方法常常导致精度高,由于数量手动标记样本提供的信息。没有足够的知识从带安全标签的数据时,基于无监督学习的方法通常是低性能。然而,手动标签是一个非常耗时的任务,特别是对于复杂的攻击。甚至存在情况下不能被一个简单的标签,由于内在真实的网络攻击的复杂性。因此,基于无监督学习的方法能够很好地执行没有先验知识的攻击,这是一个明显的优势。混合方法减少训练样本的数量和保持一个相对较高的性能,适用于处理变体攻击的情况。然而,它通常是复杂的结构和高计算时间,防止其广泛使用。
3.1。无监督学习的攻击检测
3.1.1。基于Autoencoder攻击检测的方法
让我们先介绍AE的架构,它可以被看作是一个数据压缩算法与神经网络结构。事实上,它可以首先压缩输入特征空间表示法,然后重建表示到输出。因为AE可以被视为一个典型的代表学习算法,它被广泛用于降维和异常值检测。网络安全研究人员还采用AE代表异常行为在其压缩特征空间,将动态的优势表示未知类别的攻击。
提取的特征描述符从原始网络流量数据,Zhang et al。26]提出检测网络入侵的叠加扩张卷积AE (dca),这是一个成功的结合自学和代表性的学习。具体来说,原始网络流量数据首先通过预处理步骤转化成一个向量。在无监督训练,dca学习功能的层次结构从大量未标记样本的代表性。之后,使用反向传播算法和一些标注实例来调整和改善功能描述能力从无标号的实例。事实上,使用原始网络流量和无监督pretraining使得他们的模型更加适应和灵活处理复杂的原始数据。
主意后促进与AE的入侵检测模型,照et al。17]提出非对称深AE (NDAE)无监督特征模糊的,成功地降低了计算成本分析结合AE与肤浅的学习。特别是NDAE额外的编码阶段与典型的AE相比,可以降低复杂性,提高模型的精度。我们展示这些结构在图2,我们可以观察到它的层次特征提取器。结束时他们的提议NDAE,应用随机森林的结构识别异常情况的帮助下从nda特性表示。评估他们的模型,作者实现了他们的准则与99年和NSL-KDD KDDCup GPU和评估,取得可喜的成果与他人比较。
由于AE是能够学习潜能表示未知的攻击,Yousefi-Azar et al。27]提出学习特征表示与AE结构对于不同的网络应用程序,它由两个训练阶段,也就是说,pretraining和微调。前阶段的目的是寻找一个适当的微调阶段的起点。确定参数在pretraining阶段后,微调阶段将覆盖提供特性描述输入数据。他们提出的功能学习计划可以大大降低特征维度,从而大大减少存储需求。实验结果显示其特性表示可用于许多领域和可能取得非凡的成果比较与先前的作品。
自网络收集的原始数据可以不平衡分布,Farahnakian et al。28)利用深堆叠autoencoder表示关注重要和有益的特性,因此构建分类模型来检测异常行为。具体地说,他们提出的网络按先后顺序由4 AEs,将训练贪婪layerwise时尚。KDDCup 99数据集实验结果显示它可以实现高精度的异常检测,也就是说,94.71%,即使在不平衡数据的情况。
为了构建一个灵活的系统检测入侵攻击,Javaid et al。29日)利用稀疏AE和softmax-regression层建筑和自学学习(STL)培训过程。具体地说,他们提出的STL可以分为两个步骤,在稀疏的AE起初是用于无监督特征学习和softmax-regression用于分类特征提取。事实上,使用STL可以很大程度上提高构造网络的学习能力面临未知的攻击,新类别的攻击可以逐步分析在运行时没有从头训练的麻烦。
这样的想法后,Papamartzivanos et al。30.与MAPE-K框架提供一个更强大的方法,可以构造一个与可伸缩的误用入侵检测系统,自适应,自治的特点。它甚至可以提取广义特征的重建问题,面对未知的环境,利用未标记数据。他们相信他们的方法可以工作得很好把握变体攻击的本质,他们进一步设计实验表明,他们的方法可以处理新情况没有手动更新训练集。
特征提取是一种攻击检测的主要问题来解决。关于AE代作为信息压缩和结构特性,利用AE建设带来的优势自动和动力特性,导致高精度检测预定义的数据集存在的攻击。面对变种和未知攻击是网络安全的主要特征,研究人员强调自主学习策略使AE更强大。
3.1.2。深度信念网络攻击检测方法
深度信念网(DBN)可以分为两类,即限制玻耳兹曼机遏制几层的无监督学习网络和反向传播神经网络(摘要或BP)与其中一个层。从本质上说,疟疾是一个随机生成神经网络的结构,这是由不同层组成的无向图模型可见神经元和隐藏的神经元。由于疟疾的自然特性,它是有效的DBN训练一层一层地。
早,高et al。31日)专注于处理大的原始数据和应用深度信念网构建这样的入侵检测系统。在他们的论文中,他们尝试不同的DBN模型通过调整参数,如层数和隐藏层。他们找到最好的参数设置为DBN基础课DBN模型,可以实现更好的性能比其他机器学习方法KDDCup 99数据集。
后来,丁等。32]代表恶意软件操作码序列和使用DBN来检测恶意软件,使用无监督学习pretrain帮助DBNs解决多层生成模型过度拟合问题。我们在图显示其结构3,我们可以观察到DBN整个工作流的步骤是设计更遏制培训和BP微调。额外的无标号数据的帮助下,他们提出了DBN能够实现精度高达96%,优于其他三个传统人工智能模型,即支持向量机,资讯和决策树。然而,他们的方法并不是合理的其他指标。
特设网络行为特征以来给网络安全带来了巨大挑战,谭et al。33]提出一种深刻的信念网络基于ad hoc网络入侵检测结构。他们提出的DBN模型包含六个模块:无线监测节点进行数据抓取、数据融合模块融合有用数据和删除冗余,DBN训练模块和DBN入侵模块训练和识别是否有入侵,分别表示该模型的结果和响应模块给用户。实验结果表明提出的方法在精度可以达到97.6%,主要是符合实现入侵检测的应用。
探索DBN的功能检测入侵攻击,押沙龙等。34)提出一个有效的平台来解释网络交通量入侵企图。构造系统首先使用数字编码和标准化方法选择功能,然后使用DBN分类网络入侵的类标签分配给每个特性向量。根据他们的实验和分析,构建系统不仅可以检测攻击,而且准确地识别和分类根据有限的网络活动,不完整的,非线性的数据源。
许多试验应用于使用DBN进行入侵检测。然而,仍然存在许多尚未解决的问题,如冗余信息,容易为当地最大的陷阱。要解决这些问题,赵et al。35]提出检测入侵的攻击涉及DBN强度和概率神经网络(并)。首先,他们重新调节原始输入数据的低维利用非线性DBN的描述能力。与此同时,DBN可以保持原始数据的基本特征表示。其次,粒子群优化算法是用来减少每一层的隐藏节点的大小。第三,并介绍了对低维信息进行分类。KDDCup 99数据集的实验表明,他们已经在一定程度上解决了上述问题。
关于实时攻击检测入侵检测的最大挑战,Alrawashdeh和Purdy36)提出一个基于DBN的异常检测方法,它只包括one-hidden层遏制和微调层由逻辑回归分类器。他们简单的DBN达到即时运行和设计最佳性能(精度报告为97.7%和8 CPU时间为每个实例)在测试KDDCup 99数据集。他们的方法提供了攻击的可能性实现深度学习方法检测无人机等低计算资源平台,手机,和个人电脑,这将大大扩展这种方法的使用场景。
因为传统的入侵检测方法面临困难处理高速网络数据和目前无法检测未知攻击,Zhang et al。37]提出一种网络攻击检测模型集成流计算和深度学习,它包括两个部分:实时检测算法基于频繁模式和一个基于DBN和支持向量机分类算法。滑动窗口流数据处理可以实现实时检测,和DBN-SVM算法可以提高分类精度。基于CICIDS2017数据集,几组进行比较实验。方法的实时探测效率高于传统的算法。
3.1.3。生成对抗网络攻击检测的方法
由于财产发现固有模式的数据生成新的样本,生成对抗网络(GAN)是近年来提出的最有前途的无监督学习方法。氮化镓的主要灵感来自零和游戏的观点。当它应用于深层神经网络,它使发电机之间玩游戏和鉴频器 ,最后有能力学习的实际数据的分布表示。是模仿、模型和学习尽可能真实数据的分布特点,而的任务是区分一个输入数据是否来自真实的数据或输出的 。通过连续这些内部之间的竞争模型,生成能力和辨别能力和可以大大提高。
即使甘新观念和艰苦的训练过程中,研究人员成功地建立一些关于它的攻击检测应用程序基本结构。例如,Erpek et al。38)提出一个GAN-based方法检测干扰攻击无线通讯和捍卫它基于收集信息的攻击。具体地说,他们的模型由发射机、接收机和干扰机。pretrained分类器是通过发射机来预测当前信道状态并决定是否将根据最新的感知结果,而干扰机收集信道状态和ack构造一个分类器,它可以预测下一个传输和成功阻止它。干扰机使用分类评分平均功率约束下的功率控制。之后,GAN旨在执行干扰器,可以减少通过添加合成样品收集时间。
利用机器学习技术进行网络钓鱼检测,也就是说,URL的假网址,很受欢迎,由于其效率高、实时响应。然而,对手可能绕过URL分类算法通过修改组件。为了解决这个问题,AlEroud和Karabatis39]提出生成基于url的钓鱼用发电机GAN例子,然后运往鉴别器,也就是说,黑盒钓鱼探测器。在他们的提议GAN模型,其结构如图4发电机网络可能产生干扰版本的真实网络钓鱼的例子和将其转换为对手的例子。鉴别器网络学会分类生成的例子和实际的工作作为一个钓鱼探测器,发电机的参数和权值更新从鉴频器的信息。与公共网络钓鱼数据集测试之后,他们的实验结果表明,提出的氮化镓成功通过避免大量未知的网络钓鱼的例子。
甘不是通常用于攻击检测领域。事实上,氮化镓在快速发展的结构,算法,等等。目前,氮化镓在许多领域取得了可喜的成果,使我们相信这个提议新技术合成尝试在创建一个防御机制非常重要。这样的小说防御机制可以进一步完成数量的任务,如阻止零日网络钓鱼,垃圾邮件执行意见,和检测入侵攻击。因此,我们认为存在一个广阔的研究空间连接GAN结构与攻击检测。
3.2。监督学习攻击检测
3.2.1之上。深层神经网络攻击检测方法
款被公认为多层感知器由于多个隐藏层的特征。这种多层功能带来的优势来表达复杂的函数用更少的参数,这使得款能够促进学习任务的特征提取和表示。从本质上讲,存在三类款的层。一般来说,我们把第一层作为输入层,最后一层作为输出层,中间层为隐藏层。
网络安全问题提供一个解决方案,唐et al。40)提出一个款执行基于流的异常检测模型。他们的第一次尝试在款申请网络安全的结果在一个相对简单款,这是由一个输入层,三个隐藏层和一个输出层。一些实验进行NSL-KDD数据集,提出的模型是款证明检测零日攻击和行为比其他机器学习的方法。
加强款能力,李et al。41)提出一种新的网络结构称为HashTran-DNN对Android恶意软件进行分类。我们在图显示其建筑设计5,我们可以观察到他们最创新点在于通过使用哈希函数将输入样本保存位置特征。改造后的输入数据,HashTran-DNN使用AE进行去噪的任务,所以这款分类器可以获得位置信息的潜在空间更好的性能。在分析实验结果,我们可以观察到HashTran-DNN能有效抵御四个特殊测试的攻击,标准款无法检测所有这些攻击的地方。
挑战出现出于恶意攻击不断变化和发生在非常大量的需要可伸缩的解决方案。迎接这一挑战,一款可伸缩结构,提出的混合设计Vinayakumar et al。18],它可以看网络流量实时事件和主机水平,积极警告可能的网络攻击。具体地说,他们提出的框架采用可伸缩的计算架构,文本表示方法,和款满足要求处理大数据,款可以帮助提高他们的性能模型与非线性激活函数。
对于网络管理员来说,这是一个紧迫的任务,以防止恶意网络黑客的入侵,保持网络系统和计算机安全正常的运行状态。彭et al。42]提出一种基于深度学习的网络入侵检测方法,它使用深层神经网络网络监控数据,提取特征和BP神经网络用于入侵类型进行分类。该方法评估KDDCup 99数据集。结果表明,该方法的准确性达到95.45%,它有一个显著的改善,而相比之下,传统的机器学习方法。
3.2.2。基于卷积神经网络攻击检测方法
CNN包括卷积计算和深度结构,这是一个代表在深度学习领域和常用技术。具体地说,CNN使用多层感知变体设计要求最小的预处理。CNN的基本结构是由输入和输出层和多个隐藏层包括卷积、池、和全连接层。与其他分类算法相比,CNN使用相对较少的预处理和包含先验知识的独立功能的设计,这是它的主要优点。
卷积神经网络被应用到网络安全领域多有前途的进展。例如,Kolosnjaji et al。43]试图构造一个与卷积神经网络和递归网络层,获得分类特征模型的恶意软件检测系统。通过他们的方法,他们获得一个层次特征提取架构,卷积操作相结合的优势从卷积和序列建模层递归网络层。后来,Kolosnjaji et al。44进一步发展它与功能涉及来自头的便携式可执行文件,达到相当显著的精度和召回率下融合数据的情况下。
提前检测攻击指标,萨克斯和柏林19]提出暴露神经网络,网络以原来的短字符串作为输入和提取特征与字符级映射进行分类。指出,原来的输入是一个范围广泛和复杂的算法来处理。由于self-extracted特性设计、公开优于基准方法基于人工特征提取。然而,达到减少误警率与这些基线相比,这证明了自动特征提取过程在CNN不够健壮的和合理的引入额外的甚至从原始输入噪声信息。
恶意网页壳检测是保护网络安全的一个重要手段。针对分析的HTTP请求,Zhang et al。46)提出一个word2vec代表和CNN-based恶意的检测方法,这是第一次尝试把“word2vec”和CNN在恶意探测领域。具体来说,他们首先介绍“word2vec”工具来表示每个单词从HTTP的特性。然后,他们代表一个固定大小的矩阵的web请求连接的特性。最后,他们建立基于CNN外壳分类模型结构。几组实验进行,该方法执行时最好与相关经典分类器进行比较。
实现健壮的性能与CNN攻击检测结构,端到端加密流量分类方法提出了基于一维CNN王et al。45),其中特征提取、选择和分类器是集成到一个端到端的框架。我们在图显示其详细的网络设计6直接,他们提出1 d-cnn学习算法学习自动提取的特征和输出与预测之间的关系标签在训练阶段。在他们的实验中,他们采用ISCX VPN-nonVPN交通数据集验证,在那里他们取得更好的性能比11 12个评价的最新方法测量。这样的有前景的结果是显著的,由于健壮和信息流量数据表示和微调措施改善模型的能力。关于网络流量数据表示成二维的图像,一种新的流量分析方法进一步提出基于CNN王et al。47]。他们测试算法USTC-TRC2016流数据集显示平均分类精度高达99%。
解决无线网络的多样性攻击流量和改善无线网络的恶意入侵的检测能力,基于改进的卷积神经网络的入侵检测方法提出了杨和王48),即ICNN-Based无线网络入侵检测模型。网络流量数据进行预处理,然后利用CNN模型数据。CNN抽象底层入侵流量数据到高级功能,自动提取样本特性和优化网络参数通过随机梯度下降算法收敛模型。KDDTest +上的结果表明,该检测精度高于8.82%和0.51% LeNet-5 DBN,而假阳性率也低。它也有一个很大的优势相比以前的方法。
低利率拒绝服务攻击(ldo)降低网络服务的性能,,很难区分正常交通的攻击行为。因此,一种新的检测方法的ldo攻击基于multifeature融合和卷积神经网络(CNN)提出了唐et al。49]。他们计算功能和融合成一个功能映射来描述网络的状态。CNN模型是用来区分和检测特征图包括ldo的攻击。在NS2仿真平台上进行实验和试验台和结果表明,该方法能有效检测ldo攻击的准确性为97.1%。
3.2.3。基于递归神经网络攻击检测的方法
因为款和CNN的输出只考虑当前输入的影响从先前没有考虑信息和未来的时间,他们可以获得显著的性能分类或识别任务没有时变特征。涉及时间数据,RNN提出作为一种特殊类别的神经网络结构,其目的是与“记忆”功能来维持以前的内容。事实上,这样的设计特性的同时,认为“人类认知是基于过去的经验和记忆。“因此,RNN擅长处理时间序列信息。然而,仍然有一些问题在结构设计RNN梯度消失或梯度爆炸,导致未能记住或模型的长期依赖。因此,研究人员开发LSTM和格勒乌门设计和存储单元,成功地保持长期的关系不被遗忘的,通过信息流的重要组成部分。
早,Staudemeyer [50)提出考虑已知的恶意行为和网络流量的时间序列特征,这可能会提高精度性能的攻击检测算法。为了证实这一点,他们为入侵检测的基础上实现LSTM优秀LSTM模型长期依赖关系的性质。他们设计一个4种内存块网络,每一个都包含两个细胞。网络能够保持平衡的计算成本和检测性能。他们的实验结果表明,该LSTM模型比以前公布的方法因为LSTM可以学会放弃和连续时变的方式连接记录相关联。
之后,克里希和Raajan [51RNN)适用于执行任务的攻击分类,他们预期模型作为sawy self-erudition RNN建立入侵检测系统的结构。在实验中,他们提出的入侵检测系统可以过滤攻击,但未能识别假阳性。与基线方法相比,他们提出的方法提高了测量,如分类精度和耗时。
类似地,阴et al。52]探索利用RNN的入侵检测RNN-IDS命名,他们评估RNN-IDS形式的二元分类和多类分类。事实上,RNN模型具有单向信息流从第一单元到隐藏起来,也从以前隐藏的单位当前,隐藏的单位可以被视为存储单元存储端到端和对分类有用的信息。他们有测试参数,是否如数量的神经元,影响RNN-IDS使用NSL-KDD数据集。当比较与先前的作品如安,随机森林,和支持向量机,RNN-IDS优势与高精度的分类性能。
LSTM解决了长期以来依赖问题,克服了梯度下降训练中消失,金等。54]LSTM架构申请入侵检测,隐藏层和学习速率的大小80和0.01结算后的实验。与Staudemeyer [50),构造LSTM模型错误检出率更高,当训练KDDCup 99数据集。跟随趋势的应用LSTM攻击检测,Le et al。55)建立LSTM分类器来检测入侵。他们的目标是找到最合适的梯度下降优化LSTM优化器,他们比较6广泛使用的优化方法,即Adagrad, Adadelta, RMSprop,亚当,Adamax,纳丹,找到最有效的一个是LSTM纳丹优化器。
减少误警率高前方法,通过一个系统调用金提出的分析方法等。53),这是为anomaly-based开发的主机入侵检测系统。如图7,他们的方法由两个模块组成:前端模块,也就是说,系统调用语言模型,用于模型的时变特征系统调用LSTM结构在各种环境中,和后端模块用于预测异常基于信息传递的前端模块由一组合奏和基于阈值的分类器。
格勒乌是LSTM的变体,softmax函数作为最终的输出层。此外,格勒乌使用熵函数来计算它的损失。基于格勒乌结构,Agarap [56)提出了一种新颖的网络攻击检测的二进制分类字段,将共有21个特征作为模型的输入。具体来说,介绍了线性支持向量机(SVM)取代softmax提出格勒乌的函数模型,从而实现相对更好的效果比传统GRU-softmax网络公共数据集,由于快速的收敛性和较好的分类能力。
3.3。其他深度学习攻击检测方法
在本节中,我们旨在强调混合类别的攻击检测方法,设计了集成不同的深度学习结构的优点。
早在2015年,李et al。57)应用基于AE和款混合深度学习的恶意代码检测方法。具体地说,他们采用AE减少原始数据维度和关注的主要和重要特征。之后,他们用DBN-based学习模型做恶意代码的检测,由多层遏制和摘要的一层。每一层的元定义为无监督训练和BP监督训练,他们的最优混合模型终于通过微调整个网络。实验结果表明,检测精度的混合网络比其他先前DBN-based网络高。
在2017年晚些时候,路德维希58)雇佣了一个网络将各种类型的攻击。事实上,神经网络学习与多个分类器分类目标,合并他们的结果形成强大的输出。区分正常和异常行为,他们提出的方法融合AE, BNN,款,极端的学习机器更好的性能。他们提出的整体方法带来了有前景的结果,获得更准确的性能比使用单一分类器检测任务。
后的想法融合分类器获得更好的结果,李et al。59提出一个整体结构,以提高神经网络的鲁棒性的恶意软件检测2018;网络如图8。更具体地说,一群神经网络训练在训练阶段,每个分类器使其计数器输入转换和语义等保存。在测试阶段,不同分类器的标签样本是由投票决定。他们提出的整体框架应用于aic的挑战2019年,收到了良好的性能在精度和召回。
为了有效地检测网络攻击,刘等人。60)在2019年提出一个端到端的检测方法。基于深度学习模型,作者提出了两种载荷分类模型:PL-CNN PL-RNN。模型学习从最初的负载特性表示没有工程特性和端到端检测。同时,他们设计一个数据预处理方法,它能保持足够的信息,同时保持效率。提出的方法的准确性为99.36%和99.98%,分别应用DARPA 1998数据集。拟议的方法支持使用有效的端到端网络数据流的攻击检测,以解决实际问题。
最近一次是在2019年,Zhang et al。61年)不要直接设计流的特点,但提取原始数据信息进行分析。同时学习的时间和空间特征的流,一个名为深层网络的新网络入侵检测模型,提出了集改进leNet-5和LSTM神经网络结构。CICIDS2017数据集和反恐组数据集用于评估网络的性能。的流量很大,和攻击的类型是相对较新。实验结果表明,网络模型的性能优于其他网络入侵检测模型,并且可以达到最好的检测精度。
4所示。比较和分析
4.1。公共数据集
许多公共数据集是流行的证明和比较不同攻击检测方法之间的效率和有效性。其中,我们列出两个著名的基准数据集,也就是说,99年KDDCup NSL-KDD,广泛应用于学术研究来评估检测攻击的能力。
以下4.4.1。KDDCup 99数据集
尽管存在一些缺点像包含大量的冗余的训练和测试数据,KDDCup 99数据集在网络安全领域而闻名。它包括标记的训练数据和标记测试数据,对应于七和两周的数据来自美国国防部高级研究计划局′98 id评估程序62年]。
五个类别的标签中包含的数据集是正常的,DoS,探测器,R2L U2R,也就是说,DoS的简称,探测器,R2L, U2R,正常是指正常交通情况下,DoS攻击中,攻击者试图让目标机器停止提供服务或资源访问系统,探测器代表监测和调查,R2L指的是未经授权的访问,同时有一个非法访问远程机器的地方,代表有一个未经授权的访问当地超级用户特权,特权用户。在表1,我们在训练和测试数据,显示22个不同的攻击可分为这四个攻击类型。
99年KDDCup数据集,每个记录总共有41的特性包括基本功能、内容特性和流量特性如表所示2,从TCP / IP连接的基本特性包括连接的基本特征。内容特征提取数据,可用于U2R和R2L攻击的检测,通常隐藏在数据包数据没有异常出现在单包和正常连接。同时,流量特性指累积值与100个连接一个时间窗口。有人指出7功能和符号和连续34特性数据类型,分别。
4.1.2。NSL-KDD数据集
NSL-KDD是著名的新发展KDDCup 99数据集,减少缺点出来的之前的数据集。具体地说,它不仅从训练和测试数据中删除冗余数据来实现更精确的检出率也正式集记录的数量在训练和测试数据。此外,不同的难度水平组有不同的数量的记录,这是成反比的百分比,在主要的知识发现(KDD)数据集。因此,评估和比较不同学习技术变得更加有效和明显。
NSL-KDD KDDCup 99数据集结构很相似,他们都是分为四个攻击类型如前所述。NSL-KDD数据集分为两部分:KDDTrain +和KDDTest +,我们显示了特定数字对应于每个攻击类型表3。指出,有17个KDDTest +攻击类型,不出现在KDDTrain +。这个有趣的设置使得NSL-KDD更具挑战性比KDDCup 99数据集,模仿真实网络环境的未知攻击。我们相信只有这些学习方法建立在现实的理论基础,即分析攻击行为的内在特性,将在NSL-KDD取得可喜的成果。
4.2。测量
在本节中,我们描述7测量包括精度(ACC),精密(PR)、真阳性率(TPR),回忆(重新),假阳性率(玻璃钢),真阴性率(TNR)和F1-score。首先,我们定义了几个项目,真阳性(TP)和假阴性(FN)指的是攻击数据正确分类,分别和假阳性(FP)和真阴性(TN)是正常的数据分类为正常或攻击,分别。后来,我们定义测量如下: 在ACC显示的数据量的比例整体数据正确分类,公关的比例计算的攻击数据正确分类的所有攻击数据代表有多少攻击预测实际攻击,TPR或再保险节目的比例预测攻击所有攻击,FNR估计的数量的比例是不是正常数据一切正常,玻璃钢称为远措施的比例良性事件错误归类为攻击,TNR被认为是攻击的比例数据,整个攻击数据正确分类,和F1-score是公关的加权平均和再保险和代表平衡性能精度和召回。
4.3。比较和性能分析
在表4,我们提供详细的静力学在攻击检测结果通过各种方法中列出的部分3,大部分上市深学习方法旨在执行网络入侵检测和恶意软件检测。数量的测量中,我们选择精度,精度,F1-score,和玻璃钢作为评估,因为大多数上市的方法使用这些测量实验。我们必须强调存在失衡的性能比较,因为不同的作者采用不同的数据集,测量,和设置。然而,表4还可以提供很多的信息大致比较不同深度学习攻击检测的方法。
从表4,我们可以注意到,不同类别的平均表现变种的攻击检测方法。在作者看来,DBN, LSTM, CNN,和AE实现降序排列的检测性能。与此同时,混合方法是不一致的,因为他们的表演与系综分类器高度相关。DBN的最高性能,由于其固有财产处理数量的多层无标号数据。LSTM可能实现更高性能比包括美国有线电视新闻网的时态属性更精确建模。AE可能遭受大无标号数据没有足够的先验知识或足够的层来描述复杂嵌入式。
从本质上说,有趣的是指出,遏制和AEs在入侵检测之所以流行,是因为我们可以pretrain遏制和AEs无标号数据和微调,只有少量的标记数据。关于ACC值达到上市方法作为第一个评价指标由于其完整性,我们可以找到最好的性能通过攻击检测方法KDDCup 99数据集,也就是说,99.8%通过金等。53),比在NSL-KDD大数据集,也就是说,98.3%通过Javaid et al。29日),这证明NSL-KDD数据集的难度远远超过KDDCup 99数据集设置未知情况下的测试数据集。另一个有趣的一点是,所有CNN-based方法放弃使用KDDCup 99和NSL-KDD数据集因为他们少量的样本不支持显示杰出CNN生成特征描述符的力量和丰富的信息。与此同时,其他深学习方法,特别是无监督学习方法,可能缺乏足够的训练样本。
我们可以观察到的性能AE-based方法参差不齐,大多数改进AE-based方法比传统AE-based显然表现得更好的方法。这是由于这样的事实,AE的结构可能会失去在压缩过程中重要的信息。同时,改进的AE可以更好的捕捉重要和输入数据的附加信息部分的设计。同样,LSTM-based和GRU-based方法优于RNN-based方法,由于其功能结构设计的盖茨和记忆细胞。事实上,这种智能设计带来的优势保持长期信息的能力,从而更好的建模的长期关系。
由于大量的DBN, RNN-based(例如,LSTM和格勒乌)研究人员提出的攻击检测方法,我们希望作为DBN -和RNN-based方法典型的无监督和监督算法,分别,我们进一步比较两组的优点和缺点。
从本质上讲,RNN能记得过去几个时刻的信息,然后把它当前单元的计算,引入了时间信息,有助于更准确的分类。然而,RNN可以强大的结构有足够的训练实例,攻击数据特别是那些未知的攻击是很难实现的。与此同时,DBN能够自动发现功能模式输入数据。此外,无监督DBN网络是不太可能比监管过度拟合的方法由于其pretraining过程,DBN可以学习内在描述异常行为或攻击从无标号数据通过学习。这个特性使得DBN生成的能力,也就是说,一个典型的无监督学习方法,符合现实环境的网络安全。最后但并非最不重要,DBN很容易被训练,快速聚集,在运行时间和低,由于更少的隐藏层与CNN的深层结构。因此,我们认为非监督学习方法可以产生更好的分类结果比监督学习方法,尤其是当面对小,不平衡或冗余的数据集。
5。总结
深度学习使用级联层的层次结构进行数据处理,从而导致重要的结果在无监督特征学习和模式识别领域。灵感来自深学习方法的性能,我们相信深学习是重要的网络安全领域,以评估当前的深度学习攻击检测方法。我们最近的分析方法,分类根据不同深度学习的技术,和最具代表性的方法的压缩性能。
在过去的几年里,研究如何应用深度学习攻击检测的方法取得了很大的进步。然而,许多问题仍然存在。首先,它是具有挑战性的修改深度学习方法作为攻击检测的实时分类器。在以往的作品中,他们只降低特征维度较低的计算成本的特征提取阶段。其次,大部分的深度学习技术适合于分析的图像和模式识别。因此,如何合理地进行网络流量的分类与深度学习技术将是一个有趣的问题。第三,与更多的数据涉及实验,分类结果会更好(68年]。然而,大多数的攻击检测问题是缺乏足够的数据。因此,结合监督和非监督学习可以提供更好的性能,证明了许多试验。此外,随着物联网的发展(69年)、雾、云(70年),和大数据技术,如何使他们帮助提高攻击检测方法的有效性使用深度学习仍然是一个开放的和有趣的问题。根据上面的分析,我们认为这个概述是对那些有想法提高攻击的性能检测的准确性;我们的审查将为进一步的研究提供指导和字典。
数据可用性
使用的数据来支持本研究的发现是由大宝魏在许可证,所以不能免费提供。请求访问这些数据应该Yirui吴((电子邮件保护))。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作是由中国国家重点研发项目支持下拨款2018 yfc0407901,基础研究基金在格兰特B200202177的中央大学,中国的自然科学基金资助61702160,和江苏省自然科学基金授予BK20170892。