文摘
移动网络和社交网络的繁荣给我们日常生活带来革命性的便利。然而,由于网络环境的复杂性和脆弱性,网络攻击变得越来越严重。描述网络流量的常用模型和检测网络异常,最终提高网络安全意识能力的网络管理员。作为一个工具来描述系统运行状态,entropy-based时间序列复杂性度量方法等多尺度熵(MSE),综合多尺度熵(CMSE)和模糊近似熵(FuzzyEn)已经广泛应用于异常检测。然而,现有的方法计算向量之间的距离仅仅使用两个最不同的两个向量的元素。此外,使用亥维赛函数向量的相似度计算,这跳跃在0和1之间的问题。欧几里得基于距离的多尺度模糊熵(EDM-Fuzzy)算法,以避免系统的两个缺点并测量熵值信号更精确,准确,稳定。本文应用EDM-Fuzzy分析异常网络流量的特征如僵尸网络的网络流量和分布式拒绝服务(DDoS)攻击流量。实验分析表明,该EDM-Fuzzy熵技术能够描述正常流量和异常流量之间的区别。ARP的EDM-Fuzzy熵特征摘要交通发现可用于检测各种类型的网络流量异常包括僵尸网络和DDoS攻击。
1。介绍
网络技术的繁荣,如移动网络和社会网络,给我们的日常生活带来了革命性的改变。然而,由于网络的复杂性和脆弱性的基础设施、网络异常和攻击经常导致严重的问题和重大损失。研究人员正在研究各种网络安全意识技术帮助人们理解网络的安全现状和趋势。描述网络异常流量的关键技术之一是常用的模型和检测网络异常,然后提高网络安全意识能力的网络管理员。现有的网络异常检测方法主要可以分为六大类(1[]:基于分类方法2- - - - - -4[],clustering-based方法5- - - - - -9],统计方法[10,11),随机方法(12,13[],deep-learning-based方法14- - - - - -17),和其他(18- - - - - -21]。
通过交通网络异常检测功能分布变得越来越受欢迎的这些天。测量的不确定性,熵可以用来总结特性分布在一个紧凑的形式(22]。有许多形式的熵,但只有少数应用于网络异常检测(23- - - - - -27]。在此基础上,我们运用欧几里德基于距离的多尺度模糊熵(EDM-Fuzzy)算法,我们提出了检测异常网络流量作为其他方法的有益补充。
调查不规则复杂系统产生的信号是有价值的预测未来状态以及检测异常行为(28]。为了定量分析信号不规则和诊断系统异常,研究人员提出了多种信号的复杂性和不确定性指标,如算法复杂度(29日),香农熵(30.),近似熵(31日),样本熵(32),模糊熵(33),多尺度熵(MSE) [34,综合多尺度熵(CMSE) [35]。Entropy-based技术已被广泛应用于诊断各种系统的异常。例如,香农熵应用于检测机械系统的故障36),MSE应用在电力系统故障诊断37),等等。
然而,现有的方法计算向量之间的距离仅仅使用两个最不同的两个向量的元素。此外,用亥维赛函数向量的相似度计算,具有跳跃在0和1之间的问题。为此,我们提出了一个新颖的熵技术名为EDM-Fuzzy文献[38]。EDM-Fuzzy技术使用元素的欧几里得距离的总和对应两个向量而不是最大的两个向量元素之间的区别和使用双曲函数来计算两个向量之间的相似度。因此,EDM-Fuzzy技术避免了两个缺点固有的其他熵技术和措施熵值系统信号更精确、准确和稳定。在本文中,我们应用EDM-Fuzzy算法来描述网络异常流量。我们首先简要介绍EDM-Fuzzy算法,然后介绍了僵尸网络CTU-13数据集和分布式拒绝服务(DDoS)攻击CICDDoS2019数据集用于本文。然后,介绍了这两个数据集的基本特征。然后,EDM-Fuzzy熵值分析是两个数据集上执行。最后,我们分析正常交通的特点和研究恶意流量的特点,通过比较正常和恶意流量之间的差异。
本文的其余部分组织如下。介绍了相关的工作部分2,EDM-Fuzzy熵技术和网络流量跟踪介绍部分3和4,分别。部分5网络异常流量分析与EDM-Fuzzy熵。部分6总结了纸和介绍了未来的工作。
2。相关的工作
2.1。网络流量异常检测方法
网络异常流量检测方法都进行了广泛的探讨。现有的方法主要可以分为六大类(1[]:基于分类方法2- - - - - -4[],clustering-based方法5- - - - - -9],统计方法[10,11),随机方法(12,13[],deep-learning-based方法14- - - - - -17),和其他(18- - - - - -21]。基于分类的方法是一个监督学习算法。逻辑回归等分类算法,k最近邻居算法、决策树和支持向量机是常用的。最近,提出了几种混合分类模型(3- - - - - -5]。然而,在大多数情况下,标签数据手动高度不仅费时而且效率不高。聚类技术用于识别集群和离群值在多个低维空间。交通结构由这些多个集群提供的证据融合然后产生异常网络流量排名(39]。常用的一些基于距离度量在异常检测中,如欧氏距离、曼哈顿距离,和动态时间扭曲(DTW)距离。然而,集群的数量是很困难的决定和不同数量的集群会产生非常不同的结果。在统计方法中,异常通常是由检查车辆是否符合假定分布模型和价值是否超过预设的阈值。最常见的假设是高斯分布,泊松分布,多元高斯分布,等等。模型系统地分析网络的异常行为,却发现这样的异常困难,因为会有情况下,不遵守假定分布。随机过程与隐马尔可夫模型和条件随机场也经常应用于流量异常检测(12,13]。由于深度学习的成功技术在图像处理和自然语言处理,他们一直集中在网络入侵检测研究14,15),网络流量跟踪(16),和网络流量异常行为检测(17]。此外,时间序列密度分析(18),小波(19),主成分分析(20.),和整体学习技术(21在网络异常检测)都进行了广泛的调查。
2.2。Entropy-Based技术
Entropy-based技术高度重视在探测障碍的程度或不规则的复杂系统。因此,有许多entropy-based技术被提出并被广泛应用于复杂系统的检测异常。汗等。37]提供了一个entropy-based检测方法在电力系统故障。在文献[entropy-based方法提出了40)有效地从信号中提取特征的智能电表电能质量问题的分类。Kullback-Shannon熵应用作为一个独立的特性来预测失败润滑表面(41]。
平卡斯(31日),大富翁,和穆斯林32和哥等。34,42)提出了近似熵,熵样本,分别和MSE测量信号的复杂性。尽管MSE已经广泛应用,熵值的方差显著增加的时间序列是粗粒度较大的时间尺度(43]。为了解决这个问题,吴等人提出CMSE [35),介绍了一个复合平均方法来降低方差。妞妞和王44]CMSE适用于研究股票市场指数的特点,发现CMSE比MSE更加稳定和可靠。陈等人。33)提出模糊近似熵(FuzzyEn)和应用它研究表面肌肉信号。王等人。45)提出了分级模糊熵研究物理学金融动态。李等人。46)综合分级模糊熵与二叉树支持向量机进行早期诊断滚动轴承故障。复合材料多尺度模糊熵提出了文献[47),应用于提取振动信号的隐藏特性。
Entropy-based通过交通网络异常检测功能特性变得越来越受欢迎的这些天。野生动物等。23)提出了一种蠕虫检测算法测量流量和香农熵值警报突然爆发。顾et al。24)应用香农最大熵估计画网络基线分布,建立网络流量的multiperspective视图。文献[25)提出了一种新颖的网络入侵检测系统利用香农熵和源端口的流量分布。文献[26)提出了一个混合DDoS检测方法于一体的内核网络异常检测(KOAD),香农熵和距离。在这项研究中,香农熵与在线利用机器学习的方法来检测恶意流量包括DDoS攻击和Flash交通事件。文献[27)提出了异常检测在日常生活活动中基于熵措施。
然而,仍然存在两个缺点现有最先进的熵算法,如MSE、CMSE, RCMSE, MMSE和FuzzyEn。即现有方法计算向量之间的距离仅仅基于两个最不同的两个向量的元素。此外,使用亥维赛函数向量的相似度计算,这跳跃在0和1之间的问题。为了解决现有最先进的熵算法的缺点,我们提出新的熵技术(38),名叫EDM-Fuzzy。
3所示。EDM-Fuzzy技术
EDM-Fuzzy措施两个向量的距离与欧几里得距离把所有相应的计算两个向量中的元素。此外,为了解决不稳定的问题,我们选择双曲函数的模糊函数亥维赛全程连续函数来定义向量之间的相似度值从0到1的基础上,两个向量的欧氏距离。EDM-Fuzzy正式描述算法的计算过程1。
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
该算法的目标是衡量的复杂性和不规则性时间序列更准确和稳定。算法的输入是一个时间序列 ,时间尺度τ,向量维度米,公差系数r和标准偏差SD的时间序列X。算法的输出时间序列的EDM-Fuzzy熵值X在时间尺度τ。算法的一般过程是先粗粒度的时间尺度的时间序列τ,然后把时间序列分割成米维向量,向量的重心移动,最后,计算两个向量的欧氏距离和基于模糊样本熵值计算欧氏距离的时间序列。为参数米和r,米通常设置为2,r通常范围从0.1到0.2。在我们的实验中,r设置为0.15;即相似宽容被设置为0.15SD。在这里,SD代表原始时间序列的标准差。
4所示。网络流量跟踪
一个合适的网络流量跟踪的研究是至关重要的网络异常流量的特性。摘要公开使用的痕迹,在异常活动包括僵尸网络和DDoS攻击都被记录下来。通过分析这些公共痕迹EDM-Fuzzy算法,我们可以进一步发现此类异常活动的特点。
4.1。僵尸网络流量跟踪
在本节中使用的僵尸网络流量跟踪CTU-13跟踪,收集和提供的平流层反恐组大学的实验室在捷克共和国(48,49]。该跟踪包含僵尸网络流量以及正常背景流量。CTU-13跟踪包含13个僵尸网络样品在不同的场景中。在每个示例中,执行一个特定的恶意软件,并相应地进行了不同的操作。的简短信息跟踪表所示1和2。
表1显示了13个类型的僵尸网络场景的特点。每种类型的僵尸网络的恶意行为有不同的特征。在表1IRC代表网络中继聊天协议,垃圾邮件是垃圾邮件,CF代表恶意点击,PS代表端口扫描,FF代表快中子通量,P2P指的是端到端的,DDoS指分布式拒绝服务,我们指的是一个协议,它是由人类控制和完成。可以看到每个僵尸网络的基本特征表1。
表2显示了持续时间、数据包的数量,类型的恶意软件,受感染的计算机数量这13种僵尸网络的场景。僵尸网络场景的持续时间从15分钟到66小时不等。感染主机的数量对于大多数情况是1主机。Neris-3、Rbot-3 Rbot-4, NSIS。ay场景有10个和3感染宿主,分别。
4.2。DDoS流量跟踪
DDoS攻击是一个异常网络行为设计排气服务器资源。它将导致服务器拥堵,因此将无法为用户提供服务。本文使用的流量跟踪CICDDoS2019出版加拿大网络安全研究所(CIC) (50]。CICDDoS2019跟踪包含常见的和最新的DDoS攻击。主要有两类DDoS攻击方法参与该跟踪,DDoS攻击反射和DDoS直接攻击。DDoS攻击反射方法利用路由器、服务器响应请求和其他设施,从而反映出攻击流量隐藏攻击的来源。直接DDoS攻击的方法是直接使用控制主机攻击目标。与反射式攻击相比,直接攻击方法具有较低程度的匿名性。具体的攻击类型和攻击持续时间CICDDoS2019数据集如表所示3和4。
两天的交通在这个跟踪收集,这是11月3日和12月1日,如表所示3和4,分别。有10个类型的DDoS攻击12月1日,也就是说,国家结核控制规划、DNS、LDAP、该软件,NetBIOS, SNMP, SSDP, UDP, UDPLag,和TFTP攻击持续了10:30 - 17:15。11月3日,有7种DDoS攻击包括PortMap NetBIOS、LDAP、该软件,UDP, UDPLag, SYN攻击;持续时间从9:40 - 17:35。每种类型的DDoS攻击的攻击方法CICDDoS2019数据集如图1。
如图1,有两种类型的DDoS攻击CICDDoS2019跟踪,即反射DDoS攻击和直接的DDoS攻击。DDoS攻击都是基于TCP / UDP协议执行。如上图所示,9类型的DDoS攻击,如该SSDP、DNS、LDAP、NetBIOS, SNMP, PortMap,国家结核控制规划,和TFTP,分布反射否认攻击,虽然SYN, UDP, UDPLag洪水直接DDoS攻击。在图1,基于tcp的攻击包括该软件,SSDP SYN,和UDP的攻击包括国家结核控制规划、TFTP, UDP, UDPLag。其余类型的攻击如DNS、LDAP、NetBIOS, SNMP, PortMap和其他类型的攻击是通过使用TCP或UDP执行。
5。网络异常流量分析与EDM-Fuzzy熵
Entropy-based时间序列复杂性度量方法广泛应用于各种复杂系统的故障诊断和异常检测。在本节中,我们应用EDM-Fuzzy网络流量异常特征和检测。异常流量特征的分析基于MSE的欧几里得距离异常交通研究的一个重要组成部分。在本节中,两个僵尸网络的异常和DDoS攻击将由欧几里得距离分析多尺度熵。本节将计算这两个异常的网络协议的熵值时间序列得到熵曲线的两个研究异常交通的特点,通过比较不同的熵曲线。
5.1。僵尸网络流量在ARP
在本节中,我们将研究13 EDM-Fuzzy熵特征类型的僵尸网络异常的ARP CTU-13数据集的交通。根据TCP / IP架构,ARP协议位于IP层的网络层,和它的主要功能是提供地址转换服务,找到相对应的网络物理地址的主机的IP地址。我们首先计算熵值为每个类型的僵尸网络使用ARP协议流量数据CTU-13数据集在时间尺度从1到40。13熵曲线类型的僵尸网络在CTU-13数据集规模因素从1到40如图2。
从图可以看出,熵曲线有共同趋势的大多数类型的僵尸网络流量。更具体地说,有一个反射点11熵曲线(Neris-1、Neris-2 Rbot-1, Rbot-2, Virut-1, Menti,搜狗,Murlo, Neris-3, NSIS。ay, Virut-2) 20日时间尺度时,第二个反射点出现在30年的时间尺度熵曲线。上述11种僵尸网络ARP交通,拐点之间的熵值增加,然后降低。潮流熵曲线Rbot-3和Rbot-4不同于其他类型的异常行为。熵曲线Rbot-3和Rbot-4处于稳定增长状态,当时间尺度约20,但当时间尺度是30,还有一个拐点。此外,熵值Rbot-4相比要大得多的其他类型的异常。上述结果说明,Rbot-3的攻击方法和Rbot-4不同于其他类型的僵尸网络。这种差异是由他们引起的感染宿主,和僵尸网络的复杂性与ARP协议的复杂性是一致的。
5.2。DDos ARP的交通
在本节中,我们将研究EDM-Fuzzy熵特征的恶意流量分布式拒绝攻击11月3日和12月1日CICDDoS2019数据集。通过熵值的趋势分析,可以了解更多DDoS攻击流量的特征。介绍了数据集、有七个、十种分布式拒绝攻击发起了11月3日和12月1日。在本节中,我们首先计算的熵值ARP的每种类型的DDoS攻击流量CICDDoS2019数据集在时间尺度从1到40岁,和熵值曲线如图3和4。
数据3和4显示了熵曲线ARP交通的DDoS攻击11月3日和12月1日。从数据可以看出3和4,有三个特点,DDoS攻击的熵值在11月3日和12月1日。首先,11月3日和12月1日DDoS攻击的熵值都大于0.18时,时间尺度大于4。其次,大多数类型的DDoS攻击的熵值逐渐稳定值在0.3和0.5之间时,时间尺度大于10。只有NetBIOS攻击有可能超过上限的较大波动。第三,相同类型的DDoS攻击的熵值的两个不同的日子非常相似。可能的潜在原理的特点是,在DDoS攻击,攻击者不断利用分布式攻击主机和攻击主机在攻击继续沟通。ARP协议在通信过程中,不断进行地址解析,而解决源IP地址和目标IP地址保持稳定,所以ARP的熵值交通逐渐稳定。
5.3。正常的交通ARP
在本节中,我们将分析网络流量的特性在正常状态。本文中使用的正常流量跟踪捕获和平流层实验室发表的。
为了研究的熵特征正常交通,EDM-Fuzzy熵值计算CTU-Normal-20 CTU-Normal-23痕迹和时间尺度从1到40,结果如图5。
从图可以看出5的熵值正常ARP交通表现出不同的特征。熵值稳步增长的时候规模增长从1到30岁,然后熵值增长慢慢随着时间尺度的增加。此外,所有时间尺度,交通正常ARP的熵值小于0.18。
与CTU-13的时间序列数据集相比,数字5表明,熵值CTU-13 ARP协议的数据集展示自己独特的法律。与CICDDoS2019数据集相比,《基本法》的ARP协议是熵曲线先增加,然后逐渐稳定。
5.4。恶意的和正常的
在本节中,我们将比较ARP交通熵曲线之间的僵尸网络,DDoS攻击,和正常的状态,然后描述正常和异常流量之间的区别。
通过比较熵曲线的ARP僵尸网络的流量,DDoS攻击,和正常状态,我们发现以下主要区别正常流量和恶意流量。13的熵曲线类型的僵尸网络,11熵曲线(Neris-1、Neris-2 Rbot-1, Rbot-2, Virut-1, Menti,搜狗,Murlo, Neris-3, NSIS。ay和Virut-2)有一个反射点在20时间尺度,和所有的熵曲线有一个反射点30的时间尺度。DDoS熵曲线的流量,DDoS攻击的熵值都大于0.18时,时间尺度大于4,和大多数类型的DDoS攻击逐渐稳定在0.3和0.5之间时,熵值的时间尺度大于10。相比之下,正常的ARP交通缓慢增长的熵值随着时间尺度的增加和熵值为所有时间尺度小于0.18。
为了更直观地呈现,熵曲线的主要特征的ARP僵尸网络的流量,DDoS攻击,和正常状态表中列出5。
上述分析的基础上,合理的总结,熵的特征曲线的ARP僵尸网络的流量,DDoS,和正常的状态有很大的区分。因此,特征容易被用来检测这些类型的网络流量异常。在未来,我们将学习更多类型的EDM-Fuzzy熵曲线特征的网络流量异常和利用网络流量异常的学习特点结合智能算法来自动检测网络异常。
6。结论
为了提高网络安全意识能力的网络管理员,有必要开发新技术用于检测网络异常更准确和高效。这样的网络异常检测技术的基础是了解网络流量异常的特点。在本文中,我们应用EDM-Fuzzy技术作为一种工具来分析网络流量异常的特点如僵尸网络的网络流量和DDoS攻击流量。EDM-Fuzzy是一种技术,我们提出了分析和诊断错误/异常复杂的系统通过测量的复杂性和规律性的时间序列信号。实验分析表明,该EDM-Fuzzy熵曲线可以描述正常流量和异常流量的区别和特点很容易被用来检测各种类型的网络流量异常。在目前的工作,我们没有调查其他类型的网络异常和未完成的自动检测网络流量异常。在未来,我们将调查EDM-Fuzzy熵特征更多类型的网络异常,然后整合EDM-Fuzzy熵和深度学习技术提出了新颖的网络异常检测方法。
数据可用性
在本节中使用的僵尸网络流量跟踪CTU-13跟踪,收集和提供的平流层反恐组大学的实验室在捷克共和国(48,49]。本文使用的流量跟踪CICDDoS2019出版加拿大网络安全研究所(CIC) (48]。
的利益冲突
作者宣称没有利益冲突。
确认
这部分工作是国家重点支持的研究和发展项目,中国yfb2102100格兰特在2019 2016 m600465中国博士后科学基金会资助下,浙江省的主要研究和开发项目在资助2019 c03134,和中国的国家自然科学基金资助61772165。