文摘
随着物联网的发展,网络安全已经吸引了越来越多的关注。在众多的网络安全技术,基于网络流量异常检测技术已成为一个重要的研究领域。目前,大量的网络异常检测方法。大部分的更好的性能检测方法是基于监督机器学习算法,它需要大量的标签数据对模型的训练。然而,在实际的网络中,是不可能手动过滤器和标签大规模的交通数据。网络管理员只能使用非监督机器学习算法对实际检测和检测效果要比监督学习算法。改善无监督检测方法的准确性,本研究提出了一种基于多分类器融合技术的网络异常检测模型,它适用于不同的融合技术(如多数投票、加权多数投票和朴素贝叶斯)融合的检测结果五个表现最好的无监督异常检测算法。在三个公共数据集进行比较实验。实验结果表明,在回忆和AUC得分,在这项研究中提出的融合模型实现更好的性能比五个独立基线异常检测算法,它具有更好的鲁棒性和稳定性,可有效地应用于广泛的网络异常检测场景。
1。介绍
网络技术的发展,越来越多的用户连接到互联网。随着互联网的飞速发展,从攻击者的威胁和犯罪团伙也相应增加。这些威胁的不断增加使防火墙和入侵检测系统(IDS)成为网络安全的基本技术之一。然而,市场上的入侵检测系统主要是利用已知攻击的签名来检测异常。这种系统需要频繁的更新规则的数据库和签名,并不能检测到未知攻击。异常检测系统可以有效地发现攻击行为模拟正常行为和异常行为检测不同于正常的行为。虽然异常检测系统在概念上有吸引力,有很多技术问题需要克服前就被广泛采用,如假阳性率高和不能扩展到千兆速度。目前,异常检测方法主要分为两类:基于统计的异常检测和基于机器学习的异常检测。
干草堆1是最早的一个统计异常入侵检测系统的例子。干草堆定义一系列的每个特性值被认为是正常的。在一个会话,如果一个功能超出了正常范围,主题的异常分数增加,它的目的是检测六种入侵。包统计异常检测引擎(铲)2)是一个统计异常检测系统。铲是第一个系统提出的使用异常得分概念检测端口扫描,而不是使用传统的观察方法尝试在问秒。在[2),作者使用一个简单的frequency-based方法计算数据包的“异常分数”。越少的观点一个给定的包,它的异常分数越高。
机器学习的目的是回答许多相同的问题统计。但是,与统计方法,它倾向于关注理解过程生成数据,机器学习技术专注于建立一个系统,根据以前的结果提高了性能。贝叶斯网络是一种编码概率图模型目标变量之间的关系。结合统计技术时,贝叶斯网络具有数据分析(3]。一些研究人员的灵感来自贝叶斯统计信息来创建异常检测模型。巴尔德斯(4已经开发出了一种异常检测系统,使用朴素贝叶斯网络来执行入侵检测在交通破裂。贝叶斯技术也常常用于分类和抑制假阳性区域。克鲁格尔et al。5)提出了一种多传感器融合方法的输出不同IDS传感器聚合在一起,形成一个警报。而使用贝叶斯网络入侵检测是有效的在某些应用程序中,在实践中应考虑其局限性。不幸的是,典型的网络结构复杂,选择一个精确的模型的行为是一个艰巨的任务。
为了解决高维数据集的问题,研究者们开发了一种降维技术叫做主成分分析(PCA) (6]。害羞的et al来说。7)提出了一个异常检测方案作为PCA的异常检测方案并应用于减少审计数据的维数和获得一个分类器。极端学习机(ELM)和NSL知识发现的数据挖掘(8)被确认为标准评估网络入侵检测机制。研究人员还实现了一个随机森林分类器在一个IDS数据集样本(9,10]。此外,可用的数据集需要不断更新的动态特性的基础上恶意软件攻击。
一些研究人员提出实现深度学习模型和深层神经网络(款)开发灵活和动态IDS系统能够成功检测和反复无常的网络攻击进行分类(10- - - - - -13]。在和谐与款的使用,卷积神经网络已被确定为一个先进的和优越的技术,提取特征入侵数据集的分类(14]。因为这个方法(15)提供的视觉检测网络入侵,它可以作为一个实时合理的解决方案部署入侵检测系统(10]。作者在16)探讨了不同深度学习方法中使用的id和提出了比较和分析。的作者(17基于Spark-Chi-SVM技术的入侵检测。
作者在18- - - - - -21]提出几种混合分类模型分类数据集使用自然如布谷鸟搜索算法的启发,蝙蝠,萤火虫,遗传算法(10]。不同分类器的性能差是与几个因素有关,如分类数据的统计分布特性,先验知识,训练数据样本的大小,分类器的结构本身。在异常检测中,使用不同的分类器可以获得不同的入侵识别结果,而这些结果常常是高度互补。因此,融合决策的多个分类器可以有效地改善异常的检测效果。此外,融合多个分类器还可以提高分类系统的鲁棒性。在融合方法的选择,Dainotti et al。22]总结一些常见的融合方法,包括多数投票,加权多数投票,朴素贝叶斯、行为知识空间(noble) Wernecke(回答)方法,和甲骨文(ORA)方法。
针对这一点,本研究提出了一种基于multiclassifier融合曼氏金融网络异常入侵检测模型。三个融合技术(多数投票,加权多数投票,和朴素贝叶斯)被用来融合决策基于无监督学习的不同的异常检测方法,近年来表现良好,轻量级在线检测器等异常(LODA) AutoEncoder, PCA,基于直方图异常分数(HBOS),和iForest(隔离森林)。本研究的主要贡献和发现下面列出:(1)在实际网络环境中,标签数据的大规模是罕见的,监督学习方法不合适。然而,仅使用非监督学习方法会导致糟糕的性能和低精度的模型由于缺乏从标签数据的指导。MF模型提出了这项研究提供了一个框架来合奏各种异常检测分类器形成异构或齐次模型背景进行最后决策,大大提高了整体的检测性能;换句话说,它提高了回忆和AUC指标。(2)入侵在实际网络环境中,不断迅速变化和新的攻击是没完没了地出现。不同的检测分类器的检测性能往往是有偏见的,也许一个异常检测分类器将适合一个特定的入侵检测工作。MF模型提出了研究可以弥补单个异常检测方法的缺点,实现不同检测方法的互补利用multiclassifier融合技术。
研究的其余部分组织如下。部分2介绍了基于无监督学习的异常检测方法用于这项研究。部分3描述了multiclassifier融合技术,以及MF模型体系结构和过程。部分4介绍了三种异常检测数据集。部分5介绍了实验配置,讨论,和发现。最后,部分5展示我们的结论和未来的工作。
2。异常检测方法基于无监督学习
本节介绍了基于无监督学习的五个异常检测算法的检测效果最好,检测速度快,适合大规模网络。无监督学习方法没有培训或学习阶段,不需要数据标签,这是更适合的检测要求一个真正的网络。和这五个检测方法的所有局外人分数分配给每个数据点。二进制输出方法相比这是一个优势,因为另外,离群值分数允许估算的可靠性或确定性预测。
2.1。LODA
一个轻量级在线检测器的异常(LODA) [23)可用于快速处理大量流数据不断变化所产生的行为。它由一组k一维直方图 ;每个直方图近似输入数据的概率密度投影到一个投影向量 。LODA的输出概率密度的对数的平均值多个直方图,从而提高一个直方图检测器的性能。
LODA的输入是样本x,输出f(x)代表对数的平均值估计概率预测的样本到不同的投影向量。使用代表了概率估计的我柱状图,W我代表相应的投影向量。输出f(x)LODA可以写成:
如果不同的直方图被认为是相互独立的,(2)可用于集成多个直方图的概率密度: (在哪里xTW1,xTW2、…xWk)代表联合概率的投影。(2)表明,LODA的输出正比于样品的负对数似然,这意味着不可能样品出现,其异常值就越高。
2.2。Autoencoder
一个autoencoder [24)是一种无监督学习模型,本质上使用神经网络来生成一个高维输入的低维表示。Autoencoder类似于主成分分析(PCA),但Autoencoder利用非线性激活函数,从而克服PCA的限制只能做线性变换的特性。
一个autoencoder由两部分组成,一个编码器和译码器。编码过程对训练数据和项目执行一个降维训练数据的潜在空间,保存训练数据的特征。解码器可以使用的特性构造恢复数据的潜在空间。原始输入向量之间的差异和重建矢量被称为重建误差。如果样品的特性都是数值变量,均方误差(MSE)或平均绝对误差(MAE)可以作为重建误差。例如,输入样本 。autoencoder灾后重建的结果 。重建误差均方误差 。
重建误差作为异常分数。高的数据点重建被认为是异常。只有数据用于训练autoencoder正常实例。训练后,autoencoder将重建正常的数据很好,虽然未能这样做与异常数据,autoencoder没有遇到。
2.3。主成分分析
主成分分析(PCA) (25)是最常见的数据降维方法。一般来说,在异常检测场景中,噪音,离群值,异常是同一件事的不同表示形式。因为PCA识别噪声,它可以自然地检测异常。主成分分析将数据映射到低维特征空间,然后检查每个数据点的偏差从其他数据在不同特征空间的维度。
为一个特征向量ej的偏差度dij数据的样本x我方向j可以计算通过使用吗 在哪里主要是在规范化过程中发挥作用,它可以使不同方向的偏差度可比。在那之后,样本的异常分数x我计算,见方程(4)。如果分数大于阈值,样本x我判断为异常:
2.4。苏格兰哈里法克斯银行
HBOS(直方图异常分数)26)是单变量的组合方法,不能模型特性之间的依赖关系,但是更快和友好的大型数据集。苏格兰哈里法克斯银行(HBOS)计算一个异类得分通过创建一个单变量的直方图数据集的每一个特性。它假定是独立的特性。假设功能独立的缺点就变得那么严重维度的数据集有大量由于较大的稀疏。
两种不同的方法可以用来构造直方图:静态箱宽度和动态本宽度(27]。(1)静态箱宽度:数据分组使用箱相同的宽度。在每个间隔绘制一个矩形的高度成正比的数量点落入区间。等于假定每一本同样有可能不了了之,但这种假设通常不满足。(2)动态本宽度:箱子的宽度取决于数据和的值不一定等于指定的垃圾箱的数量。在长尾分布的情况下,重复的整数,一些垃圾箱可能包含比指定的值。
在静态和动态情况下,有必要指定垃圾箱的数量k。这是建议k值应该等于根号所有数据点。每一本的直方图的高度代表了密度估计。以确保同等重量为每个特性,归一化的直方图的最大高度,本就等于一。然后,计算值倒这样异常有一个高分和正常情况下得分很低。每个样本的异常分数x我根据方程(计算5)。HBOS的分数越高,异常程度越大的样本: 在哪里一个是功能的数量/直方图,xj是向量的特性,嘘j(xj)代表特征的密度估计实例x我在j直方图。
2.5。iForest
隔离森林(iForest)是一种快速的基于一个孤立点检测方法,线性时间复杂度和精度高,满足大数据处理的需要。iForest于2008年首次提出,然后在2012年,提出了一种改进的版本(28),适合连续数据的异常检测。iForst不同于其他异常检测算法来描述数据样本之间的异化程度基于距离和密度等定量指标和检测异常值通过隔离采样点。
该算法利用一个二叉搜索树结构称为孤立树(iTree)孤立样本。一个iForest由多个孤立树,这是由随机选择的属性和属性值。在孤立树,每个节点实例集分成两部分根据所选的属性和它们的值。这里,属性是随机选择的,和分裂值为这个选择的属性是随机选择的最小值和最大值之间选择的属性。一般,异常情况下这些对象的属性值非常不同于正常的情况下,比平时更容易被划分实例。在分离的过程中,他们也接近根和比正常更容易分裂的实例。
3所示。基于Multiclassifier融合网络异常入侵检测模型
网络异常入侵检测模型基于multiclassifier融合是在以下部分中描述。
3.1。异常检测模型基于Multiclassifier融合
基于网络流量异常检测方法提取内容特性、基本特性和流量特性从原始网络流量数据和检测异常的特征空间组成的这三种类型的特性。在入侵检测中,与不同的网络行为相关联的特性有不同的含义,它是困难的为单个分类器能够有效地处理这些特性的组合与不同的含义。需要多分类器系统的输出以某种方式进行组合,以获得最终的分类在不同情况下的决定。在一个异常检测系统中,每个基分类器将专注于数据的不同方面。
为了克服单一分类器的局限性,本研究提出了一个网络异常入侵检测模型(MF)基于multiclassifier融合方法。MF模型智能结合多个分类器的决策输出根据选定的融合规则和达到比单个分类器更好的检测性能。MF模型的总体架构如图1。
MF模型的算法选择标准,没有强大的个体分类器之间的依赖和一系列的个体分类器可以并行生成。这些算法是最好是异构的,这意味着这些算法的类型不一样的五种算法选择在这个研究。在异常检测中,不同使用不同的分类器可以获得单个分类器的结果,而这些结果常常是高度互补。因此,一些良好的异构异常检测算法可以产生更好的异常检测模型。
数据采集和特征提取后,数据集分为两个子集:训练集和测试集(非监督机器学习培训期间产生的预测)。训练集的目的是应用multiclassifier融合技术和获得多个异常检测算法的混合矩阵。测试集的作用是把输出的多个异常检测方法使用混淆矩阵,得到最终的检测结果。
3.2。Multiclassifier融合方法
混淆矩阵是一个标准的格式表达准确性评估,这是由一个矩阵表示n行和n列。混淆矩阵的每一列代表了预测类别,和数据的总数每一列表示的数据预测数量,类别。每一行代表了真正的归属类别的数据,并在每一行的数据总数表示数据实例的类别数。
以确保最佳性能,multiclassifier融合方法应该能够选择最佳的分类器的子集,它产生尽可能多的特定组合器的性能。在这项研究中,三个multiclassifier MF模型融合方法进行,如多数投票,加权多数表决,朴素贝叶斯。为了更好地评估这三种方法的性能,我们假设kth分类器的训练集作为输入,预测的混合矩阵Ek,ekij在课堂上代表样本的百分比我预测是类j在k分类器。
3.2.1之上。多数投票
容许的数量分类器投票给一个特殊的类是评估。类与更多的选票选为最终决定。然而,在同等数量的选票的情况下两个或三个类,容许分类器投票反对每个类的数量统计和类最低投票选为最后的决定。绝大多数投票可以写正式如下: 在组合器将样本分为课吗C在方程中所示的方式(6)。如果kth分类器预测样本的类我,然后V我k是1,否则为0。MV的算法实现算法1所示。
|
3.2.2。加权多数投票
如果许多类收到相同数量的选票,ek二世是用来打破僵局的;每个分类器的投票权,是由一个数字,表示加权分类器对其的信心投票。每个分类器的加权投票的置信度评估由混淆矩阵和组合器将样本分为类C所示的方式中
的算法实现WMV算法2所示。
|
3.2.3。朴素贝叶斯
基于样本的先验概率,朴素贝叶斯分类器计算其使用贝叶斯后验概率公式。的后验概率的概率是样本属于某个类。方法选择与最大后验概率的类作为决定类的样本。
当kth分类器预测样本的类j,加上所有分类器的预测结果,概率(我),样本属于类我显示为 在哪里米我是属于类的样本的数量吗我。应用贝叶斯公式和假设分类器是独立的,后验概率最大化显示为(29日]
的算法实现NB算法3所示。
|
4所示。数据集
在这项研究中,进行一系列的实验在三个公共可用数据集广泛应用于网络入侵检测领域。这三个数据集是CICIDS2017 [30.],UNSW-NB 15 [31日99年,KDDCUP。详细描述的三个数据集如表所示1。
4.1。CICIDS2017
CICIDS2017是一个id域数据集收集总共5天到周五下午5点,2017年7月7日。周一是一个正常的一天,只包括正常的交通。一些最常见的攻击,如DoS, DDoS,蛮力,XSS, SQL注入,渗透,端口扫描,和僵尸网络进行周二,周三,周四,周五上午和下午,分别。数据集是完全贴上标签并提供CICFlowMeter软件分流交通数据和提取超过80流签名,也可以在加拿大网络安全研究所的网站。
4.2。UNSW-NB 15
UNSW-NB 15的数据集是由澳大利亚网络安全中心(ACCS)使用植物PerfectStorm工具,可用于生成原始网络流量和正常活动和攻击行为。100 GB的原始交通(PCAP文件)被使用tcpdump工具,提取和49流签名使用Argus和Bro-IDS工具,涵盖9攻击:fuzz,分析,后门,DoS,利用,通用的,侦察、Shellcode和蠕虫。
4.3。KDDCUP 99
KDD CUP 99数据集的数据用于1999 KDD杯赛。1998年,美国国防高级项目(DARPA)进行了一次入侵检测评估项目在麻省理工学院的林肯实验室。林肯实验室建立了一个网络环境,模拟了美国空军的局域网,网络连接和系统审计数据收集9周,和模拟各种用户类型,各种网络流量和攻击方法使它像一个真正的网络环境。收集到的原始数据通过tcpdump分为两个部分:7周的训练数据,其中包含大约5万亿网络连接记录;剩下的2周的测试数据包含大约2万亿个网络连接记录。
5。结果与讨论
5.1。性能指标
回忆和AUC(曲线下的面积)是两个重要指标用来评估异常检测算法的性能。时间开销是用来测量每个算法的时间效率运行。(1)回忆,也称为检出率,反映出分类器的能力或模型正确地预测正面样本(异常样本),也就是说,积极的总数的比例样本预测积极阳性样品的总数。值越高,性能越好。(2)AUC(曲线下的面积):在预测,如果它是一个异常分数值,分数一般选为阈值,和分数超过这个阈值是不正常的,分数低于这个阈值确定为正常。此时,根据阈值的不同的价值观,不同的玻璃钢(假阳性)和TPR(真阳性)值,和所有值绘制以玻璃钢为横轴,TPR为纵轴,即中华民国曲线,曲线向下覆盖面积的AUC值。(3)也被称为时间开销,一个算法执行。
5.2。实验配置环境
表中给出了实验配置环境2。本研究使用python知名第三方库进行异常检测,热电偶,它运行在PC机。硬件配置是2.3 GHz双核英特尔酷睿i5, 16 GB的2133 MHz LPDDR3内存和macOS大苏尔操作系统没有GPU加速。此外,由于基分类器引用第三方python库,热电偶,异常率是唯一的参数设置的算法,这是反映在一节5.4。
5.3。性能比较
最真实的网络流量是正常的,有一小部分攻击或异常交通。因此,绝大多数的数据集广泛应用于异常检测数据领域的失衡,正常样本的比例是非常大的,异常样本的比例非常小。异常率代表的比例异常样本的样本总数。以来,在真实网络数据集,异常数据的比例很小,正常数据的比例很大。这个实验将异常率设置为两个更小的值(0.05和0.1)来模拟真实的环境(32),比较五异常检测的性能基线算法和三种融合方法在不同的数据集。结果如表所示3和4,分别。
我们使用的动机multiclassifier融合技术是提高异常检测的准确性;因此,AUC和回忆是两个最重要的指标。此外,每个融合技术的时间开销也应该作为一个指标来衡量其性能。
三种融合方法中,NB(朴素贝叶斯)执行比MV(多数投票)和WMV(加权多数表决)在回忆和AUC;此外,融合需要同样的时间。所以,MF模型在研究中选择朴素贝叶斯融合方法。
相反,multiclassifier融合模型结合多个分类器,必须确保整个检测比最好的单分类器。如果融合模型的整体性能略优于最坏的分类器,但稍微比最好的分类器,然后,在这种情况下,最好让自己最好的分类工作,不参与。从表3和4,它可以观察到,NB的整体检测性能优于单个分类器在所有三个数据集,而MV的检测性能和WMV有时比一个单一的检测算法。
的时间开销,本研究随机样本100000块的三个数据集的数据和时间成本的三个基本异常探测器,HBOS LODA, PCA,相互接近,明显快于AE和iForest。这是有关事实,前三个算法适用于大量数据。最后两个数据集的时间(UNSW-NB 15和KDDCUP 99)略高于第一个数据集,CIDIDS2017,因为后两个数据集的维度高于CICIDS2017。应该注意的是,《纽约时报》的MV,对WMV, NB仅代表各自的融合时间结果和不包括基分类器的训练时间。
如表所示3异常率设置为0.05时,MF模型提出了研究优于其他五个异常检测基线算法的AUC和召回的性能指标。
CICIDS2017数据集,MF的回忆和AUC是0.886和0.852,分别是0.355高于HBOS(0.531)最高的召回率和0.195高于iForest(0.657),最佳的AUC性能。
UNSW-NB 15集,MF的回忆和AUC是0.961和0.925,分别增加了0.24和0.12相比iForest(0.937和0.913),而最高的回忆和AUC指标。
99年KDDCUP数据集,MF的回忆和AUC是0.995和0.956,分别增加了0.12和0.03相比iForest(0.983和0.953),而最高的回忆和AUC指标。
如表所示4异常率设置为0.1时,一个类似的结论可以从表4:MF优于其他五个基线方法AUC和回忆三个数据集。
结果表3和4证明网络异常入侵检测模型提出了曼氏金融研究基于multiclassifier融合技术有更多的优势在异常检测和执行比五个最先进的无监督学习算法。
5.4。性能比较在不同的异常率
为了更好地验证该模型提出在这项研究中,这个实验也比较五个基线算法的检测结果异常检测和MF模型的连续变化的异常率在三个公共数据集。
作为数据2和3显示异常率的增加,AUC的值和回忆的其他五个基线方法总是低于MF模型和有明显波动,这就意味着性能的不稳定。相比之下,的性能(AUC和召回)MF模型稳定,折线是奉承。这也验证MF模型具有良好的鲁棒性,可以更好地适应攻击规模和攻击数量的动态变化在不同的网络环境中。
(一)
(b)
(c)
(一)
(b)
(c)
6。结论
异常检测是指检测的数据或行为不符合正常的预期模式在大量数据和广泛应用领域的数据安全和网络安全。针对无监督学习方法的问题,检测的效果不能满足真实网络环境的异常检测的要求,本研究提出了一种网络异常入侵检测模型MF基于multiclassifier融合技术。模型可以使用不同的融合方法,比如多数表决融合、加权多数表决融合、朴素贝叶斯融合,智能融合多个基线异常检测方法的检测结果(如LODA AutoEncoder, PCA, HBOS和iForest)获得更高的检测效果比单一的检测方法。最后,MF模型相对于其他异常检测基线方法在三个公共网络异常入侵检测数据集,如CICIDS2017 UNSW-NB 15, KDDCUP 99。实验结果表明,该网络异常入侵检测模型提出了曼氏金融研究基于multiclassifier融合技术成功地提高了检测的准确性和有效性,具有良好的鲁棒性。
在未来的研究中,将使用更先进的智能融合技术融合的结果基线方法来获得更好的性能。
数据可用性
可以获得所有的数据都包含在本研究的通讯作者。
的利益冲突
作者宣称他们没有利益冲突有关这项研究的出版物。
确认
这项工作得到了国家自然科学基金(62072074号,62076054,62027827,61902054,62002047),前沿科学和技术创新项目(没有国家重点研发项目。2019 qy1405),四川科技创新平台和人才计划(没有。2020 tdt00020),四川科技支持计划(没有。2020 yfsy0010)。