文摘
尽管机器学习模型的日益流行的网络安全应用程序(例如,一个入侵检测系统(IDS)),这些模型被视为一个黑盒。可辩解的人工智能(新品)已成为越来越重要的解释机器学习模型来提高信任管理,允许人类专家了解底层数据证据和因果推理。根据id,信任管理的关键作用是理解的影响恶意数据检测系统中的任何入侵。先前的研究更关注信任的各种分类算法的准确性id。他们不经常提供洞察他们的行为和推理提供的复杂算法。因此,在本文中,我们解决新品概念增强信任管理研究领域的决策树模型id。我们使用简单的决策树算法可以很容易地读,甚至像人类的决策方法,分割成许多小subchoices选择id。我们尝试用这种方法通过提取规则在一个广泛使用的数据集KDD基准。我们还比较了决策树方法的准确性与其他先进的算法。
1。介绍
组织越来越多地开发更复杂的网络安全生态系统,依赖于不同的同事如人,技术,和过程有效运作。网络安全信任管理是基于这些同行之间的关系包括(1)人们和组,(2)人们和组织,(3)组织和(4)和技术的人。每一个信任同伴可以部署网络安全对策,一个人可以依靠预防和抵御网络攻击(1]。
人工智能(AI)是一组模型和方法用于从收集的数据中提取知识。此外,没有人可以信任一个人工智能系统,因为它是可能的和可取的质量数据,方法的复杂性和问责制,AI工程师的经验。基于AI的关于网络安全的解决方案背景下,其他软件开发技术可以与AI同伴因为这些不“信任”,所以没有人可以信任基于AI网络安全系统的解决方案。棘手的问题是“如何信任基于ai的解决方案在网络安全系统的设计是基于数据,方法,和专家问责?”来回答这个问题,研究人员已经抓住了主题可辩解的可解释性和人工智能(新品)来证明基于ai的解决方案的可靠性,能力,和值得信赖的2]。更多细节关于信任和人工智能,可辩解的人工智能,可辩解的AI和入侵检测系统是解决下面。
1.1。人工智能和信任管理
开放的挑战与人工智能是缺乏理解和信任比传统的基于模型的优化。例如,深入强化学习是无法解释影响行为的基本特征(3]。这个缺点是最糟糕的情况下,影响网络安全信任管理(如恶意车辆识别)4]。此外,贝叶斯推理,最近的研究已经表明,他们非常脆弱的数据不足。因此,需要开发统计人工智能算法量化不确定性增加,特别是大数据输入和映射算法设计,预计无线关键性能指标(kpi) (5]。而不是试图创建统计人工智能算法本质上是可翻译的,有最近的研究方向的工作“可辩解的人工智能”,创建统计人工智能算法来解释AI黑箱模型(6]。因此,值得信赖的AI应该能够解释其决策允许专家理解底层数据证据和因果推理。
1.2。可辩解的人工智能
AI在过去的几年里,取得了显著的成功,提供最好的预期在许多应用程序。这个机器学习的成功经验(毫升)和深度学习(DL)模型属性的结合有效的学习算法和巨大的参数空间5]。参数学习空间的组合包括数以百计的层和数以百万计的参数,这使得毫升和DL模型被认为是复杂的黑盒模型(7]。由于模型的black-box-ness,人工智能专家(例如,工程师和开发人员)需要寻找直接的理解的机制模型的工作原理。透明度,这是相反的black-box-ness模型,是避免的危险越来越多地要求决策不合理和不允许获取详细的解释他们的行为。例如,在精密医学、二进制预测不足由于其敏感性药物处方的患者。同时,对于网络安全,误导预测能使系统受到攻击,导致zero-trust安全关键系统。
因此,最近的研究的重点在人工智能与可辩解的人工智能领域,起着至关重要的作用在提高基于AI的实际部署的解决方案。考虑基于ai期间可解释性的解决方案设计可以使他们的可能性,因为(1)可解释性有助于确保公正的决策,即。检测,因此,正确的训练数据集(即偏差的。不平衡数据集);(2)可解释性增强基于ai的解决方案的健壮性通过强调潜在的敌对的扰动可能会改变预测;和(3)可解释性赋予的信任基于ai的解决方案通过提供有意义的变量模型推理的推理和因果关系(5,8]。解释方法和技术对人工智能/毫升可解释性可以根据不同的标准分类如下:(1)premodel,模型,和postmodel,(2)内在和事后,(3)模型相关的model-agnostic,(4)特性工程等等(8]。根据这一工作,工程特性和基于规则的模型将写给探索的决策树方法理解恶意攻击的特点,增强信任id。
1.3。入侵检测系统
入侵检测系统(IDS)一直在研究和产业发展迅速应对越来越多的网络攻击对全球的政府和商业企业。打击网络犯罪不断增加的年度成本(9]。最灾难性的网络恶意的内部人员,造成拒绝服务,以及基于网络的攻击。行业或公司可能会失去知识产权由于这些恶意攻击到系统中。反击反对这种行为,组织部署防火墙、杀毒软件、入侵检测系统。
入侵检测(ID)是网络安全的重要组成部分。它允许我们识别恶意网络活动之前妥协信息可用性、完整性或机密性(10]。这是一个过程,确定安全漏洞通过检查事件发生在一个信息系统。在当今越来越多的数字世界,缺乏网络访问是不可思议的在专业和个人生活。如今,物联网的兴起(物联网)设备连接到互联网,攻击者入侵攻击的最大可能性。因此,防止网络设备安全的入侵是一个重要的任务。这也打开了如何成功地安全问题来自已知和未知的威胁。没有简单的答案,因为每年越来越多的威胁(11]。
任何有价值的信息网络访问需要永久免受所有试图摧毁,暴露,涂改、禁用、偷窃,或未经授权的访问和使用。为了防止有价值的信息这样的恶意行为,入侵检测系统(IDS)的设计。IDS是一个设备或软件应用程序,收集并分析信息网络来识别可能的安全漏洞,对入侵(即包括数据。,攻击(即从外部组织)和滥用。,来自组织内部的攻击)11]。经典的IDSs主要基于签名的,检测唯一已知的攻击,他们的主要缺点是不能发现新的攻击(12]。解决这种问题的一个方法是使用“机器学习”(ML)的方法,提供电脑学习能力而不显式地编程。ML主要用于提高检测精度和较低的误警率(13]。
1.4。可辩解的AI和入侵检测系统
如今,由于高度准确的预测,深层神经网络(款)是越来越受欢迎。这些模型是有用的,但他们很难解释。例如,使用款模型,控制的无人驾驶汽车需要成千上万的参数调优(14]。在IDS中,如果这种方法实现款,那么网络管理员难以理解推理毫升系统提供的。款也被称为黑盒模型(15]。黑盒使其决策过程具有挑战性的解释因为款主要是通过试验和错误编辑不同的特性,直到他们找到理想的解决方案16]。许多研究在IDS使用毫升技术增加已知攻击的分类精度,识别异常网络流量,并自动化模型建设(17]。然而,这些系统的几个重点解释结果的理解ML算法达到结论预测攻击。
如果攻击是在形式的规则,它可以很容易地解释。例如,简单的解释规则的形式,然后声明。此外,解释是需要突出(i)的哪些部分的目标攻击,(ii)的哪些部分网络特性,和(3)违反安全策略的一部分。挑战是链接的id、分析、解释,并提供洞察网络管理员执行安全政策确定攻击。这个过程的一个重要支柱是模型可以逻辑地解释结果。因此,我们考虑决策树(DT)这样一个任务。如果场景的要求一个解释预测,然后DTs完美的模型,因为他们可以提供一个可以理解的解释在预测。监督机器学习方法,与其他方法DTs不需要假设的分布数据。它处理的特性同线性有效(特性)之间的高度相关性问题。因此,解释模型似乎是必要的上下文id。
1.5。贡献
虽然以前的工作使用DT在IDS中,他们的主要重点是基准机器学习算法的准确性。相反,我们关注的是一个广泛使用的基准数据集的可解释性称为知识发现(KDD)数据集(18]。我们的贡献如下:(1)我们解决的新品概念增强信任管理人类专家可以理解(例如,底层数据证据和因果推理)。为此,我们使用特性工程和基于规则的模型探索决策树算法领域的id。(2)我们分析的重要性,基于熵度量的入侵检测功能。(3)我们解释规则提取入侵的DT方法分类。(4)我们比较了决策树的准确性和最先进的方法。
本工作的其余部分组织如下:回顾相关工作进行部分”相关工作。”“方法论”一节中,我们证明了DT的方法。结果和实验设置章节中提到的“实验”和“讨论。”最后,我们结束我们的工作和描述一些方向对未来工作的部分“结论和未来的工作。”
2。相关工作
有不同类型的解决方案提出了IDS等统计方法(19隐马尔可夫模型),(20.),人工神经网络(21)和模糊逻辑22]。最近的研究表明,支持向量机(svm)展示了发展中id(精度高23,24]。然而,其主要需要注意的是,它需要长时间的训练,这使得其可用性有限。也有经典的数据挖掘方法在IDS中,如关联规则挖掘。例如,Ilgun et al。25)采用基于规则的技术来设计和开发id、专家知识被认为是一个规则集。同样,李et al。26)使用关联规则,而不是人类专家作为分析模型。这种方法的局限性是大量关联规则的提取,从而增加模型的复杂性。
监督分类模型的关键的一个方面是特征选择。选择基本特征将减少算法的计算时间。由于网络数据的重要特征,许多IDSs开发与特征选择(27]。Chebrolu et al。28)分类主要特征构造一个id非常实际的入侵检测的关键。扎曼和Karray29日)实现特征选择技术来构建一个轻量级的id。Vimalkumar和完婚30.)实现主成分分析(PCA)的特征选择技术在大数据框架id。Balakrishnan et al。31日IDS)开发了一个模型,获得比作为特征选择技术和两个分类技术,即支持向量机和基于规则的分类用于识别的类标签和显示精度高水平拒绝服务(DoS)攻击。这种方法的一个缺点是被高计算采用独立的获得率和分类算法。
基于大多数ids研究专注于实现的性能模型。Farrahi和Ahmadzadeh32]探索各种k -均值聚类朴素贝叶斯算法等,支持向量机,专家算法。这种模式导致更好的准确性常规交通和DoS攻击。此外,遗传算法(GA)是实现提高不同类型的入侵检测的准确性达97% (33]。这项工作由Alkasassbeh et al。34)关注不同类型的攻击,如http洪水,蓝精灵,siddos,洪水和UDP。他们实现的各种机器学习算法的高精度检测DoS攻击,并演示了使用多层感知器(MLP) 98.36%。彭et al。35)提出了一个基于决策树的IDS系统,提高检测的效率。他们的方法表现出更好的性能在朴素贝叶斯和资讯的方法。
研究人员仍在调查找到一个有效的方法来检测入侵的高性能、高速度、低假阳性警率(36]。大多数IDS系统的重点是准确性。少了利息可判断的预测算法。在这项工作中,我们探索的可翻译的一边使用决策树分类算法实现的id。决策树是一个高度可判断的模式37]。解释能力是一种很有前途的方法来诊断问题并验证机器学习模型的正确性在IDS通过提供洞察模型的推理。因此,我们使用决策树算法排名功能的重要性,提供了可辩解的入侵检测规则,具有相当精度的最先进的算法。
3所示。方法
3.1。决策树
决策树是监督学习之间的非参数方法。它使用决策树方法,展示了事件的结果的机会。这种方法提供了决策规则的解释和直接,并包含一个条件控制语句。它允许查看和解释数据的逻辑,与另一个监督模型如支持向量机。这种方法也被称为一个监督学习模型在机器学习,因为它允许自动构建预测模型通过算法从一个给定的一组观测数据(数据)作为训练数据集(38]。决策模型构建自上而下以树结构的形式从根节点(上)随后决定节点和叶节点。根节点是重要预测因子,叶节点提供一个最终的分类,如图1。
决策树生成规则基于分割标准。有不同的建设决策树算法,但是最好的一个叫做ID3算法,即迭代二分3 (39]。ID3 [40)构造的决策树构造一个自上而下、贪婪搜索给定的训练数据集测试每个属性在每个节点。它使用统计指标调用信息增益选择属性在树中的每个节点测试。这个指标计算给定属性分开训练的例子如何根据他们的目标分类。
3.1.1。熵
它是衡量信息理论,描述一个任意的杂质收集的例子。如果目标属性呈现c不同的值,则熵年代相对于这个c在某方面分类定义为 在哪里E是熵,p我的概率是年代属于一个类我。以2为底的对数意味着熵编码长度的测量计算。
3.1.2。信息增益
在熵计算预期的最小化分割根据其属性的示例。信息增益,增益(年代;一个)的一个属性一个,收集的例子年代被定义为 值(一个)是一组属性的所有可能的值一个和的子集年代的属性一个是有价值的 。这个指标是用来给属性和构建决策树每个节点在位置最高的属性信息增益的属性从根中尚未考虑路径。
4所示。实验
在这里,我们回答下列问题:(我)Q1 -特性在预测过程中:所有功能是重要的?(2)Q2 -规则:DT提取的规则是什么?(3)第三季度,精度:如何准确DT是相对于其他先进的方法吗?
数据集:DT模型应用于1999网络入侵数据集KDD杯(http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html)。数据来自98年DARPA入侵检测评估由麻省理工学院的林肯实验室处理。根据(41),这些数据集收集使用多台计算机连接到网络模型一个小美国空军基地的人才用几个模拟入侵。有42个属性用于这个数据集。有五个主要组四人贴上攻击,和一组是“正常”,这意味着没有威胁。攻击的描述如表所示1。
之前的研究使用这个数据42- - - - - -44)分类算法应用于预测人身攻击和报告不同的监督分类算法的性能在多级设置。入侵检测通常是相当于一个分类问题,如二元分类问题,即。,识别网络流量行为是否正常的或恶意的。在这项研究中,我们没有考虑多级预测。我们将侧重于说明算法进入一个结论来预测正常或恶意二进制设置。
4.1。评价指标
以下评价指标用于评估模型的准确性。
以下4.4.1。精度
在一个分类问题,精度定义为真阳性的数量(tp)的数量真阳性和假阳性的数量(fp)。在形式上, 在哪里tp是真正的阳性(正确识别)和fp是假阳性(错误地识别)。
4.1.2。回忆
在一个分类问题,回忆被定义为真阳性的数量(tp)/真阳性的数量+假阴性的数量(fn)。在形式上, 在哪里fn是假阴性(错误地拒绝)。
4.1.3。F1-Scores
F1-score捕获精度和召回分类器之间的权衡模型。它结合指标的精度和召回和计算这些指标之间的调和平均数:
4.2。Q1:功能
有42个属性的数据集。这些42个属性,41属性分为四个不同的类(45]:(1)基本特征(BFs)单个TCP连接的属性(2)内容特征(CFs)的属性在建议的领域知识的连接(3)交通特性(TFs)是计算使用两秒的时间窗口的属性(4)主机特性(HFs)是用来评估的属性
机器学习的核心概念巨大影响的性能模型。它让我们摆脱无关的特性,从模型不会导致预测精度。少冗余特性也意味着机会做决定基于噪声。也因此,更少的功能降低算法复杂性训练模型更快。DT有一个自然的方法选择模型的基本特征。它可以获得的数量和质量将产生一个预测变量(46]。
功能的重要性可以从数据估计建立预测模型。DT报告变量重要性有一个内置的机制。我们随机划分数据集如下:60%数据作为训练,20%的数据作为验证,和20%的数据作为测试集。DT认为所有功能并创建一个分裂的,最好是将类标签的熵(III-A1)措施使用训练数据集。排名的重要功能是显示在图2。
我们观察到功能第23节排名最高。从攻击持续超过两秒。
我们不确定只有手动检查至关重要的特征建模过程。因此,我们进行特征选择,这被认为是交通的特性之一(T)类别。特性的名称是“计数”,这是用两秒的时间窗口,计算一个数值属性。同样,我们观察到功能V3排名第二,这是基本特征(B)类别,名称是“服务和功能。“这个功能是基于单个TCP连接的属性,比如http和telnet。这个特性的离散属性。排名第三高的特性是“国旗”,这也是从最基本的(B)类别。这个功能是正常的或错误状态的连接,是一个离散属性。十大重要特征的描述如表所示2。从表中,我们观察到一个交通(T)两种基本的(B),三个内容(C)和四个主机(H)功能类别排名根据他们的重要性。
它意味着BCTH特性的组合给一个更好的入侵检测模型。
4.3。Q2:规则
我们从我们的训练集数据提取规则。图3从我们的数据集显示DT创建。节点是根节点,顶部和底部节点的叶子节点。规则从顶部节点遍历节点底部。总共有19这棵树的建设所涉及的步骤。的步骤演示了从节点到节点的深度优先方式。每遍历从根节点到叶子节点的控制规则的决策。叶节点是决定节点。
我们从模型中提取规则使用摇铃(https://cran.r-project.org/web/packages/rattle/vignettes/rattle.pdf在r .)包演示目的,五个规则预测正常和恶意节点如表所示3。
4.4。问题3:准确性
我们比较的性能与两个普遍使用决策树分类算法:(i)支持向量机(47)和(2)逻辑回归48]。比较的结果如图所示4。从结果中,我们观察到DT算法有更高的表演,在精度方面,回忆,和F1-score。然而,改进很边缘。DT执行同样的预测精度和召回恶意和正常节点。相比之下,支持向量机也有类似的性能预测恶意节点但低性能预测正常节点比较DT。LR表现更好相比,支持向量机预测正常节点,但没有执行更好的预测相比,支持向量机和DT恶意节点。SVM具有较低的召回相比其他方法在我们的数据。的F1-score, DT也最好的性能。DT表现更好的原因之一是,它不采取特性是线性的/正常或添加剂,和可能不需要预先指定的交互。协变量的缺失等问题,价值观,多重共线性,离群值,自动考虑(49]。此外,LR是一个线性模型;因此,在这些数据集,也许所有功能都不是线性的,所以我们看到DT相比其性能降低。同样,我们采用支持向量机与一个线性内核,但它表现好于LR但不能超越DT。
(一)
(b)
(c)
5。讨论
优势的决策树算法的提出可辩解的分析是提供一个值得信赖的AI id的解决方案。特别是,使用决策树算法探索其决策功能工程和人类专家的基于规则的模型可以理解(例如,底层数据证据和因果推理)。了解恶意攻击的特点,易受IDS对未来网络安全系统的成功至关重要。
有趣的是,很多研究工作基于原始数据集KDD报道使用KDD入侵检测数据预测精度高。之前工作基准监督分类算法来显示数据集的算法有更好的表现。然而,我们的方法是不同的。入侵检测是很重要的,但知道他们解释他们是如何造成的是一个重要的问题。机器学习算法是复杂的,有时它是困难的决策如何得出结论,这使得他们在许多情况下都不可用。特别适用于决策可能需要被理解的情况下,例如在恶意节点检测的通信网络。任何网络工程师或安全人员的攻击有“正确的一个解释。“一个决策树对人类理解的能力往往是模仿人类的思维水平,所以它是容易理解的数据,使一些好的解释(50]。
决策规则遵循一个共同的结构:如果条件得到满足,然后,做一定的预测。决策规则可能是最可判断的预测模型(51]。if - then结构语义模拟人类的语言和我们的思维方式,提供的条件是建立可理解的特性,条件是短的长度(少量的特性=值对加上),并没有太多的规则。决策树学习这些if - then规则的数据集。的上下文中识别恶意节点,这些规则可以发挥重要作用在避免大型攻击和节省通信基础设施的进一步损害。例如,这样的规则可以警报安全人员:[如果第23节≥79.5,V6 < 2类是恶意的,97%的概率)。这意味着有97%的机会如果恶意节点连接到主机的数量大于79.5,错误状态的连接不到两个,然后可以将这些节点恶意,所以更高的谨慎是必需的。这条规则很简单和高度信息处理网络安全人员监控网络中节点的恶意行为。
另一种分类算法,如支持向量机甚至深层神经网络,确实给了我们一个更好的预测。然而,的可解释性,决策树被认为是最好的方法。树是自然对人类的理解。当一个人类构造决策树,问题和答案都是基于他们的基本原理和知识。在数据科学,创建这些规则通常是由一个算法学习问题通过分析整个数据集。的恶意节点检测,该算法将着眼于整个数据集求出一组不同的规则分类“正常”和“恶意的”节点。决策树算法在数学上把整个网络数据集和判断它的类。整个过程的学习通过决策树分类新的网络入侵数据网络数据,任何人类理解和能做判断。
6。结论和未来的工作
人工智能决策分析使用一个复杂的系统来识别潜在的隐藏的模式和弱信号从大量数据。鉴于考虑,可解释性在基于ai的解决方案成为必不可少的增强的信任在真实的应用程序中。网络安全系统(例如,IDS系统)是一个至关重要的敏感的应用程序的系统容易受到恶意攻击。因此,我们探索决策树算法识别恶意节点通过一个公开可用的知识发现(KDD)数据集。我们进行了三个重要的任务在这个数据集:(i)排名功能,(ii)决策树规则提取,和(3)比较先进的算法。不是所有的功能都有同等的贡献恶意节点的预测。我们发现网络流量特性计算使用两秒的时间窗口的一个主要决策树预测,是由根节点的算法。排名第二的特性是一个基本的基于功能的个体TCP连接的网络服务。简要描述的排名在IV-A3网络的特性。
通过观察决策树规则,我们发现组特征值可以区分恶意和常规的网络流量。这些规则解释和帮助网络安全人员提高信任通过对行动的恶意流量识别。在这项工作中,我们解释了规则生成的决策树算法。这些规则是简单的if - then规则逻辑条件。美丽的决策树算法规则提取,并解释这些规则任何网络专家可以适当的计划在未来避免网络入侵。在表3我们解释规则提取的决策树算法。
我们比较了决策树算法的性能与其他先进的算法。我们发现,决策树有一个边际改善与其他先进的方法在精度方面,回忆,和F1-scores。决策树算法在计算上便宜,容易评估和直观,不像其他方法,如支持向量机。支持向量机是一个引人注目的方法,但计算昂贵,noninterpretable。有一个基本决策树的优势;例如,数据的缺失值也不影响构建决策树的过程。该模型不需要正态分布。然而,这些方法有几点是需要注意的。时可能会有机会过度拟合的算法捕获的噪音数据集,由于该算法可能会有更好的表现在训练集测试集的表现不佳。另一个值得注意的限制是对于数据,包括分类变量与不同数量的水平,在决策树信息增益是青睐那些属性有更多的水平。这种行为可能会影响预测的性能。
数据可用性
使用的数据来支持本研究的发现是数据库知识发现(KDD)基准数据集。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作是由爱尔兰科学基金会。