实例选择的关键因素是决定哪些实例代表,使所选子集代表性实例的原始数据。选择具有代表性的实例,我们不仅应该考虑选择的代表性实例的类别也不同类别的代表性。换句话说,实例选择类别和不同类别的信息。的影响和不同类别的实例被看作是一个有利因素。

假设 X 是一组训练实例包含正常和攻击类别, X = x 1 , c 1 , … , x n , c 2 。 X 有 n 实例; x 我 是采用实例; c 表达的类的实例 c = c 1 , c 2 ; c 1 是正常的类实例 X n 和 c 2 类的攻击实例吗 X 一个 ; X 是由 X n 和 X 一个 。

任何实例的表示 x 我 在训练集 X 如下: (1) R x 我 , c = 问 x 我 , c r ∗ 问 x 我 , c p 。

上半年的公式( 1)代表的代表性实例 x 我 在其类别;下半年的代表性实例 x 我 在不同的类别; c r , c p ⊂ c 1 , c 2 和 r ≠ p ; c r 代表类别的实例 x 我 ; c p 从实例是一个不同的类别 x 我 。

意识到 问 x 我 , c r 或 问 x 我 , c p 在公式( 1),欧氏距离 d x 我 , x j 可以用来表示两个实例之间的关系。类和实例之间的代表性是成反比的欧几里得距离的总和实例和剩余的同一类的实例。不同类别的实例和代表性。

因此,公式( 1)转换成下面的形式: (2) R x 我 , c = 1 ∑ c 我 = c j , j = 1 n 我 d x 我 , x j ∗ 1 ∑ c 我 ≠ c j , j = 1 n j d x 我 , x j , 在哪里 n 我 在同一类别实例的数量吗 x 我 ; n j 实例的数量在一个不同的类别的 x 我 。表达式 c 我 显示类别的实例 x 我 ;表达式 c 我 = c j 实例表明, x 我 和 x j 是相同的类别;表达式 c 我 ≠ c j 实例表明, x 我 和 x j 不同类别;如果 x 我 和 x j 是相同的类, 我 ≠ j 。

代表性的计算实例 R x 我 , c ,三个因素被认为:(1)同一类的所有实例的影响选择的实例;(2)不同的类的实例的影响选择的实例;和(3)的影响,不同类型的实例作为一个有利的因素。拟议中的代表性实例反映了实例的重要性。节 4.3与其他算法相比,在入侵检测的基准数据集实验结果验证的有效性的代表性实例 R x 我 , c 。

处理平衡数据问题,representativeness-based实例选择算法选择具有代表性的实例,这叫做分打点,提高准确性(ACC)和降低还原速度(RR) id。通过分打点算法,同样比例的选择为每个类实例。算法 1显示了分打点算法的伪代码。

输入: X :训练数据集; t :通过交叉验证选择实例的比率或验证组; X n :正常实例的设置; X 一个 :攻击实例的集合。

在算法 1,原始实例 X 是由正常的实例吗 X n 和攻击实例 X 一个 。 年代 是选择的实例从原始实例的集合 X ; 年代 n 是选择正常实例的集合 X ; 年代 一个 是一组选定的攻击实例 X ;的参数 t 选择的比例是通过交叉验证或验证实例集。首先,在3 - 5行算法 1计算,每个实例的代表性。根据正常的情况下 X n 和攻击实例 X 一个 , 年代 n 和 年代 一个 正在初始化。其次,根据代表性 R x 我 , c ,代表性 R x 我 , c 和训练集 X 按降序排序(6和7行)。与此同时, 年代 n 和 年代 一个 按降序排序。第三,从第8行到第11行,根据交叉验证或验证数据,1-NN作为分类器。的参数 t 精度最好的选择和参数的范围 t 是[0,1]。节 4.3选择过程的参数 t 通过数据显示 1和 2。根据参数 t ,第一个 年代 n ∗ t 第一个实例 年代 一个 ∗ t 实例中选择 年代 n 和 年代 一个 ,分别。最后,根据 年代 n 和 年代 一个 , 年代 是确定的。

图 3与二维用于演示实例分打点算法的选择过程。图 3(一个)显示了两种类型的原始数据,它是正常的和攻击实例。圆圈是“一班”,它代表了正常的实例;广场是“二班”,这代表了攻击实例。还有10正常实例和攻击实例。根据他们的代表性,每个类的实例是排名在图 3 (b)。周围的数字图像显示实例的表示的程度。数字越小,越具有代表性的实例。例如,在正常情况下,数字“1”最具代表性,“10”数量最少的代表。在图 3 (c)根据参数 t 选择,同样比例的实例在每个类。当参数 t 是0.6,前六选择每一个类的实例。

分打点的算法是基于代表性 R x 我 , c 的实例。所选的实例分打点算法包含原始数据的信息。分打点算法的效率与准确性(ACC)和还原速度(RR)。与其他算法相比,在入侵检测的基准数据集实验结果,部分所示 4.3证明分打点,算法是有效的,达到一个更好的准确性和还原速度之间的平衡。为每个类的相同比例的实例被选中时,分打点的算法可以处理平衡数据的问题。

根据算法 1和公式( 2),该算法的时间复杂度是主要相关的计算实例相同的和不同的类之间的距离。因此,算法的时间复杂度 O N 2 + O 米 ,在那里 N 代表的训练实例和总数 米 代表的数量分类器在选择实验的参数 t 。作为 O 米 远低于 O N 2 的时间复杂度分打点 O N 2 。

为了解决不平衡数据问题,representativeness-based实例选择算法,叫做RBIS-IM。通过RBIS-IM算法,为每个类是相同数量的实例选择提高平衡精度(BA)和减少减速率(RR) id。

算法 2显示了RBIS-IM算法的伪代码。像算法 1、算法 2基于实例的代表性。原始实例 X 是由正常的实例吗 X n 和攻击实例 X 一个 。 X n 和 X 一个 被称为多数类和少数类,分别。数量之间的差异 X n 和 X 一个 是巨大的。 年代 是选择的实例从原始实例的集合 X ; 年代 n 是选择正常实例的集合 X ; 年代 一个 是一组选定的攻击实例 X ;的参数 t 选择实例的比例是通过交叉验证或验证集。

输入: X :训练数据集; t :通过交叉验证选择实例的比率或验证组; X n :正常实例的集合称为多数类; X 一个 :攻击实例的集合称为少数类。

实例的过程中选择,选择的多数类的实例的数量不仅取决于少数类的实例的数量也是一样的少数类的选择。首先,在3 - 5行算法 2计算,每个实例的代表性。根据 X n 和 X 一个 , 年代 n 和 年代 一个 正在初始化。其次,根据代表性,代表性 R x 我 , c 和训练集 X 按降序排序(6和7行)。与此同时, 年代 n 和 年代 一个 也在降序排序。第三,从第8行到第11行,根据交叉验证或验证数据,1-NN作为分类器;的参数 t 选择最好的平衡精度(BA)和参数的范围 t 是[0,1]。节 4.3选择过程的参数 t 通过数据显示 4- - - - - - 6。根据所选的参数 t ,选择第一个 年代 一个 ∗ t 第一个实例 年代 一个 ∗ t 从实例 年代 n 和 年代 一个 ,分别。最后,根据 年代 n 和 年代 一个 , 年代 是确定的。

图 7两个维度是用来解释实例RBIS-IM算法的选择过程。图 7(一)显示了两种类型的原始数据,其中圆表示多数类和少数广场表达类。在多数类中,有8个实例和有4个实例在少数类。根据他们的代表性,每个类的实例是排名在图 7 (b)。类似地,周围的数字图像显示实例的表示的程度。数字越小,越具有代表性的实例。在图 7 (c)当参数 t 是1,第一个四个选择少数类的实例。由于选择的多数类的实例的数量取决于少数类的实例的数量是一样的,选择的少数类的,前四多数类的实例也选择。

同样,由于RBIS-IM算法是基于实例的代表性 R x 我 , c ,选择的实例可以包含原始数据的所有信息。和RBIS-IM算法的有效性评估平衡精度(BA)和还原速度(RR)。节 4.3与其它算法相比,入侵检测的基准数据集上,实验结果表明,该RBIS-IM算法是有效的,可以在英航和RR之间实现更好的平衡。因为相同的选择为每个类的实例数量,提高入侵检测效率,RBIS-IM算法可以处理数据不平衡的问题。RBIS-IM算法的时间复杂度是一样的分打点的算法,该算法的时间复杂度 O N 2 。

RBIS-IM和分打点算法之间的差异主要体现在三个方面。首先,这两个算法解决的问题是不同的。RBIS-IM算法是解决数据不平衡问题,是指正常的实例的数量巨大的差异和攻击实例;分打点算法是处理平衡数据的问题,这意味着正常的实例的数量和攻击实例非常接近或相等。其次,选择了两种算法的实例的方法是不同的。在RBIS-IM算法,多数类的实例的选择是由选定的少数类的实例。选择两个类的实例的数量是一样的。分打点的算法,每一个类的实例的数量。分打点的算法,同样比例的选择对于每一个类实例。因此,选择正常的数量和攻击实例非常接近。 Thirdly, the evaluation criteria of the two algorithms are different, which are shown in Section 4.2。评估分打点的ACC和RR RBIS-IM英航和RR有关。

在本文中,我们使用两个数据集,是知识发现和数据挖掘(KDD)杯1999数据集和DDoS 2016数据集。尽管KDD 99数据集有一些缺点,它仍然是广泛使用作为IDS的基准评价( 29日- - - - - - 31日]。在KDD 99数据集,10% KDD训练数据和数据库知识发现(KDD)正确的数据作为训练数据和测试数据,分别。这些数据的分布如表所示 1。在KDD Cup 99数据集,数据包括正常类的标签和攻击类,分为四组:的remote-to-login (R2L)拒绝服务(DoS),该user-to-root (U2R),和探针。

在KDD Cup 99数据集,每个网络连接代表一个数据记录,由41特性和一个标签指定这个记录的状态。每条记录包含41个特性:3非数字特征,和38数值特性。在数据预处理,这些非数字功能,协议类型,服务,和旗帜,必须转换成数值型数据。协议类型有三种类型:tcp、udp和icmp。根据不同类型,“协议类型”功能转换成三个特性。“服务”功能有70种不同类型,并将大量增加维度,这一功能并不是用于我们的实验。非数字特性转换表所示 2。

DDoS 2016数据集于2016年出版,这是创建使用网络仿真器NS2 [ 32, 33]。有210万个数据记录的数据集。每条记录包含28个特点:5非数字特征,和23个数值特性。这些非数字特性需要被转换成数值。正常数据和数据集包含四种类型的DDoS攻击,UDP洪水,蓝精灵,HTTP洪水和SIDDOS。在本节中,数据集,使用正常数据和UDP洪水,是用来评估提出的算法的性能。

根据平衡和不平衡的领域,知识发现和数据挖掘(KDD)杯1999年和2016年DDoS分为平衡数据集和不平衡的数据集,数据集的描述如表所示 3和 4。

评估的有效性和性能提出的算法,使用混淆矩阵。混淆矩阵如表所示 5。根据混淆矩阵,应用四个性能指标:检测率(博士,也被称为真阳性),真阴性率(TNR,也称为特异性或选择性),平衡精度(BA)和准确性(ACC)。与此同时,还原速度(RR)也适用。

在平衡数据,ACC和RR用于评估算法的性能提出了分打点。平等对待少数和多数实例,选择英航RBIS-IM算法的评价标准的不平衡问题。

博士的比例是正确预测攻击的攻击实例测试数据集;它是一个重要的指标反映了攻击检测模型的识别能力和被描述为攻击实例 (3) 博士 = TP P = TP TP + FN 。

TNR的比例正常实例中正确预测正常的测试数据集,它是一个重要的指标反映了检测模型的识别能力正常的实例和可以写成 (4) TNR = TN N = TN TN + 《外交政策》 。

英航和TNR博士的平均;它可以是一个领先指标不平衡数据集;它可以作为一个模型的整体性能指标。 (5) 英航 = 博士 + TNR 2 。

ACC的比率是在测试数据集的实例数量正确预测实例的总数。,它可以反映的能力检测模型来区分正常和攻击实例和被定义为 (6) ACC = TN + TP P + N = TN + TP TN + TP + FN + 《外交政策》 。

RR选择实例的数量的比例是在训练数据集的总数实例;它可以显示实例的能力选择模型来选择最佳实例和可以写成 (7) RR = 年代 X ∗ One hundred. % 。

在本节中,我们使用选择的子集实例提出实例选择算法来验证实例表示和算法的有效性。实验是在平衡和不平衡的数据集进行的。所有的实验结果都通过计算100次实验的平均值。

分打点,RBIS-IM算法参数 t 这是用来确定子集选择实例的数量。在训练阶段,参数 t 是由网格搜索交叉确认或验证集。算法在分打点,ACC选择的参数是最好的。RBIS-IM算法,选择相关参数是最好的英国航空公司。

数据 1和 2显示ACC和参数之间的关系 t 在平衡的数据集。此外,数据 1和 2反映参数的选择过程 t 2016年分打点算法在DOS和DDOS数据集。数据 1(一)和 2(一个)显示ACC时参数的变化 t 是在一个大区间[0.1,1]。数据 1 (b)和 2 (b)显示ACC时参数的变化 t 是在一个小的区间[0.001,0.01]和[0.0721,0.0730]。图 1 (b)基于图 1(一)。同样,图 2 (b)基于图 2(一个)。从图 1(一)时,最好的ACC是实现参数 t 需要0.1的区间(0.1,1)。因此,参数的范围 t 在图 1 (b)在区间[0,0.1]。通过实验中,参数的范围 t在图 1 (b)在区间[0.001,0.01]。在图 1 (b)据最好的ACC,参数 t 是0.3%。

像图 1,图 2(一个)说明最好的ACC时获得的参数 t 需要0.1的区间(0.1,1)。因此,参数的范围 t 在图 2 (b)在区间[0,0.1]。通过实验中,参数的范围 t在图 2 (b)在区间[0.0721,0.0730]。在图 2 (b)据最好的ACC,参数 t 是7.25%。

数据 4- - - - - - 6显示英航和参数之间的关系 t 在不平衡数据集。当参数 t 在区间[0.1,1]和[0.71,0.80],英航的变化探测数据集数据所示 4(一)和 4 (b)。数据 5和 6英航变动U2R和R2L参数时的数据集 t在区间[0.1,1]。与此同时,数据 4- - - - - - 6反映参数的选择过程 t 在RBIS-IM算法。数据 4(一)英航时参数的变化 t 是在一个大区间[0.1,1]。数据 4 (b)表明BA时参数的变化 t 是在一个小区间[0.71,0.80]。图 4 (b)基于图 4(一)。从图 4(一)时,最好的英航是获得参数 t 需要0.8的区间(0.1,1)。因此,参数的范围 t 在图 4 (b)在区间[0,0.8]。通过实验中,参数的范围 t 在图 4 (b)在区间[0.71,0.80]。在图 4 (b)据最好的英航,参数 t 是0.76。从数据 5和 6很明显,参数 t 设置为1的条件下,英航获得最好的两个数据集。此外,相关实验进行区间[0.9,1]。实验结果表明,英航时获得最佳参数 t 是1。

表 6表明,在平衡的数据集,这三个常见的分类器,1-NN,支持向量机,和演算法,使用整个训练集和实例子集选择获得ACC, RR,分别和平均精度。99年DoS数据集KDD杯,三个分类的准确性大大提高了使用选择的实例子集算法分打点。2016年DDoS的数据集,这三个分类器通过使用实例子集也达到良好的精度。SVM的准确性和演算法使用实例子集略低于整个训练集,但分打点算法只使用7.25%的实例来获得良好的准确性(94.682%或94.668%)。这表明分打点算法可以减少RR在保持精度。两个平衡的数据集,使用实例1-NN子集的准确性高于整个训练集。这是因为选择的实例子集选择算法和1-NN提出实例。除了良好的ACC, RR的三个分类器和实例是非常小的子集,分别是0.3%和7.25%。这可以证明分打点算法可以实现更好的平衡ACC和RR。另一方面,从平均ACC的角度来看,很明显,平均ACC的实例子集远远高于在DoS整个训练集数据集。与此同时,2016年DDoS的数据集,平均ACC子集的实例仅略高于整个训练集得到的。这表明分打点算法可以选择最佳的改善ACC和减少RR为IDS实例。

在表 6,实验结果表明,该分打点算法是有效的,可以处理平衡数据问题。分打点的算法是有效的,因为它是基于代表性新实例,所示部分 3所示。1。通过选择代表性实例,实例拥有整个实例的信息,有助于提高ACC和减少RR为id。

如表所示 7不平衡数据集,三种常见的分类器,1-NN,支持向量机,和演算法,可以获得BA, RR,平均英航使用整个训练集和子集的实例。三个不平衡数据集KDD Cup 99。调查数据集,使用实例子集,这三个分类器精度很好。相比之下,整个训练集,英航的1-NN分类器使用实例子集是略低,而婴儿SVM和演算法更好。U2R和R2L数据集,而使用三种常见的整个训练集英航子集分类器使用实例更好。实验结果证明RBIS-IM算法可以在英航和RR之间实现更好的平衡。

除此之外,从平均英航的角度,调查数据集,使用实例子集平均英航是略高于整个训练集,使用。U2R和R2L数据集,而平均英航使用整个训练集,英航平均使用实例子集是大大提高了。因此,不平衡数据集上的实验结果表明,RBIS-IM算法是有效的,可以获得良好的RR同时提高英航。这是因为RBIS-IM算法也是基于代表性新实例,所示部分 3所示。1。通过代表性实例,选择最优情况下提高英航和减少对IDS RR。和实验结果显示,RBIS-IM算法可以处理不平衡数据的问题。

表 8和 9显示ACC和RR与6实例选择算法在均衡数据集。拟议中的5分打点算法相比,算法:最近邻(新奥集团)[编辑 22),测量( 10],BNNT [ 8],CNNIR [ 9),和RIS 1 ( 11]。对于测量和RIS 1,他们选择算法只使用实例。在两个平衡的数据集,与其他5算法相比,该算法分打点ACC在桌子上达到最好的实验结果 8。分打点算法达到第二RR在两个平衡数据集表 9。平均表现而言,很明显分打点算法达到最好的实验结果在ACC和RR。这表明分打点的算法可以实现更好的平衡ACC和RR。它可以解决平衡数据问题。同样,它证明了分打点算法是有效的。换句话说,所选实例优化,包含整个实例的信息。这是因为实例选择过程被认为是四个因素,这部分所示 3所示。1。

表 10显示6 BA实例选择算法在不平衡数据集。调查数据集,新奥集团的英航,测量,RIS 1, RBIS-IM算法很近,它们之间的最大差距小于1%。这将显示RBIS-IM算法有能力区分正常和攻击实例。U2R和R2L数据集,英航RBIS-IM算法是最好的。与其他算法相比,最小差距至少10%。从平均英航,新奥集团的平均英航,测量,和RIS 1算法非常接近,而英航的RBIS-IM算法是最好的表 10。实验结果证明代表实例选择RBIS-IM算法包含整个实例的信息和RBIS-IM算法可以选择增加英航代表实例id。此外,实验结果证明RBIS-IM算法可以处理数据不平衡问题。

表 11礼物6实例选择的RR算法在不平衡数据集。调查数据集,测量获得的RR, CNNIR, RIS 1算法很近。但是,新奥集团,其他算法相比有很大的差距。U2R数据集,除了新奥集团算法,其他算法的RR很近,不到1%。R2L数据,有一个小的RR区别三个算法,测量,CNNIR, RIS 1算法。从平均RR BNNT的RR算法是最好的。但是,很明显,新奥集团得到可怜的RR(例如99.879%)。由于新奥集团是基于最近的邻居,新奥集团只删除实例边界附近和删除限制多数类的实例。此外,新奥集团不能处理数据不平衡问题。提出RBIS-IM算法具有良好的RR(例如13.059%)。这显示RBIS-IM算法可以选择小减少RR和代表性的实例。 And the experimental results show that the RBIS-IM algorithm can deal with imbalanced data problem.

6例选择算法的时间复杂度是出现在桌子上 12。 N 代表原始实例的数量。根据表 12的时间复杂度6算法分为两种类型。一个是 O N 日志 N 新奥集团,BNNT, CNNIR算法。另一种是 O N 2 、这是ISAR RIS 1分打点,RBIS-IM算法。

图 8显示的关系平均ACC和平均7 RR算法平衡数据集和基于表 6, 8, 9。1-NN算法使用整个训练实例,另6算法使用实例通过实例子集选择算法。平衡的数据集,分打点算法达到最好的ACC和RR。图 8表明分打点算法可以选择最佳的改善ACC和减少RR为IDS实例。这些优化实例为整个实例的信息。

图 9基于表 7, 10, 11显示的关系平均英航和平均7 RR算法在不平衡数据集。很明显,平均英航RBIS-IM是最好的。和图 9表明RBIS-IM算法可以选择最优增加英航和减少RR为IDS实例。尽管RBIS-IM算法的平均RR不是最低,RBIS-IM算法可以达到平均英航和平均RR之间良好的平衡。此外,它是发现RBIS-IM算法可以处理数据不平衡的问题。