入侵检测中类不平衡数据集的机器学习方法

摘要

KDD CUP 1999入侵检测数据集是在第三届国际知识发现与数据挖掘工具大赛上引入的，在许多研究中得到了广泛的应用。KDD CUP 1999数据集的攻击类型分为四类:用户到root (U2R)、远程到本地(R2L)、拒绝服务(DoS)和探测(Probe)。我们通过添加普通类来使用五个类。我们将U2R、R2L和Probe类定义为稀有类，它们都不到整个数据集的1%。在本研究中，我们试图缓解数据集的类不平衡。利用合成少数过采样技术(SMOTE)，我们试图优化稀有类(U2R, R2L和Probe)的SMOTE比率。在随机生成多个SMOTE比率元组后，使用这些元组创建一个数值模型来优化稀有类的SMOTE比率。使用支持向量回归建立模型。我们将测试数据集中的每个实例分配给模型，并选择最佳的SMOTE比率。使用机器学习技术的实验是使用最佳比率进行的。 The results using the proposed method were significantly better than those of previous approach and other related work.

1.介绍

早期入侵检测系统[1]分为基于主机的IDS (HIDS)和基于网络的IDS (NIDS)。HIDS具有分析主机和用户的系统日志和资源使用信息的优点。但是，在每个主机上安装IDS会增加管理点，并浪费更多资源。如果不能进行网络级的报文分析，攻击者控制了系统，则可能导致IDS中断。NIDS的优点是它不需要在每个主机上安装IDS，并且可以在整个网络级别执行分析。但是，它有一个缺点，即可能只能通过IDS确认攻击，并且很难在系统级确认攻击企图。在2003年初，由于产生误报的问题，IDS失去了用户的信任。假阳性的原因是由于发展错误的规则、交通违规和模式匹配测试的局限性。即使IDS问题到目前为止还没有解决，“模式匹配”仍然被用作安全解决方案的基础。

入侵检测攻击[2]分为误用检测和异常检测。误用检测是将检测到的攻击与数据库中已有的特征进行比较，判断是否为入侵行为。误用检测只检测已知的攻击，异常检测检测的是一种新的攻击类型，与正常流量和已知的攻击类型不同。

许多研究者对入侵检测进行了研究。一般来说，研究人员试图利用公开的入侵检测评估数据集来区分正常类型和攻击类型，并确定确切的攻击类型。然而，在海量的实时数据集中对稀有类进行分类，计算时间长，很难达到较好的效率。为了通过调整分类比例来提高分类性能，需要建立和测试大量的实验数据集。

在本文中，我们提出了一种优化调整SMOTE的新方法[3.稀有类的比率。SMOTE比率元组的病例数量太大，无法检测所有病例。为此，我们提出以下有效的方法。我们随机生成了SMOTE比率的一些元组，并使用这些元组使用支持向量回归(SVR)创建模型[4］．我们在SVR模型中输入多个SMOTE比值元组，并从中选择最佳的SMOTE比值元组。使用该方法的实验结果明显优于之前的方法[5］．

我们通过提出的方法所做的贡献如下。我们建议如何通过很少的测试找到显示良好性能的SMOTE比率。因此，我们大大减少了寻找最佳SMOTE比率所需的计算量。我们相信所提出的方法对研究阶级不平衡是有帮助的。

本文的其余部分组织如下。部分2解释KDD CUP 1999数据集的相关工作[6]和课程不平衡。节3.，我们提出了本研究的背景。节4，我们提出了一种新的方法，利用采样的SMOTE比率建立数值模型。节5，我们解释我们的实验环境、程序和结果。本文在第一部分以我们的结束语结束6．

2.相关工作

2.1。知识发现(KDD)数据集

梁及李志强[7]在KDD CUP 1999入侵检测数据集上研究了基于无监督学习算法的异常检测。这些研究者提出了基于密度的聚类和基于网格的聚类算法。在基于密度的聚类中，一个聚类包含最小数量的数据点。该方法具有过滤离群点或寻找任意形状聚类的优点。在基于网格的方法中，所有的聚类操作都在一个网格结构上进行。该方法具有计算速度快的优点。使用该方法，分类器可以从未标记的数据中学习，并检测以前未发现的新的攻击类型。实验结果表明，该方法的精度与现有方法相当，且在计算复杂度方面具有一定的优势。

孟(8]在KDD CUP 1999数据集上研究了入侵检测机器学习技术。已有许多研究使用流行的方法，如人工神经网络、支持向量机[9和决策树。然而，这些方法很少用于大规模的真实入侵检测系统。本研究以实际异常检测为目标，在相同的环境下，与人工神经网络、支持向量机和决策树进行了对比研究。在对实验结果的分析中发现，采用机器学习技术的入侵检测系统对测试环境的依赖性很高，研究人员认为寻找一种合适的方法将机器学习技术应用到真实环境中是非常重要的。

戴维斯和克拉克[10[综述了基于异常的网络入侵检测系统的数据预处理技术。研究专注于网络流量分析和特征提取/选择。关于NID的大多数研究涉及网络流量的TCP / IP数据包标题。基于时间的统计数据可以从标题中派生来检测网络扫描，网络蠕虫和DOS攻击。近来，分析了全面的服务响应以检测目标客户端的攻击。这对审查方法可以检测到哪些攻击类。此述评显示通过有针对性内容解析审查要提取或选择最相关的功能的数据包的趋势。这些上下文敏感功能需要检测网络攻击。

Staudemeyer和Omlin [11]采用长短期记忆递归神经网络(LSTM-RNN)，利用KDD CUP 1999数据集评价分类性能。LSTM网络可以学习“记忆”，并利用时间序列数据建立模型。LSTM在他们修改的KDD CUP 1999数据集上进行训练和测试。通过实验得到了LSTM网络的结构和参数。几种性能指标被用来分析实验结果。结果表明，LSTM-RNN能够学习到训练数据集中所有未知的攻击类。此外，他们发现受试者工作特征(ROC)曲线和曲线下面积(AUC)都很适合评价LSTM-RNN。

Kim等人[12]提出了一种基于LSTM的系统调用语言建模方法，用于设计基于异常的主机入侵检测系统。这些研究人员使用集成方法来解决传统入侵检测系统中常见的虚警率问题。该方法可以有效地了解现有方法无法处理的每个系统调用的语义和交互。这些研究人员通过在公开可用的基准数据集上进行的多次测试，证明了该方法的有效性，并且该方法具有易于移植到其他系统的优点。

Kim等人[13[研究了使用深神经网络（DNN）的人工智能入侵检测系统，并在1999年的KDD杯数据集上进行了实验。使用数据预处理（如数据转换和归一化），用于将数据集输入到DNN模型中。创建学习模型时，DNN用于数据细化。完整数据集用于验证学习模型。用于验证DNN模型的检测效率，如准确性，检测率和假阳性率，如准确度，检测率和假阳性率等性能措施，并且该模型显示出良好的入侵检测性能。

Le等人。［14]研究了深度学习算法来解决机器学习技术(如支持向量机和k在入侵检测系统中假阳性率很高。他们发现了6个适用于LSTM-RNN模型的优化器，最适合入侵检测系统。Nadam优化器的LSTM结果优于以往方法，准确率为97.54%，检出率为98.95%，假阳性率为9.98%。在表1对入侵检测的相关研究进行了综述。

搜索引擎优化(5]试图调整列车数据的类别不平衡，以检测KDD 1999入侵数据集中的攻击。他用机器学习算法测试了高效的稀有类别，例如U2R，R2L和探针。他研究了提高分类的表现，重点是检测罕见课程。列车数据中罕见类别的情况分别增加了12,9和1.5倍。召回的指标k-NN测试在U2R类中增加到0.11，R2L类中的0.02。在U2R类中，SVM测试的度量增加到0.02，在R2L类中0.08，决策树测试增加到0.25。

2.2。班级不平衡

在japkowicz的研究中[15，大多数先前设计的概念学习系统都假定训练数据集通常是很平衡的。这种假设不一定正确。在实践中，大多数实例代表一个类，只有少数实例代表其他类。这些研究人员试图通过实验证明，类别不平衡会降低标准分类器的性能。这些研究人员比较了之前其他研究人员提出的几种方法的性能。

Japkowicz和Stephen [16研究了阶级失衡。据报道，类不平衡会降低一些标准分类器的性能。他们通过回答以下三个问题进行了系统的研究。首先，他们试图理解概念的复杂性，训练集的大小，以及类的不平衡水平。其次，他们讨论了几种基本的重采样或成本修正方法，以比较先前提出的类不平衡问题的效率。最后，他们假设类别不平衡问题也会影响其他分类系统，如决策树、神经网络和支持向量机。

Chawla等人[17]研究了SMOTEBoost算法。在数据挖掘中，大多数数据集都存在类不平衡的问题，数据挖掘工具从不平衡的数据集中学习。分类器从实例很少的少数类中学习，倾向于对多数类的预测具有较高的准确性。在分类器的设计中使用了SMOTE来训练非平衡数据集。他们提出了一种新的方法来学习不平衡的数据集，结合SMOTE算法和增强程序。不同于对所有错误分类的示例给予相同权重的标准boost, SMOTEBoost从少数类生成合成示例。SMOTEBoost通过更新和补偿倾斜分布间接更改权重。在将SMOTEBoost应用于多个类失衡程度较高或中等的数据集的实验中，对少数类和整体类的分类性能进行了比较F- 饲养得到改善。

德拉蒙德和霍尔特[18]使用了两种常用的抽样方法，将机器学习应用于不平衡类和误分类成本。他们采用了一种称为成本曲线的性能分析技术，利用决策树分类器C4.5来探索过采样和欠采样的相互作用。他们表明，将C4.5应用于欠采样可以建立一个合理的算法比较标准。然而，建议将成本最低的分类器作为标准的一部分，因为它比成本相对较低的欠采样更好。过采样对灵敏度影响不大，误分类代价对性能影响不显著。

周及刘[19[展示了采样和阈值移动在训练成本敏感神经网络中的影响。考虑过采血和欠采样。这些技术修改了培训数据的分布，以便通过该实例的外观明确地传达了实例的成本。阈值移动将输出阈值移动到廉价类别以提高分类性能。硬组合和软合动用于实验。在努力集合和软组合中，所有分类器都对每个类投票表决，并返回收到最多投票的类。两种合奏之间的差异是硬组合使用二进制投票和软合动使用实际值投票。在其实验中使用了二十一台UCI数据集和实际数据集。实验结果表明，随着类别的数量增加，类别不平衡程度恶化和分类效率恶化。阈值移动和软组合在训练成本敏感的神经网络中表现出相对良好的性能。

Liu等[9]采用欠采样的方法来解决班级不平衡问题。低采样是一种非常有效的方法，可以通过只使用多数类的子集来缓解类的不平衡。该方法的缺点是忽略大多数类的实例。他们提出了两种算法来克服这个缺点。首先，EasyEnsemble算法从大多数类中抽取几个子集，使用每个子集训练一个学习者，然后结合学习者的输出。EasyEnsemble内部使用AdaBoost集成。BalanceCascade算法按顺序训练学习者。在每个步骤中，被当前训练的学习者正确分类的大多数类的实例将从进一步考虑中删除。实验结果表明，两种方法都能得到比传统班级失衡更好的解。

Burez和Van den Poel [20.试图解决职业不平衡问题，以预测客户流失。客户流失是由更改服务提供者的客户引起的。客户流失在服务行业是非常罕见的事件，但它是一个非常有趣和信息丰富的研究领域。然而，数据挖掘背景下的类不平衡问题直到最近才引起人们的重视。他们研究了如何在流失预测中更好地处理职业失衡。他们通过适当的评价矩阵(如AUC和lift)进行了研究，以提高随机抽样和欠抽样的性能。他们比较了梯度增强、加权随机森林建模和一些标准建模技术。他们研究了随机欠采样和高级欠采样的性能。他们将梯度增强和加权随机森林的具体建模技术与一些标准技术进行了比较。在他们的实验中，使用欠采样提高了预测精度和AUC值。

Seiffert等人[21]指出，在各种应用程序中，类不平衡是一个普遍问题。我们使用了一些技巧来缓解职业不平衡的问题。他们使用了一种名为RUSBoost的混合采样/增强算法来训练倾斜的训练数据集。作为SMOTEBoost的替代方案，该算法更简单、更快。他们评估了RUSBoost、SMOTEBoost、随机欠采样、SMOTE和AdaBoost的性能。他们在不同的应用程序中选择了15个数据集，然后用4个学习者(C4.5D, C4.5N, naive Bayes (NB)， and repeated incremental pruning)进行实验，在4个评价矩阵上产生误差减少(RIPPER)。RUSBoost和SMOTEBoost都优于其他方法，而RUSBoost的性能与SMOTEBoost相同或更好。

洪等人[22]提出了一种基于支持向量机的入侵检测系统。该系统结合了层次聚类算法、简单的特征选择程序和支持向量机技术。聚类算法为支持向量机提供了更少、抽象和更高质量的训练实例。它能够缩短训练时间，并提高结果支持向量机的性能。通过简单的特征选择过程，得到的SVM模型可以更准确地对网络流量数据进行分类。使用KDD Cup 1999数据集对提出的系统进行评价。与其他基于相同数据集的入侵检测系统相比，该系统在检测DoS攻击和Probe攻击方面表现出了更好的性能，在总体准确率上表现最好。在表2，总结了与阶级不平衡相关的研究。

3.背景

3．1.知识发现(KDD)数据集

KDD CUP 1999数据集[6在我们的实验中使用的是对美国国防部高级研究计划局(DARPA) 1988年入侵检测评估计划生成的数据的修改。DARPA数据集是截获的数据，其中包含在军事网络环境中产生的广泛的攻击。该数据集为入侵检测的研究和评估做出了重要贡献。数据集由麻省理工学院林肯实验室准备和管理。1999年，改进的DARPA数据集被用于KDD CUP 1999入侵检测竞赛。麻省理工学院林肯实验室的实验环境与典型的美国空军局域网(局域网)相似。原始TCP转储数据是在9周内生成的。就像在真实的空军环境中一样，局域网被激活，各种攻击被执行。然而，它的缺点是真实数据中没有噪声。然而，KDD CUP 1999数据集作为克服基于签名的入侵检测系统漏洞的试验台，在检测新的攻击类型方面引起了许多研究者的关注。 The KDD CUP 1999 dataset is most widely used for the evaluation of such a system. There are many previous approaches using the dataset and it will be possible to compare the approaches with a new method.

表格3.表示KDD CUP 1999数据集中的文件及其详细信息。分别使用“kddcup.data_10_percent.gz”和“corrected.gz”文件作为训练数据和测试数据。训练数据是经过压缩的二进制TCP转储数据，这些数据是在大约7周内用大约500万条连接记录收集的。测试数据的收集大约需要两周时间。它们由大约200万条连接记录组成。连接记录是指从源IP到目的IP的TCP报文的集合，可以分为正常和攻击两类。在属于攻击类的连接记录的情况下，这些记录由一种特定的攻击类型表示。每个连接记录的大小大约为100字节。攻击类型分为DoS、R2L、U2R和Probe四类，如表所示4．

3．2．合成少数过采样技术

笑[3.]是一种使用来自稀有或少数阶级的现有的新实例的方法。首先，我们识别k-类中具有少量实例的最近邻，并计算样本与这些样本之间的差异k邻居。我们将差值乘以0和1之间的任意值，得到结果值。接下来，将使用结果值生成的实例添加到训练数据中。因此，SMOTE的工作方式是添加任何点，这些点可以在其邻居周围轻微移动现有实例。在增加稀有类实例数量方面，SMOTE类似于随机过采样。但是，它不会重新生成相同的实例。它通过对已有实例的适当组合来创建新的实例，从而在一定程度上避免了过拟合的缺点。

4.建模

4．1.问题定义

我们试图最大化具有类不平衡的KDD CUP 1999入侵检测数据集的分类性能。数据集存在严重的类不平衡。因此，需要对分类比例进行数据预处理，以缓解不平衡。类的不平衡可以使用欠采样、过采样和SMOTE技术进行调整。我们使用SMOTE技术。所有的SMOTE比率元组都应该进行测试，以优化每个类的比率。然而，对所有情况进行实验都有时间和成本的限制。因此，我们试图通过对SMOTE比率的几个元组进行实验，找到性能最好的SMOTE比率元组。公式(1)表示计算每个类的类失衡比例的方法。数字1显示了所提方法中使用的数据集的结构。表格5显示班级失衡比例训练，火车B哪一个是前一半训练，验证哪个是后半部分训练， 和测试．训练为列车原始数据。火车B和验证在表5基本上是一样的。火车B在表5在申请表中施加粉碎比率后显示该实例6．我们将U2R、R2L和Probe这三个类定义为稀有类，因为这些类的实例相对较少。

标签的基数D这些例子的平均标签数是多少D：

4．2．该方法

我们尝试优化稀有职业的SMOTE比率，以缓解职业的不平衡。很难在短时间内测试所有的SMOTE比值元组。因此，我们试图通过少量的实验找出一种有效的方法，并减少计算时间。

我们通过少量的实验创建了一个SVR模型，并试图通过向模型中输入足够多的SMOTE比值元组来获得最佳的SMOTE比值元组。并通过实验对结果进行了验证。实验中使用的100和1,000,000的个数是考虑计算时间而确定的，100个实例是均匀分布随机生成的。我们用随机抽样法代替网格抽样法。如果我们可以使用100多个实例，网格抽样是不错的，但该方法不适合对很少的实例进行统一抽样。通过初步实验，我们设定了稀有类的范围，如表所示7．

我们在最大范围内随机生成100元的张力比率7．我们通过将100元组输入到SVM分类器中进行实验。结果，对100元组中的每一个给予五个召回值。使用100元组和召回值的根均线创建SVR模型。我们随机生成1,000,000元的Smote比率，并将它们输入到SVR模型中以导出最佳解决方案。我们进行实验以验证最佳元组的质量。

公式(2)表示所提方法的程序。该方法在很少的测试下显示了良好的性能，并显著减少了寻找最佳SMOTE比率所需的计算量。数字2代表其伪代码。

建议方法的程序如下:（1)通过初步实验设置罕见课程的范围，如表所示7．通过输入连续搜索范围在哪里t为非负整数。（2）从均匀分布（独立变量）中随机地产生少量粉碎比率。（3)通过将元组输入SVM分类器绘制召回指标后，用这些指标(因变量)计算RMS。（4）创建SVR模型[4使用元组和RMS。(5）通过SVR模型从大量的元组中找出最优的元组，这些元组随机生成，分布均匀。

数字3.显示libsvm中方法的层次结构。表格8表示支持向量机的时间复杂度。表格9显示所提出的方法的时间复杂性。

5.实验

我们随机生成100元的粉碎比率，并使用元组创建SVR模型。我们通过将1,000,000个随机生成的SVR模型进行随机生成的粉碎比例来找到最佳元组。与先前的方法相比，使用最佳元组的实验结果提高了约20％[5］．SVR模型仅使用100元组的SMOTE比率生成。与SVR模型相比，计算时间大大减少，并找到了效率最高的SMOTE比率元组。

公式(3.)给出使用召回值的均方根(RMS)，召回值是使用U2R、R2L和Probe类的SMOTE比率的100元组进行实验的结果。这100个元组是在Table范围内随机生成的7．变量N是正常的,UU2R,RR2L,D是DoS，和P是Probe类。表格10表示支持向量机和支持向量机的参数。表格11显示了RNN-LSTM的参数。表格12显示了通过使用100元组的SMOTE比率和RMS创建SVR模型所绘制的度量。相关系数大于0.7，呈较强的线性正相关关系。RMSE为0.006，这意味着期望值与实际值的差非常小。由于相对方根误差是将实际值的标准差与预测值与实际值的差值进行比较的一种度量，因此它不是评价模型性能的一个重要因素。表格13显示了最佳元组实验的回忆指标。U2R的最佳元组代表1000次，R2L代表451次，Probe代表1次，如表所示6．表格6显示了该方法与前一种方法的SMOTE比值的差异。该方法在众多的打击率中寻找最优解，而之前的方法仅使用固定的打击率。

数字4比较了先前方法的提出方法的召回度量[5］．RNN-LSTM方法略优于其他方法。在SVM测试中，U2R、R2L和Probe类的性能分别提高了约22.6%、58.9%和2.3%。数字5表示用于创建SVR模型的U2R、R2L和Probe的SMOTE比率。表格14［22[通过检出率将提出的方法与其他工作进行比较。数字6显示了将1,000,000元组的SMOTE比率输入到SVR模型中得到的结果的均方根图。定义公式(3.）由于客观价值是使罕见的罕见课程的召回值良好的实验结果。最佳元组的RMS约为0.979。表格15显示先前工作的召回值[5］．

表16和17分别表示SVM和RNN-LSTM的混淆矩阵。我们用SVM和决策树对(火车B，验证)， (火车B，测试)和(训练，测试)数据集。结果表明，支持向量机算法优于决策树算法。表格16表示以往方法的召回值，支持向量机优于其他方法。所提出的支持向量机测试的参数和数据集与之前的测试相同。

6。结论

在本研究中，我们试图缓解KDD CUP 1999入侵检测数据集的类不平衡问题。结果，我们获得了最优的稀有类的SMOTE比率，通过创建SVR模型减少了实验次数，与之前的方法相比有了显著的性能改进[5］．SVR模型绘制的稀有类的最佳SMOTE比U2R为1000倍，R2L为451倍，Probe为1倍。rn - lstm中U2R的查全率为0.615,SVM中R2L的查全率为0.302,decision tree中Probe的查全率为0.997。

我们提出了一种新的方法来找到具有少量实验的最佳效率的最佳备用比率。所提出的方法大大减少了类的调整次数。因此，可以缩短实验所需的计算时间。

今后，根据SMOTE比值的元组数来研究试验结果的变化具有重要意义。我们可以使用其他机器学习技术创建的模型来确定更好的SMOTE比率。此外，我们将应用进化计算或其他元启发式算法来确定最佳元组。

数据可用性

用于支持本研究结果的KDD Cup 1999数据可供选择http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html．

利益冲突

作者声明他们没有利益冲突。

致谢

这项研究是由圆光大学在2017年支持的。

参考文献

1. 入侵检测系统，2018，https://en.wikipedia.org/wiki/Intrusion_detection_system．
2. R. C. Staudemeyer，“将长期内存经常性神经网络应用于入侵检测”，“南非计算机杂志第56期1, pp. 136-154, 2015。查看：出版商的网站|谷歌学者
3. N. V. Chawla, K. W. Bowyer, L. O. Hall, and W. P. Kegelmeyer， " SMOTE:合成少数民族过采样技术"，人工智能研究杂志，第16卷，第321-357页，2002。查看：出版商的网站|谷歌学者
4. A. J. Smola和B. Schölkopf，“支持向量回归教程”，统计和计算，卷。14，不。3，pp。199-222,2004。查看：出版商的网站|谷歌学者
5. J. H. Seo，“基于机器学习的不平衡入侵检测数据集分类性能评估研究”，韩国情报系统研究所学报第27卷第2期5, pp. 466-474, 2017。查看：出版商的网站|谷歌学者
6. S. J. Stolfo，“KDD杯1999数据集，UCI KDD库，”1999，http://kdd.ics.uci.edu．查看：谷歌学者
7. K. Leung和C. Leckie，“使用集群的网络入侵检测中的无监督异常检测”，在澳大利亚计算机科学会议第二十八岁课程，第38卷，第333-342页，澳大利亚纽卡斯尔，2005年1月。查看：谷歌学者
8. Y. X. Meng，“网络异常入侵检测使用机器学习的实践”机器学习与控制论国际会议论文集， vol. 2, pp. 576-581, IEEE，桂林，2011年7月。查看：谷歌学者
9. M. A. Hearst, S. T. Dumais, E. Osuna, J. Platt，和B. Scholkopf，《支持向量机》，IEEE智能系统及其应用，第13卷，第2期4、1998年第18-28页。查看：出版商的网站|谷歌学者
10. J. J. Davis和a . J. Clark，“基于异常的网络入侵检测的数据预处理:综述”，计算机和安全，第30卷，第2期6-7, pp. 353 - 375,2011。查看：出版商的网站|谷歌学者
11. R. C. Staudemeyer和C. W. Omlin，“在入侵检测数据上评估长短期记忆循环神经网络的表现”，刊于南非计算机科学家和信息技术学家会议南非学院课程 - Saicsit'13， 218-224页，ACM出版社，伦敦，2013年10月。查看：谷歌学者
12. G. Kim, H. Yi, J. Lee, Y. Paek, S. Yoon，“基于lstm的系统调用语言建模和基于主机的入侵检测系统的鲁棒集成方法”，2016，http://arxiv.org/abs/1611.01726．查看：谷歌学者
13. J. Kim，N. Shin，S. Y.Jo，以及S. H. Kim，“使用深神经网络的入侵检测方法”IEEE大数据与智能计算国际会议论文集， pp. 313-316, IEEE，济州岛，韩国，2017年2月。查看：谷歌学者
14. T. T. H. Le, J. Kim，和H. Kim，“使用梯度下降优化的长短期记忆的有效入侵检测分类器”平台技术与服务国际会议的诉讼程序（PLATCON），第1-6页，釜山，韩国，2017年9月。查看：谷歌学者
15. N. Japkowicz，《阶级不平衡问题:意义与策略》，载于2000年国际人工智能会议论文集，第pp。111-117,2000。查看：谷歌学者
16. N. Japkowicz和S. Stephen，《阶级失衡问题:系统研究》，智能数据分析，第6卷，第429-449页，2002。查看：谷歌学者
17. N. Chawla, A. Lazarevic, L. Hall，和K. Bowyer，“SMOTEBoost:在促进中改进少数群体的预测，数据库中的知识发现:PKDD”，刊于欧洲数据挖掘和知识发现原则会议的诉讼程序，第107-119页，2003。查看：谷歌学者
18. C. Drummond和R. C. Holte，“C4.5，类别不平衡，和成本敏感性:为什么欠采样优于过采样”从非衡度数据集学习的研讨会诉讼程序II，第1-8页，华盛顿特区，2003年。查看：谷歌学者
19. Z. H.周和X. Y. Liu，“培训成本敏感的神经网络与解决类别不平衡问题的方法，”知识和数据工程的IEEE交易第18卷第2期1，页63-77,2006。查看：出版商的网站|谷歌学者
20. J. Burez和D.Van Den Poel，“在客户流失预测中处理课程不平衡”，专家系统与应用第36卷第2期3, pp. 4626-4636, 2009。查看：出版商的网站|谷歌学者
21. C. Seiffert, T. M. Khoshgoftaar, J. Van Hulse, a . Napolitano，《RUSBoost:一种缓解阶级不平衡的混合方法》IEEE Transactions on Systems, Man, and Cybernetics-Part A: Systems and human，第40卷，第5期。1，页185-197,2010。查看：出版商的网站|谷歌学者
22. S. J. Horng，M. Y. Su，Y.Chen等，“基于分层聚类和支持向量机的新型入侵检测系统”，专家系统与应用第38卷第2期1, pp. 306 - 313,2011。查看：出版商的网站|谷歌学者
23. A. Abdiansah和R. Wardayo，“Libsvm中的支持向量机（SVM）的时间复杂性分析”，国际计算机应用杂志，第128卷，第128号3, pp. 28-34, 2015。查看：出版商的网站|谷歌学者
24. A. N. Toosi和M. Kahani，“一种基于神经模糊分类器进化软计算模型的入侵检测新方法，”电脑通讯，第30卷，第2期10，pp。2201-2212,2007。查看：出版商的网站|谷歌学者
25. B. Pfahringer，“赢得KDD99分类杯:袋装助推”，ACM SIGKDD探索通讯， vol. 1, no. 12，页65-66,2000。查看：出版商的网站|谷歌学者
26. I. Levin，“KDD-99分类器学习竞赛:LLSoft的结果概述”，ACM SIGKDD探索， vol. 1, no. 12，页67-75,2000。查看：出版商的网站|谷歌学者
27. M. R. Sabhnani和G. Serpen，“基于误用检测上下文的机器学习算法在KDD入侵检测数据集中的应用”机器学习国际会议的诉讼程序：模型，技术和应用，页209-215，拉斯维加斯，内华达州，美国，2003年6月。查看：谷歌学者
28. 徐仁、Famei、荣胜，“基于粗糙集理论框架的入侵检测系统建模”，发表于建模，控制和自动化计算智能国际会议的诉讼程序，2006年和智能代理，网络技术和互联网商务国际会议，第24页，奥地利维也纳，2006年11月至12月。查看：谷歌学者

版权

版权所有©2018徐在贤、金容赫。这是一篇发布在知识共享署名许可协议，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。