文摘
工业控制数据集有很多特性和大的冗余,也有一定的影响神经网络的训练速度和分类结果异常检测算法。然而,功能是相互独立的,和降维往往增加了假阳性率和假阴性率。功能排序算法可以减少这种影响。为了选择适当的特征序列不同的数据集的算法,本文提出了一种自适应特征基于数据集的排序方法评价指标参数。首先,评价指标体系构建的基本信息数据集,数据集的数学特征,和协会的数据集,然后选择决策树训练得到的模型与数据标签和评价指标,选择合适的特征排序算法。11日实验数据集,包括Batadal数据集,CICIDS 2017年,密西西比州数据集。ResNet测序数据集进行分类。测序数据的准确性在30代平均增加2.568%,每个时代和减少的平均时间是24.143%。实验表明,该方法可以有效地选择排序算法的特性与最佳的综合性能。
1。介绍
随着工业控制系统的发展(1)和数字通信技术、工业控制网络需要面临越来越多的外部网络访问攻击(2- - - - - -3]。因此,更多的研究进行了异常检测算法(4- - - - - -8]。然而,在数字化的过程中,工业控制数据的特征尺寸增加,从而增加了数据处理任务的复杂性。这将导致成本的增加学习成本和记忆在异常检测,这限制了学习模型的建立[9]。如何减少之间的复杂特性和加速模型的建立已成为迫切需要解决的问题。
特性工程方法常常是用来减少特征的复杂性。Porizka et al。10)主成分分析算法应用于激光诱导击穿光谱处理检测到多元信号(特征光谱),但主成分分析算法将地图数据特点,从原始特征和结果是不同的。陈等人。11)使用蚁群算法来选择功能,消除冗余特征,和改进的速度深度强化学习培训,但模型的泛化能力降低后减少的特性。
功能测序方法已经广泛应用于各种工程项目,如过滤方法(12),皮尔逊相关系数,斯皮尔曼相关系数(13),信息熵14],套索[15),弹性网络(16),递归特性消除基于支持向量机(17),贝叶斯内核模式18),和梯度学习(19]。此外,还有许多研究在特定的应用程序场景。Pandeya et al。20.]裁判算法适用于银行业的风险特性识别、指定数据的特征根据信贷风险分类的价值,通过重复抽样评估它的价值,给了重量。然后,这些权重是用来单独的相邻数据相同的和不同的信用风险完成测序的风险特性。结构损伤检测的民用住宅,周et al。21)处理收集到的振动加速度信号通过小波包分解,并改名为初始能量的特性集,然后通过RF-REF算法消除了最重要的特征,评估重要的序列特征的重要性,并完成了重新排序的功能。梅等。22]研究发现生物标记的问题,使用随机森林和RReliefF排序算法特性,并比较了功能添加曲线和反向特性曲线的两种算法在两个不同的数据集,以及排序稳定。
上面引用的所有介绍功能排序算法,但功能测序方法的效果在不同的数据集是显然不同的。当方法和应用程序场景特性之间的一致性较低,选择冗余等问题,无法检测所有功能之间的关系,和高的计算复杂度23,24]。本文提出一种方法来快速找到一个适当的功能重新排序算法对数据集。
针对上述问题,本文的主要目标可以总结如下:(1)建立评价指标体系的基本信息数据集。(2)完成测序方法自适应功能。
目前的工作可以分为五部分。部分1介绍了功能改善的必要性排序算法在一个工业控制系统。部分2描述了当前工作中使用的方法。然后,部分3描述了实验设计。部分4描述结果,讨论和结论部分中详细描述5。
2。方法
在工业控制领域的异常检测,特征排序算法是一个预处理算法用于神经网络检测系统参数信息,主要是为了解决相关的不确定性的影响维度之间神经网络算法。本文中的算法主要分为建设评价指标体系和决策树模型,如图1。
本文实验数据集的输入,测序数据集排序后得到的不同特征排序算法。然后,测序数据集的参数在计算评价指标体系。最后,基尼系数是用于构造决策树模型来完成选择方法和实现程序功能。具体步骤如图所示2。
2.1。评价指标体系
调查后,建立了一套评价指标体系,从多个角度分析不同数据集的特点(25,26]。本文的评价指标体系构建的基本信息数据集,数据集的数学特征,和程度的协会的数据集。数学特征包括数据分布、数据关联和数据共线性。最后,评价指标包括8 3分类和索引5子范畴。不同的数据集和不同功能排序算法,评价指标用于评估数据集。指标如表所示1。
2.1.1。评价指标
(1)维度的数量。维度的数量可以反映数据集的复杂性。一般来说,更多的维度的数据集,数据集包含更多的信息。
(2)类别的数量。类别的数量是不同的数据集。类似的数据集合的数量、类别的数字代表越多,所包含的数据类型和数据集的复杂性越高。分类的数量将直接影响到算法的检测效果的数据集。因此,分类的数量也被用作评价指标参数的数据集。
(3)方差。方差是一个随机变量的分散测量或在概率论和统计的数据集。大的方差表示高度的数据分散和小方差表示强烈程度的数据聚合。
(4)类别之间的不平衡率。在multiclassification数据集,每个类别包含不同的样本大小。这种情况会导致不平衡的分配数据类别,可以被计量的类别之间的不平衡比率(IR)。IR值越大,样本数据的类别分布不平衡,这很容易影响分类精度。
(5)KL散度。KL散度是用来计算累计区别真实事件的信息熵和信息熵理论拟合。它可以用来测量二维分布之间的距离。当在二维空间分布是相同的,KL散度为零。当二维分布的差异增加,KL散度也增加。
(6)曲线拟合程度。曲线拟合程度(CFD)也是一个体现的数据重复。数据趋势的程度可以用CFD重复。工业控制系统的数据冗余度可以通过CFD计算。
(7)方差膨胀系数。方差膨胀系数(VIF)测试的线性相关性特征数据集。这个指数参数可以选择功能,并有很强的独立性和增加模型的可解释性。
(8)特性选择比率。特征选择可以计算关联维的程度,所以特征选择的比例作为评价指标。当特征选择方法用于特征筛选的数据集,保留特性不同的数据集的数量是不同的。例如,套索算法被用来从密西西比河选择特性数据集(27),只保留4特性和22个特性被删除。相同的特征选择方法用于CICIDOS 2019数据集的特征选择和34个特征被保留和4功能删除。相同的特征选择方法在删除功能的比例有显著差异的数据集。因此,保留的比例特性,特征选择的特征直接相关的数据集,可以用来测量数据集之间的差距。特征选择比的计算公式如下: 在哪里N数据集的维数,是功能的数量获得通过套索数据集的特征选择算法,然后呢由特征选择算法特征选择的比例在所有维度。
2.1.2。计算评价指标体系
根据上述特征排序方法,不同的方法被用来进行特性为每个数据集排序然后上述评价指标计算。每个数据集的评价指标参数结果计算的参数数据集。毕竟数据集计算,评价指标参数集。
为了验证上述评价指标,选择五个不同的数据集来计算上述指标,分别。数据集包括密西西比河数据集(27),油库的数据集,CICIDS 2017 (28],葡萄酒数据集[29日[],Csgo数据集30.]。结果如图所示3。
如图3上述评价指标有很大的差异在不同的数据集。索引是高度相互独立的分布,可以区分不同的数据集。当使用决策树分类算法,每个索引参数可以作为一个功能来构造节点之间的亲子关系,然后节点可以根据构造评价指标的计算结果。所选指标参数可以从不同的角度反映了数据集的情况下,适用于决策树算法。
2.1.3。标签
数据集是根据不同功能的排序算法。据的准确性和时间序列数据集的分类算法,识别原理的计算公式如下: 是神经网络异常检测的准确性后j特征排序算法采用第i个数据集,然后呢x选择方法选择吗x测序方法特征。当相同的数据集有多个相同的最高精度(通常100%的准确率同时),我们用时间来确定。计算公式如下: 是KTH的排序算法中精度最高的其余功能排序算法我th数据集和每个替换的时间神经网络异常检测。选择后的结果是方法X数据集是贴上X。
2.2。功能排序算法
特征排序算法可以找到高的维度的重要性,它可以根据重要性分数序列功能改变之间的距离特性。通过这个方法,我们可以解决不确定性问题的邻近的工业控制系统数据维度之间的相关性,实现异常检测算法的收敛加速效应特征排序算法。在前面的实验中,套索正规化特征选择算法用于特征排序,但该算法对不同的数据集有不同的影响。因此,本文选择几个共同特征处理方法作为实验的特征排序算法。
常见的测序方法包括特征选择方法,正则化方法,随机森林方法,顶级的选择方法。在调查之后,本文选定4类别和7算法,包括皮尔森相关系数(13),线性回归,L1正规化31日],L2正规化[32),随机森林33)、稳定选择顶级选择算法(34],递归特性消除顶级选择算法(35]。选择合适的特征序列算法的实验。选择算法如表所示2。
2.3。决策树模型建设
决策树(36- - - - - -38)可以使用复杂的非线性模型以适应数据和回归分析改变杂质的测量。类似于线性回归模型,相应的损失函数和决策树用于回归测量杂质(39]。构造决策树的每个数据集作为节点的评价指标,并选择最合适的特征选择算法在不同数据集后评价指标参数设置和标签在传递。具体步骤如下。
(1)功能分割节点。遍历所有功能,信息熵的变化值之前和之后的数据集计算除以 。然后,信息熵的特性与最大的变化是选为划分数据集的基础,也就是说,信息增益最大的特点是选为分裂节点。
在这里,代表元素的发生的概率的维度。当概率更接近于0或1,信息熵的值小。概率值为1时,信息熵是0和数据分类是单身。在特征选择,选择信息增益最大的特性,物理使数据变换尽可能在一个方向。信息增益是一个衡量的程度的数据变得更加测序。
(2)决策树结构。首先,信息熵计算数据集分区之前。其次,信息熵分割后的数据集根据每个特性计算和特性选择信息增益最大的节点将数据作为数据分区。最后,所有个子数据集分区递归处理后,和上面的步骤是重复的功能,没有选择的选择最优数据分区功能分区的分子数据集。
一般递归结束在两个条件:所有功能已被使用或分区后的信息熵增益足够小,也就是说,尽可能多的分裂的数字属于同一类别。
(3)决策树修剪。由于噪声和其他因素的影响,样品的一些特性的值不匹配样本的类别本身和一些树枝和树叶的决策树生成基于这些数据会产生一些错误。特别是在决策树附近的树枝和树叶,由于样本少,无关因素的干扰越来越突出。生成的决策树可能会过度拟合,所以整个决策树的分类速度和准确度可以通过删除不可靠的树枝修剪提高。
决策树的建立之后,它只需要输入的结果数据评价指标参数来选择一个排序算法匹配特性,从而完成自适应算法的设计。
3所示。实验的细节
实验环境如下:操作系统Windows Server 2016数据中心英特尔CPU (R)至强(R) v4 @ 2.20 GHz CPU e5 - 2650GPU NVIDIA GeForce GTX 1080 Ti运行时环境Python 3.8Pytorch 1.7.0
3.1。数据集
有11个实验中使用的数据集,包括Batadal数据集(40),CICIDS 201728],密西西比数据集[27),油库数据集(自助建站数据集),Csgo数据集(30.)、邮件数据集(41)、水质数据集(42],葡萄酒数据集[29日),手机价格数据集(43),Mnist Csv数据集(44),和音乐类型数据集(45]。
Batadal数据集是新加坡水生植物的一部分数据集,由,建立网络安全研究中心的新加坡科技设计大学。数据集是一个完整的物理中型供水网络,c-town水系统。该系统包括1独立的储层,5阀,5个泵站,11个泵,7储罐,管道接口,388和423。从安全的水处理和供水系统,系统的实际运行状态和攻击后的真实数据进行排序并记录为竞争形成多个公共数据集。
CICIDS 2017年公布的加拿大网络安全研究所(CIC)正是在弗雷德里克顿的新布伦瑞克大学的几个研究公众对网络安全科学研究的数据集。这是一个入侵检测评估与正负样本数据集。
密西西比河数据集被密西西比州立大学出版。为了研究SCADA系统在正常的网络流量和攻击条件,密西西比州立大学构建一套基于SCADA系统的所有物理对象和2014年建立的一套标准化的数据集,数据集包括网络流、过程控制和过程测量28攻击两个实验室的工业控制系统的特点采用MODBUS应用程序层协议。天然气储罐数据集包含攻击的基础业务数据集。攻击类型包括侦察攻击,响应注入攻击,命令注入攻击和拒绝服务(DoS)攻击。
此外,油库数据集是一个合作单位提供的数据集,包括数据和126年的132000件特征维度。积极的和消极的样本分为11类。其他7发布的数据集是公共数据集KAGGLE平台,和所有的数据集都在CSV格式。
数据集的一些基本信息如表所示3。
3.2。实验的程序
实验步骤如下:(1)11个数据集分为训练集和测试集,其中8训练数据集用于模型训练和3测试数据集用于模型试验(2)所有数据集评价指标计算,具体指标部分所示2.1.1(3)功能排序算法预处理8训练数据集,和每个特性排序算法生成一个测序数据集根据原始数据集(4)测序数据集进行分类使用异常检测算法获取精度和运行时间(5)在步骤2中训练数据集的指标作为特征,每个数据集都根据标记步骤4的结果作为参考,他们投入的决策树训练,和选择模型(6)在步骤2中测试数据及指标作为特征输入到选择决策树模型获得选择的结果
4所示。结果分析
实验数据集分为训练集和测试集,训练集包括Batadal数据集,油库的数据集,Csgo数据集,邮件数据集、水质数据集,手机价格的数据集,Mnist Csv数据集,和音乐风格测试集包含CICIDS数据集。2017年,密西西比州的数据集,数据集和葡萄酒。根据评价指标的计算结果,选择训练集的决策树生成和选择的特征排序算法生成模型。
ResNet异常检测算法采用在这项实验中,大部分的最后精度达到100%的处理上述数据集。为了便于比较,稳定的迭代结果30代被用于实验和计算精度和迭代速度。结果如表所示4。
表4显示了数据集的分类结果ResNet训练集的算法。准确性指的是结果的准确性,和时间指的是分类。粗体部分是最优项标签根据识别原理决定的。确认后的评价指标参数和标记训练集,训练集被输入到决策树来完成决策树的建设。然后,测试评价指标参数设置数据输入得到决策树选择测试的结果集。
表5显示了数据集的分类结果在测试设定的ResNet算法。粗体部分是决定结果的决策树模型。比较选择的结果和其他方法的结果表明,选择的特征排序算法模型的三个测试集优化或更好。
后自适应算法选择最优特征排序算法排序,异常检测算法的结果进行了比较与排序之前,如表所示6。
粗体部分的表6的结果,可以看出11排序后的数据集通常比之前和之后除了Csgo测序数据集。这两个指标的比较如图4。
图4显示精度和时间之前和之后的对比排序算法为每个数据集。左边是精度比较图表。可以看出Csgo数据集排序后的准确性略低于之前,和其他数据集的准确性高于之前或100%。右边是每一代人的平均时间的对比图。所有数据集的排序算法可以减少计算时间。
5。结论
本文旨在设计一个自适应算法找到最优特征排序算法对不同的数据集。通过各种评价指标的数据集和决策树算法,排序算法选择合适的特征。选择的算法序列数据集的特性,然后测序数据集分类的神经网络异常检测算法。本文比较了各种功能排序算法对异常检测精度的影响和训练速度和验证的影响选择的算法自适应方法。
摘要7共同特征排序算法和11个公共数据集用于工业控制领域和其他领域用于实验。在实验结果中,特征选择排序算法该算法对所有的数据集是最高的算法精度和更高的训练速度比一般的速度。
通过比较原始的数据集不是由该算法处理处理11的数据集的异常检测算法,结果表明:30代的准确性的数据集平均提高了2.568%,每一代的所有数据集的平均时间缩短24.143%。该算法可以有效地选择特征排序算法适用于不同的数据集,提高异常检测的准确性,减少训练时间,减少的影响特性分布的异常检测算法。
本文主要研究了自适应算法应用于工业控制系统的数据。所选实验具有高度针对性的算法和索引,因此,算法具有一定的局限性。实验结果表明,该算法的精度低于前处理在实验中使用Csgo数据集。下一步是完善评价指标体系,增加实验数据集来增强选择方法的普遍性。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作是由biptacf - 008。