结合的缺点 N3、本文提出了一种改进的 N克算法使用多个滑动窗口(1、2、… N);克的位置信息是记录的同时,促进随后的功能特性之间的融合和关联规则分析,最后获得候选特征模式设置位置和频率(算法 1。

输入:协议数据帧set-DataSet = { 我₁, 我₂, 我₃、… 我 _n},

频繁模式集以上位置信息提取的算法。每一项在生成的模式集是一个固定长度的字符串长度1−模式 n。然而,由于采用了多个滑动窗口 N蟋蟀在数据分割,必须有一定重叠模式。因此,在频繁模式集有冗余,所以有必要进行融合模式。根据未知信息的特征项和频率信息,特征项与冗余子串和特征项的位置差异等于冗余子串的长度相结合,最后融合特性模式设置。

如果频繁模式集获得协议切分的时候包含三种模式,“42广告,”“2 ad2”和“c200”,这三个特征字符串的位置接近,频率差别不大,不同位置都是1。很明显,“42广告”和“2 ac2”包含冗余的字符串“2广告,”和冗余的字符串是前面的字符串的后缀和前缀下面的字符串。然后合并后的字符串“42 ad2”可能是该协议的特征字符串。同样,“2 ac200”也可能是这个协议的特征字符串,和这两个合并特征字符串是进一步合并获得“43 ac200。”

对于一些协议的字符流类,本文采用的方法使用固定分隔符(例如,“,”;“”;” n”;市场细分等)。单词分割后的位置是不同的 N克算法,但词的位置。该方法有效地解决了字符类协议,类似于HTTP协议。

后 N克数据分段,将获得候选人特性模式设置,,从特性集的特点,有很多冗余的和无用的功能。因此,功能检查是必需的。一方面,有必要排除无用的功能和减少后续的特性集的维数分析改进算法的时间效率;另一方面,过滤掉无用的特征后,它可以有效地改善功能的准确性。最后,协议是被过滤后更准确的特性集。

每个数据流划分为一组固定长度的字符串数据。我们将这些集合分成两个随机的和相等的部分。理论上,统计后,两者之间的相似之处应该是非常高的。字符串,但是,如果有一些噪声两个样本的相似性数据将减少。因此,如果这些冗余的字符串是移除在计算,计算结果将相应提高。为了减少冗余的影响字符串,字符串与频率低于阈值可以提前过滤。这确保了两个样本集更相似。在实验中,根据不同的情况下,应该选择不同的阈值和Jaccard系数这两个集过滤后通过阈值计算,分别。通过这种方式,两个集合的相似度是最高当Jaccard系数达到最大。频率对应的阈值阈值需要确定。 Finally, according to this threshold, the pattern whose frequency is less than this threshold is eliminated for the subsequent operation.

根据协议流数据的特点,结合的结果 N实验中,蟋蟀Jaccard系数需要重新定义具体如下。

整个协议流数据集,数据集,然后执行 N蟋蟀细分为整个数据集,将结果分成两个大小相同的子集DataSet1 DataSet2随机和同样的,然后在降序排序模式字符串根据每个模式的出现频率字符串。这两个分类数据集可以如下: (1) 数据集 1 = 一个 项 1 : 一个 θ 1 , 一个 项 2 : 一个 θ 2 , … , 一个 项 n : 一个 θ n , 数据集 2 = b 项 1 : b θ 1 , b 项 2 : b θ 2 , … , b 项 n : b θ n , 在哪里 θ _我代表每个特性的频率。根据上述设置,Jaccard系数可以专门定义。所示的定义是以下方程: (2) 协议 _ Jaccard = ∑ 我 = 1 n 一个 θ 我 ∗ b θ 我 ∑ 我 = 1 n 一个 θ 我 2 + ∑ 我 = 1 n b θ 我 2 − ∑ 我 = 1 n 一个 θ 我 ∗ b θ 我 。

我们可以看到从方程( 2),类似于原始Jaccard系数,重新定义了Jaccard系数的值也在0和1之间。从这个公式我们可以看到更多类似的两套,值越大,价值越小。的伪代码计算Jaccard系数算法所示 2。

输入:一组协议切分后频繁模式组= { 年代₁, 年代₂, 年代₃、… 年代 _n}

根据上述算法,可以获得相应的最大Jaccard值的频率,频率设置为过滤阈值,根据频繁模式集可以过滤。

在未知协议流,有固定位置模式字符串和模糊字符串。正则表达式自动提取算法的最终结果是生成普通的树将固定字符串和模糊字符串连接在一起。遗传编程算法,采用树编码方法,在每一个人在人群中是一种有效的正则表达式树,在树上和nonleaf节点设置为正则表达式运算符: (1)

连接节点”。,”来connect leaf nodes or other nodes

树叶在树上如下: (1)

字符、数字,或者常见的符号

最初的人口是通过随机初始化,全球搜索空间是通过染色体之间的交叉变异和随机组合,和整个算法过程的“超越”是通过适应度函数进行的。

从本文我们可以看到,如果遗传规划可以收敛到一个稳定状态后一定数量的迭代,应用本章的问题将收敛于一个更“代表”正则表达式。因此,证明算法的合理性证明上述假设。为了解决上述问题,我们需要引入一个马尔可夫链,定义如下: (1)

符号 p t 代表不同的状态的概率 t

本节将验证文中提出的算法,测试特征提取算法的可行性和有效性为私人协议,并获取算法运行的效率。该算法的测试环境如表所示 1。

实验中的数据来源分为两个部分:已知和未知格式协议数据协议数据。已知的协议数据被选中的darpa - 2000数据集。这个数据集包含了58种典型攻击数据流。这些流可以分为五个典型的攻击类:DOS, U2R,探测器,R2L和数据。作为一个最全面的协议数据集,这个数据集是广泛应用于入侵检测,协议分析,协议识别、和其他领域。在我们的实验中,三个已知的协议,ARP协议、ICMP协议和HTTP协议,从实验数据中选择。

其他类型的未知协议,从多个日志系统捕获的数据包主要是在Linux下运行。之后,私人协议数据帧通过数据预处理模块。然后特征提取和验证为私人协议执行期间使用日志转移。因此,本文提出的方法是验证。本文中使用的未知格式协议数据传输的数据FASP协议。作为一个高效的大数据传输技术、FASP协议各广域网传输速度测试表现良好,被应用在许多不同的领域,如生命科学、云计算、和媒体。因为FASP协议是一种专利协议,协议的格式不披露,其传输的数据格式并不是公布,所以协议数据适合作为系统的测试数据。