对于一个数据集 D 的 n 点, D = d 1 , d 2 , … , d n 。每当数据点 d 我 或者整个的一组数据点 d 1 , d 2 , … , d n 大大偏离了这些其他集,这些点被认为是离群值。

的两个数据点 d 我 和 d n 一个数据点 d 我 被认为是邻居的 d n 如果两个之间的距离不超过阈值的距离 R > 0 。换句话说,如果 d 我 不超过 R 从 d n ,那么它就是一个邻居的 d n 。一个数据点 d 不能一个邻居的本身。

基于滑动窗口的基于时间的窗口和点窗口两种类型的窗口模型通常用于数据流。前者考虑了数据点的时间间隔内两个确定数据点,例如,在点 x 和 y , t x 和 t y 。后者因此认为计数数据点在指定窗口的大小。

微簇时形成一个数据点的半径 R / 2 从中心和微簇,两个数据点之间的距离,让我们假设 d 1 和 d 2 ,不应超过 R 。

微簇的功能在我们的技术如下:我们应用微簇最小化范围查询和最小化基于距离的计算。微簇消除过度范围查询的需要通过存储你的邻居在微簇的数据点。因此,提高底层评价指标:内存和时间消耗。提出的方法中采用的微簇给不再需要的优势范围查询和控制计算的距离。除了在内存中只存储重要的窗,微簇也提高内存约束,因为单个微簇有能力获得每个对象的社区信息在同一集群。

在图 1,我们可以看到这一点 W 1 = t 1 − t 14 和 W 2 = t 10 − t 21 ,在那里 W 2 是当前窗口 W 1 是过期的窗口。fast-incoming数据点 dp 从1到23日的数据流。根据定义,数据流是一个无限数量的数据点在一个特定的时间戳或无界序列。也就是说,数据流 我 = 年代 t | 0 ≤ t , t=时间和 dp , 年代 我 = 1、2 , n = 年代 1 , 年代 2 , 年代 3 , … , 年代 n 。每一个 dp 在其窗口有一个邻居,但不能一个邻居。你的邻居的任何特定的数据点 年代 我 不得超过所需的距离阈值 R ,从对方。例如,在图 1, dp 1、2、4、5 是3的邻居,而 17日,18日,20日,21日 是19岁的邻居。邻居们发挥着至关重要的作用在整个异常值检测过程;因此,我们特别注意他们。

在 W 2 幻灯片,或者当窗口,确定数据点是局外人或窗可以创建额外的约束数据点由于进化的本质。一些邻居会到期,如 dp 8、9 在 8 − 12 ,成为过时当窗口幻灯片。在不同窗口中阶段,如何执行聚类的问题,如何使用最少的修剪最重要的数据点,如何处理传入和过期了 dp ,和什么样的集群技术应用,同时,要求该集群技术满足确保(1)集群捕捉更多 dp 和(2)内围层或正确检测到异常值,计算最低的成本计算成为可能。

我们做了我们的实验设计使用Java源代码,跑在Eclipse Java EE IDE 10 PC上运行Windows操作系统3.20 GHz CPU X4, 8 GB内存,230 GB的磁盘空间。基线算法之一就是从以前的工作 8),另一个是由Tran et al。 32]。一些基本方法的源代码和所有相关数据集可以在网上找到库( 32]。

我们使用类似的基准数据集,采用一些先前的研究 8, 32]。如表所示 3中,我们使用三个真实的数据集和一个公开访问的合成数据集。第一个数据集是森林Covertype (FC) ( 7, 32)公开可用的,可以找到来自UCI机器学习库和581012条记录了高维1-55范围属性。数据集包含树的观察从四个区域的罗斯福在科罗拉多州国家森林。它没有遥感,在整个观察地图变量从30 m×30 m的森林。FC数据集包含的信息影子覆盖树类型,距离附近的地标,土壤类型和当地的地形。原始形式的数据(而不是扩展),包含二进制(0或1)列数据的定性的独立变量(荒野地区和土壤类型)。

第二个数据集采用我们的实验是热带大气海洋项目(道)数据集 32, 33),这是一个低维数据集和三个属性和575,648条记录。数据集是实时数据提取从国家海洋和大气管理局的网站 33]。道成立得到有用的见解和预测气候变化与厄尔尼诺南方涛动(ENSO)。ENSO现象,意味着地球上最强的同比气候不稳定。其事件无疑打断正常的天气模式的可变性,从而令人不安的农业、交通、太平洋海洋生态系统,能源生产,数以百万计的世界各地的人们的生活。

股票数据集只有一个属性,它可以从宾夕法尼亚大学沃顿商学院的研究数据服务( 34包含1048575条记录。数据集显示股票交易的痕迹每天大约100万个事务在整个交易时间。自从沃顿研究数据服务不方便,可用的数据可以在网上找到库( 32)一起在这个实验中使用的其他数据集。

为合成数据集,我们使用高斯数据集( 32]。生成数据集产生与测量数据流分布类型和数量的异常值。它是由混合三个高斯分布和随机噪声分布,并与单个属性包含100万条记录。在每一段的流,高斯分布的点和噪声是随机分布的。

在进行实验之前,我们考虑到幻灯片的大小 年代 ,窗口大小 W ,距离阈值 R 和邻近的计数阈值 K 。窗口大小 W 是关键参数决定了数据流的体积和数量满足集群,而滑动年代影响速度和其余的参数有助于确定进化数据点内围层或异常值或他们是否属于一个集群。的默认值 W , 年代 , R , K 表所示 3为不同的数据集。

我们评估我们的方法使用三个评价指标:运行时间、内存使用情况,和聚类质量。运行时间是时间完成检测的异常值为每个窗口滑动。内存使用的纪录峰值内存使用量在孤立点检测的过程中,为每个窗口包括存储数据。最后,聚类质量定义了如何准确地集群数据集的方法。

我们选择三个最先进的算法,MCOD [ 4, 35] 打 _ 飞跃 用泥块,MCMP比较。MCOD和 打 _ 飞跃 是现有方法中表现最好的 36]直到混合方法称为MCMP [ 8)提出了使用这两种技术来提高性能的力量解决孤立点检测的问题。MCMP,关键的区别相比其他基线方法在处理当前窗口内的数据点。MCMP实现使用强大的概念和琐碎的内围层微簇以外的处理对象。 打 _ 飞跃 在大多数情况下不如MCOD和MCMP因为他们缺乏节约内存微簇。它使用一个索引每张幻灯片的邻居搜索。其最小探测原理减轻了昂贵的范围查询和重视的发现最小数量的数据点根据他们的到达时间。它必须不断重新评估和管理数据在更新列表中,因此提高其计算需求,而MCOD李子和最大限度地减少离群值的候选人。它使用一个称为微簇的索引结构,帮助修剪出不合格的候选人异常机智地。然而,在MCOD,缺乏明确的区分点在微簇限制了其潜在的执行得更好。因此,MCMP改善这个缺点,使用的力量 打 _ 飞跃 节省内存最小探测和微簇的概念,介绍了简单和强大的内围层。这因此提高了整体性能的减少时间和内存消耗。然而,改进的性能是有代价的,我们注意到,没有广泛的基于距离的计算数据点在微簇因此会降低时间和内存使用情况当我们主要关注集群和处理这些点根据各自邻居的相关性。深入了解基线的方法,我们要求我们的读者阅读个人参考。

为了观察CPU时间的使用,我们考虑以下:我们改变窗口大小W,距离阈值 R 和最近邻数 K 。

图 4显示了窗口大小不同的结果 W ,从10 k-20年 kFC和道,然后10 k-200年 k对股票和高斯。结果显示固定 K = 50 整个数据集和一个近似的异常率为1%。在图 4数据集,在大多数情况下,随着W的增加意味着更多的数据点和计算集群,CPU时间也增加(数据 4(一)和 4 (c))除了 打 _ 飞跃 在数据 4 (b)和 4 (c),MCOD图 4 (d)。泥块,类似于MCMP MCOD FC和道,显示了一个稳步上升的数据集。然而,在高斯 W 高于50 K,我们观察的飙升 打 _ 飞跃 因为更少的捕获数据点,因为它没有微簇。泥块和MCMP显示以来的最低CPU时间使用时比别人更不在使用索引结构。,土块确保重要的内围层存储在微簇,这减少了计算需求的执行范围查询每一个数据点。一般情况下,我们观察到,当 W 足够大,有一个微小的影响流数据的分布动态变化。然而,如果 W 变得太大,那么它将影响响应时间,和时间将大大增加,这将反过来,下调其性能。

图 5说明邻居数阈值变化的结果 k在所有的数据集,从1到100。结果显示窗口大小, W= 10 KFC和道 W= 100 K剩下的两个数据集与其他默认参数维护。在图 5,所有的方法显示一些变化在不同的数据集,因为他们依赖于邻居数阈值 k,从而影响异常率。从这些数据中,除了 打 _ 飞跃 道和股票(数字 5 (b)和 5 (c)),这就意味着需要更多探索 k其他方法显示很好的时间消耗的泥块显示数据集的大部分性能优越。这是因为,在前三个数据集,数据点并不多,属于集群,将需要额外的计算。对数字 5(一个)和 5 (d),增加 k显示时间的增加因为需要做更多的调查。在图 5 (d),我们看到MCMP略优于泥块因为几个集群需求额外计算。总的来说,我们的方法表现良好的数据集点的邻居相互接近,这使得它容易聚集,因此很容易区分生动或假异常值和至关重要的或无关紧要的窗。因此,它显示了更好的性能比其他的因为它可以做最少的计算可能在集群。足够的邻居的可能性,以确保快速聚类过程相对较低和稀疏数据集数据点。因此,在合成数据集有更少的集群,这也导致增加处理时间相比,现实世界的数据集。

图 6显示结果和性能不同的幻灯片的大小,从W的1%到100%的W .幻灯片的大小描述了数据流的速度的变化。在所有的数据集的价值 k和 R维护表吗 3。在图 6,我们可以看到,在整个数据集,土块显示最低的CPU时间使用, 打 _ 飞跃 发生在大多数的情况下,CPU使用率高于MCOD和MCMP最高。在道和股票数据集,我们省略的趋势 打 _ 飞跃 由于CPU时间带来比其他人更大的,和其他两种情况下,它显示了一个异常趋势相比其他人。泥块和其他算法显示出随着增加而增加 年代 / W 。它证实了增加 年代 结果到来和过期的更多的数据点,从而消耗更多的时间。然而,土块显示改进的性能比MCMP因为它使用更少的时间比MCMP和MCOD尝试更新检测后的邻国强大而琐碎的内围层和识别异常值。此外,我们可以观察到,新到达的数据点的处理在泥块尺度的过期数据点,当窗口大小增加。MCOD,例如,时间过程超过一半的数据点在丢弃过期数据保存的时间点。总体而言,CPU时间最慢增长显示了整个数据集。

图 7显示不同的距离阈值的影响 R在所有的数据集,从0 - 1000。结果为幻灯片所示尺寸, 年代前两个数据集和= 500 年代= 5 K对股票和高斯。维护其他参数如表所示 3。在每个数据集的价值 R是不同的,它的影响异常率。对数字 7 (c)和 7 (d), 打 _ 飞跃 带来更多的时间由于其触发列表,这使得它很难找到邻居。总的来说,土块比其他人表现出更好的性能,特别是对MCMP MCMP相比,因为它有更少的距离计算处理强大而琐碎的窗。,土块考虑的相关性 K相互的影响而不是集中在r表 4,我们注意到离群值的速度 R当默认值增加 R ≤ 10 % 。

在图 8随着窗口大小的增加,这表明需要处理更多的数据点,导致内存使用量的增加的大部分数据集。更多的内围层将微簇,内围层将存储在临时记忆来说至关重要,而且也将存储的对象的邻居信息。从这个数据,利用微簇的方法表现出更好的性能在整个数据集 打 _ 飞跃 ,没有节约内存微簇。在所有的数据集,它会消耗更多的内存自触发列表每次幻灯片到期,必须重做。在图 8 (d),高斯数据集有几个邻居,它显示了各种方法增加内存使用其他数据集相比,自发现邻居们临时占用内存。我们的方法显示了几乎相同的性能MCOD因为没有计算在MCMP微簇这样的外,这会产生更多的内存。泥块,至少在大多数情况下,由于释放空间删除内存消耗在内存中只检测到异常值和排队在临时记忆显著微簇外窗。

当我们改变你的邻居数阈值增加的价值 k如图 9,我们期待更多的内存使用 k影响邻居的存储。几个场景中,这几乎是稳定的,显示一个小差异。例如,在图 9 (b), 打 _ 飞跃 差不超过1 mb 50 dp ≤ K ≤ 20. dp 其他数据集,同样在同一个图。,土块中显示性能优越的算法在大多数情况下,由于它并不完全取决于 K,对于MCOD MCMP。作为 K增加,更多的数据点微簇,从而占据了临时的内存。MCMP,区分的过程内围层利用一些内存,而泥块只有暂时保持在内存中一个重要窗。一个明显的区别是在数字 9(一个)和 9 (d)为 打 _ 飞跃 ,它显示了更高的内存使用量比别人因为你的邻居数列表需要处理。

在图 10当我们距离阈值不同 R,没有持续的整个数据集的可观察到的趋势。总的来说,土块连同其他算法不使用范围查询;因此,增加 R没有结果按比例增加内存的使用。最初,更多的内存用于MCOD和MCMP以来没有在微簇可以找到许多数据点,和额外的计算发现邻居占用的内存。,土块显示,在大多数情况下,更好的性能在某种程度上,因为它并不区分每一个异常值或窗MCMP的情况,所以它使用更少的内存。在大多数情况下,内存使用量下降是因为增加的价值 R转化为更多的邻居,这导致更多微簇内的对象和更少的数据点在微簇。这从而限制内存利用率。

图 11显示内存使用时的结果 年代增加。整个数据集,泥块显示峰值内存使用量下降 年代增加,同样其他算法。的 打 _ 飞跃 情况显示了独特的性能,因为它不同于其他过程的数据点。 打 _ 飞跃 在发病具有较高的峰值内存消耗和继续进一步减少。其他节约内存微簇算法包括土块显示更少的内存消耗,因为它不使用触发器的列表 打 _ 飞跃 。由于微簇,泥块略优于MCMP数据 11 (c)和 11 (d),因为存储数据点占据了大部分的总内存。没有额外的计算和内存中的队列小窗给了它一个优势。

算法的复杂性定义了运行时间和存储空间算法的输入所需的大小。空间复杂性意味着所需的内存空间被泥块在它的生命周期。计算最坏的空间要求的土块,我们考虑存储数据所需的空间和独立变量的大小问题。在表中 5和 6,我们显示的算法的时间和空间复杂性。

时间复杂度在处理当前窗口内的数据点在最坏的情况是函数的时间成本来发现数据点是否在集群或不是,这是 O 1 − c W 和检查的相关性 d p 滑动窗口中对他们的邻居。因为我们正在考虑最坏的情况,我们考虑的成本计算,这会产生更高的成本比新数据点的处理在下滑。总成本是成本数据点的窗口滑动窗口的大小,这是 O 1 − c W ∗ 1 / 年代 。当数据点到期时,在最坏的,删除过期的数据点在幻灯片的过程不一样,当我们需要检查成本这些对象的相关性和添加数据点如果在集群。在这种情况下,总体成本 O W / 年代 日志 k 。因此,整体的时间复杂度 O 1 − c W + 1 − c W / 年代 + W / 年代 日志 k 可以近似 O W / 年代 1 − c + 日志 k 。泥块的时间复杂度优于MCMP因为在土块的成本检查各自邻居的邻居的相关性小于MCMP成本,这会产生额外的成本由于强烈的区分成本和琐碎的窗。我们可以看到,整个时间的复杂性 MCMP 是 O W + W 日志 k + 日志 C w + W 日志 C w 这是大约 O W 日志 C w + 日志 k 。这个比其他两个算法的时间复杂度几乎是一样的 MCOD 但优于 打 _ 飞跃 。降低时间复杂度的MCMP证实微簇使用最小的概念探索差异化强和琐碎的内围层减少了所需的额外时间计算数据点外的集群将重新计算的时间复杂度最小化和评估所有的窗,如的情况 MCOD 。由于区分内围层也导致一些数量的成本,然而,这相比成本更少。

空间的复杂性,一个简单的答案连续发展的异常值的检测窗口模型中的流数据将包括存储每个数据对象在当前窗口的邻居。显然这样的计算最坏会导致二次空间需求 O n 2 ;因此,对于更大的窗口大小 w ,这将是几乎不可能实现的。为每个数据点 d 我 ,而不是将所有前面的 d p 和成功的邻居 d 年代 我们存储的数量 d 年代 邻居和最多 k数据点就足够了检测特定的异常值 R 和 K 。空间复杂度来管理当前窗口内的数据点 O k W 。我们首先计算前邻居的大小 d p 对应的数据点。当规模小于 k − d 年代 ,然后 d 我 贴上一个异类。当窗口幻灯片和过期时,所需的空间保持MCMP的邻居数相似,也就是说, O W / 年代 因为窗口中的每个数据点不是存储在每个 W / 年代 幻灯片。然而,在土块与深入分析,我们可以说它会轻微表现MCMP因为所需的空间复杂度 PD 存储额外的微不足道的内围层小于储蓄相关窗的队列的内存。整体糟糕的空间的复杂性的泥块 O k W + W / 年代 这几乎是一样吗 MCMP 除了 C w 在 MCMP 意味着在过期窗口幻灯片,琐碎的内围层存储在 C , 0 ≤ c ≤ 1 。然后,窗口内的数据点的数量 1 − c ∗ 窗口 , W 。也就是说,数据点的列表 PD 将 1 − c ∗ W = C w 。从表 6,我们可以看到这一点 MCMP 空间复杂度也比这更好 打 _ 飞跃 和 MCOD 与 O W 2 / 年代 和 O c W + 1 c k W ,分别。很明显,需要差异化的空间内围层相比可以忽略不计,更好所需的空间数据点外微簇节省额外的小窗。

clustering-based方法,需要考虑的一个重要指标是聚类质量,影响数据流的异常检出率。图 12显示的有效性和聚类质量 泥块 对以前还采用微簇的方法技术。FC数据集在图 12(一个)集群的比例相对较低,因为每个对象之间的距离是稀疏的。在另一起案件中,高斯数据集的比例几乎是零,很少或根本没有参与微簇的数据点。这是因为,在这个窗口中,数据集没有邻居。 MCMP 显示集群相比,质量低劣 MCOD 和泥块,因为额外的基于距离的计算,包括计算和存储强劲的和琐碎的窗。在某些情况下,它会影响你的邻居数阈值 k点在微簇的关系。泥块整体显示更好的聚类质量在几乎所有情况下由于缺乏参与的额外计算 MCMP ,它确保集群一般相关性的基础上形成各自邻居的位置。这个结果在某些情况下,大部分的数据点发现的集群,可以看到在图 12整个数据集。

泥块通过实验显示优于现有方法在大多数情况下,成功地控制了成本计算的时间和内存使用。它是一个通用的解决方案作为clustering-based集群演化数据流异常检测方法基于微簇和处理的对象在一个滑动窗口根据相关性的地位各自邻居或位置,不包括延长额外的基于距离的计算。,土块动态集群数据流和提供支持以满足灵活的挖掘需求。此外,它表明鲁棒性在不同的性能参数的变化及其聚类质量对集群的数据点的数量。最后,它已经证明是一种有效的方法来检测离群值。