工业过程往往会产生 事件日志这些都是逻辑上组成的 事件(表示为 e 我 )相关的生产、安全、运输、储存、销售、金融交易、市场营销、等。定义为事件日志 D T 数据库是一组有序的这些事件,事件排列根据开始时间的升序排序。的 D T 可以划分为数据集 序列(表示为 Φ n ),这是事件的时间顺序有序列表 Φ k : = e 1 ⇒ e 2 ⇒ ⋯ ⇒ e k 。根据不同的方面,这可以进行细分:因果联系的状态,时间分割,周期性,等。因此,一个序列 k 被称为事件 k 长度的序列,用 Φ k 。这些事件代表的发生 n 不同的州(类型的事件)的集合 年代 = 年代 1 , 年代 2 , … , 年代 n 。序列 Φ k : = e 1 ⇒ e 2 ⇒ ⋯ ⇒ e k 在任何部分可分为顺序吗 Φ k = Φ k ′ ⇒ Φ k ” ,在那里 Φ k ′ 和 Φ k ” 分别是前期和未来的状态序列(当然, k = k ′ + k ” )。以下简称“ ′ ”和“ ” “符号表示过去和未来序列或州,分别。

通常是单个或多个连接过程生成的数据分析,因果流连接各个时间的实例状态(不管数据集的类型,例如,事件、物品,交易,等等),出现的次数不同的州并不是相互独立的。因此,发生的概率 Φ k 序列 P e 1 ⇒ e 2 ⇒ e 3 ⇒ ⋯ ⇒ e k 可以通过链式法则计算条件概率的事件之间的转换根据以下方程: (1) P Φ k = P e 1 × P e 2 | e 1 × P e 3 | e 1 ⇒ e 2 × ⋯ ⋯ × P e k | e 1 ⇒ e 2 ⇒ ⋯ ⇒ e k − 1 。

因此,根据链式法则,一个的概率 k 序列长度可以计算条件概率的乘积逐步过渡的先前的事件到现在的一个序列。条件概率的比值出现的次数越多扩展序列和短的,用的 增刊 的价值序列,根据以下方程: (2) P e k | Φ k − 1 = P Φ k P Φ k − 1 = 吃晚饭 p Φ k 吃晚饭 p Φ k − 1 。

这反映出自信的是下一个状态转换概率知道先前的状态序列 Φ k − 1 。

下面的方法预测状态条件概率最高的是接受被Dorgő和Abonyi 22]。但是,底层的过程,因此,合成可以高度复杂的数据集。这种方法的最终目标是能够创建一个事件序列树描述可能的课程(所有高度可能的 Φ k ” )根据给定的输入事件的序列( Φ k ′ )。图 1显示详细的想法。横轴表示时间和未来可能的情况说明 k ′ 过去的事件命令在一个树结构。红色分支树的表示的场景,如果预测概率最高的接受每一个预测步骤,即通过使用贪婪的搜索算法。的 EOS 标签显示end-of-sequence预测。

到目前为止,只有最高的场景概率预测,忽略了可能发生的可能性较小,但是,高度信息和必要的子序列,表明不同场景的即将到来的事件。添加了这个方法的特性是揭开这些高度可能的序列可能产生的信息。

因此,接受条件概率预测模型通常与类似的概率,预测几个事件,实现定向搜索算法描述,因此不仅未来序列概率最高的被接受,但是一个场景树是正式的接受所有的预测概率事件超过一定阈值 P 用力推 。因此,发生后的第一个 k ′ 事件,第一个未来事件的预测 e 1 ” 接受如果上面过渡是一个特定的信心 P 用力推 限制如下: (3) e 1 ” | P e 1 ” | Φ k ′ > P 用力推 。

应用方程( 3)在预测每一个步骤中,没有一个未来序列但多个序列或预计未来可能的场景如图 1。因此,正如它所描述的预测任务, P Φ k ” | Φ k ′ 条件概率是决定在所有可能的未来 Φ k ” 序列。

以注释的场景,介绍了分层注释的上标预测事件:”后的数字除以逗号 ” “马克表示可能性的预测事件的预测步骤数量的可能性的预测,其中1表示最可能的未来状态。例如,标签 e ” , 1、3、1 显示,这是第三个预言未来事件(后三个数字存在” ” “马克),这是最高的事件概率的预测状态 e ” , 1 ;然后接受这种预测,第二第三最高概率预测事件 e ” , 1、3 和接受前两个预测,第三预测事件概率最高预测步骤。类似地, e ” , 2、1 未来状态的预测是第二高的概率( e ” , 2 )第一未来事件和接受这样的预测,这是最高的预测概率预测在第二步骤。因此,不断接受最可能预测序列 e ” , 1 ⇒ e ” , 1,- 1 ⇒ e ” , 1,1,1 ⇒ ⋯ 预计,红色箭头所反映出的图吗 1。然而,在这个序列,预测概率最高的每一步,接受整个序列的概率不会是最大的在所有情况下,自验收后不可能预测的预测步骤,以下预测事件可以高概率,然后整个序列的发生的概率可以相对较高(整个序列的发生的概率是根据方程(过渡概率的乘积 1))。

通过重复预测任务,每个节点序列树在图解释 1可能会被创建。每个预测步骤后,由会议的信心向前面定义的所有可能的事件 P 用力推 概率极限,我们可以确保我们保持树的复杂性低至给定的任务所必需的。

seq2seq机器学习方法,所谓的多空词记忆是利用递归神经网络的选择。这个网络是专门开发处理的问题消失梯度可能最少的计算成本增加( 33]。LSTM网络著名的功能分类,处理,和预测在时间序列数据由于其相对不敏感缺口长度(滞后)离散事件之间,哪个属性是受欢迎的在给定的用例。LSTM结构如图 2。

模型的输入:图 2强调输入序列的结构。首先,end-of-sequence (EOS)结束标签附加到每个序列表示的事件系列。实现的EOS标记添加到序列的结束和处理类似于其他事件的后续步骤。此外,事件的顺序输入序列是逆转,因为根据Sutskever et al。 16),预测精度显著提高,当输入序列的开始接近预测序列的开始。

预测之前,事件的顺序定义过程的状态转换到编码器层的内部状态。然后,这些内部的编码器层包含信息的历史过程转移到译码器层。的预测开始输入start-of-sequence符号(标记为StOS图 2)。译码器网络产生对未来事件的预测,这是重新引入到译码器的输入网络和应用作为输入下一个时间步。利用原始seq2seq学习方法,生成的事件不断添加到预测的事件序列。seq2probTree功能添加的方法是,在预测的第一步start-of-sequence符号后,我们不只是接受一个事件作为下一个最高的概率。然而,我们把整个输出向量并应用方程( 3),因此修剪候选人在未来可能的事件。然后,我们进一步探索替代事件的网络中每一个即将到来的事件的概率是决定(存储如果概率足够),从而实现了定向搜索算法。预测过程直到层生成end-of-sequence符号或到达之前限量的预测序列的长度在每一个场景。

该方法结果的概率树探索和记录以深度优先的方式(图 3)。这种方法的资源需求显著增加,有必要存储所有内部LSTM状态和之前预测的输出为每个step-depending原始数字可能的事件可能被占用很多内存。此外,增加推理运行时预计的时间需求深度优先搜索算法 O V + E ,在那里 V 和 E 站在树中顶点和边的数量,分别。的伪代码树的遍历和递归预测步骤如下所示。

需要: 模型 LSTM , eventseq 输入

需要: 输入 LSTM , 州 LSTM , 树 事件

模型的评价进行了使用指标测量方法的潜在的适用性。因为重点是预测系统的开发,把人的注意力吸引到了最可能的结果的过程中,三个性能指标已确定描述包含事件的序列中找到合适的每一步使用方程( 3)。因此,对于简单的符号,我们介绍 Φ ^ ,包含事件的序列只有足够的预测概率在每一步。

首先, 年代 1 的百分比吗 Φ ^ 序列,包括至少一个推测事件。数学公式, Φ 是事件发生的顺序,我们的目标是预测,在吗 Φ ” 是我们的预测。 N 在分析数据库中序列的数量,基数的标注是一组 ∗ ,而两个序列的公共元素标记为他们的十字路口。数学上, 年代 1 表示如下: (6) 年代 1 = ∑ n = 1 N Φ n ∩ Φ ^ n ” ≥ 1 N 。

第二, 年代 % 基于集合的相似性度量,描述了推测事件的比例已经定义了目标序列的长度。没有事件发生的顺序,和 年代 % 衡量准确地预测事件的类型, (7) 年代 % = ∑ n = 1 N Φ n ∩ Φ ^ n ” / Φ n N 。

最后, 年代 艾德 提出了,这是一个编辑,提供了基于距离的相似性度量之间的编辑距离实际(目标)和预测序列的长度的比例更扩展序列。编辑距离的收益率必须插入元素的最小数量或跳过比较序列是相同的。两个序列的编辑距离和标记 艾德 和方程( 8)从数学上描述了 年代 艾德 编辑基于距离的相似性度量, (8) 年代 艾德 = ∑ n = 1 N 艾德 Φ n , Φ ^ n ” N 。

这些性能指标计算每个序列的树,只要找到一片叶子,也就是说, EOS 预计,或达到最大序列长度。然而,为了使结果序列更加可比,他们的信心也计算。信心对于每个 Φ ^ 被定义为一个产品的支持所有包含的事件序列。的支持事件的概率是LSTM计算项目,考虑到之前的事件序列。事件的输入序列,确定了支持的值为1, (9) 信心 = ∏ 我 = 1 k P e 我 | Φ ^ 我 − 1 。

Python实现的描述方法使用世爵4集成开发环境的水蟒开源数据科学发展平台。这个平台很适合任务最必要的库是包含在默认情况下,从而最小化设置的发展过程。使用Keras的LSTM RNN实施,深度学习上运行的应用程序编程接口的TensorFlow端到端机器学习的开源平台。Keras API是著名的以其成熟的文档和高质量的例子代码,注释,便于适应这通常很好。为了减少运行时LSTM的训练过程,NVIDIA CUDA®深神经网络(cuDNN)图书馆利用。Tensorflow因为Keras之上,恰巧是一个cuDNN加速框架初始设置后,由LSTM培训所需的时间减少了十倍。这个速度增长提供的NVIDIA Geforce 1080 GTX Ti图形处理单元。

本文展示的概率树生成使用Python的工具包,它提供了一个广泛的tree-handling选项和节点注释功能与树可视化系统的输出结果树。马尔可夫链模型的代码是MathWorks MATLAB环境中创建易于导出模拟数据 .xlsx格式和将它导入到Python使用熊猫库。然而,由于训练数据集的规模巨大的三阶马尔可夫模型,用MATLAB 。m格式必须利用,可以由SciPy蟒蛇(包括方便)。

最终实现由两个例程。第一个包含所需的数据集的选择,LSTM的设置,培训过程和训练的创建历史情节。训练过程完成后,编码器和译码器模型保存,从而消除运行模式的必要性与每个后续培训会议的应用工具。第二个程序由加载LSTM模型,递归解码,和所有必要的功能指标计算和树生成和输出。

在本节中,将简要总结该方法是如何被实现的。缓解的验证,使用一个简单的马尔可夫链。接下来的模型由12个州在一行作为一个经验法则。唯一2异常状态4和7,打破这个规则。而过渡状态4,有一个概率为0.35,系统将“重置”,因此返回状态1。如果系统达到的状态7, 30. % 机会,系统跳过以下2个,10。这种行为可以观察到在图 4。

数据集通过创建10000年成立序列利用马尔可夫链来描述。每个序列是从一个随机选择的系统状态,长度也是随机确定9和12之间。数据集的生成后,LSTM模型培训通过使用以下参数: (我)

嵌入维数= 6

培训可以观察到图的准确性和损失 5。为了验证模型的性能,反复核对每个状态是由喂养作为输入编码器,因此初始化内部LSTM状态。重要的是要注意,初始化验证的编码器,不仅国家的预测开始需要用作输入还前面的两个国家;至于模型训练,每个序列数据库中分离后第三个国家作为输入和输出。然后,预测一步完成,并记录LSTM的输出。这是对每个状态,重复创建验证转换矩阵,然后与一阶马尔可夫链的转移矩阵(图(a)中的一部分 4)。在图 6,每个预测值见原来的跃迁概率的函数。这个简单的示例的计算确定系数高达0.9994。

培训完成后,seq2probTree方法利用了 P 用力推 = 0.2 和给予的输入序列 1、2、3 教LSTM模型。最大输出序列长度设置为12。

图 7提供了有关指标的视觉教具放在每个节点概率树,而获得的结果可以观察到图 8。树的每个节点至少有三个属性: 的名字 , 支持 , 信心 (顶部和底部的值,分别)。的 EOS 节点也有三个性能指标计算给定序列: 年代 1 , 年代 % , 年代 艾德 的值,可以发现,在右列指定的顺序从上到下。例如,它可以观察到从图 7seq2probTree方法预测11子序列结束后状态10概率为0.49。此外,计算结束后的序列状态11的概率是0.5。我们也可以看到的信心 Φ k 因此,整个序列结束 EOS ——0.04。的 年代 1 值也显示了突出显示 Φ k 序列,每一个条目(1.0)从给定的输入数据库 Φ k ′ subsequence-in这种情况下(1 2 3)——至少有一个州已经预测 Φ k ” 的方法。 年代 % 0.68给我们的状态预测 Φ k ” 发生在 68年 % 的数据库条目开始(1 2 3)。最后一个指标 EOS 节点的概率树- 年代 艾德 形式,一般编辑distance-thus的数量变化,需要匹配序列是4.49,前面提到的 Φ k ′ 。

一阶马尔可夫链的属性中可观察到的结果。这两个杰出的转换可识别,预测转移概率是在一个马尔可夫链的误差。这棵树也反映了所有可能的不同长度变异序列。

随着LSTM-based深度学习网络是显式地开发捕捉数据的长期关系,高阶系统用于进一步评估。系统的行为是基于概率树,这是伪随机生成的。树的每个节点可能有三个孩子,与它所代表的系统说明和状态发生的概率也随机生成的。之和的概率状态源自相同的节点归一化到1。树的深度决定8和9-without考虑之间的随机 根 ( StOS ), 叶 ( EOS )节点。应用状态的数量设置为4,以便更容易理解和重建结果。然而,在这种复杂性,它已经是一个艰巨的任务。状态是由字母A, B, C, d体系的复杂性可以观察到在图 9,检查过渡probabilities-thus高亮区域可见的更透明的数据 10- - - - - - 12。

利用seq2probTree方法,创建了一个训练数据集组成的 10000年 从模拟系统 根 节点和随机确定过渡probabilities-until基于路径 叶 节点。给定的模拟得出结论后,合成数据集复制六次,在培训期间,序列分为输入和目标和这个职位,序列的分离。作为 输入 和 目标 是随机选择的。六次乘法的原因是切的位置之间的不同 1 圣 和 6 th 在序列分离状态 输入 和 目标 后选中的状态。生成的数据集是用于训练LSTM模型通过使用以下参数: (我)

嵌入维数= 2

在培训期间产生的数据集的仿真提出了基于树的系统,精度和损失函数也被记录下来。他们可以观察到图形式 13。重要的是要注意,在培训期间, 20. % 数据集被用来验证数据,而辍学不是LSTM层中的应用。

LSTM模型的训练后,上述数据集,seq2probTree方法应用与输入序列数据中突出显示的区域 14- - - - - - 16- - - - - - [D], [D D], [B]。

为了尽可能最小生成树,只有最高的州组成的概率 P 用力推 被设置为较高的值为0.25。此外, 前 N 用力推 介绍了参数的梁强度值2,代表概率是最高的,只有两个国家考虑施工的树。最大的序列长度设置为9,这些措施确保合成树的大小和适合评价来说是足够的。

通过比较获得概率树的树定义系统的行为,可见,seq2probTree方法基于LSTM模型可以捕捉的长期关系的一个系统。考虑到训练精度为0.86,获得的结果代表了原始系统是基于概率树很准确。几个预测错误是可观测的结果。这些差异可以解释,指出输入序列是相对稀缺的;因此,短模式高别人可以“误导”模型。

提出了作为seq2probTree方法作为一种工具能够在线动态过程监督,它提供的视觉信息是至关重要的。而理解预测树稀疏的输入是很艰巨的任务,作为输入序列扩展系统状态,越复杂的概率树结构。数据 16- - - - - - 21代表方法的可视化输出,而循序渐进的附加输入序列从[B] [B B D D]后最可能的路径如图 16(也最低的序列的道路 年代 艾德 度量)。结果清楚地表明如何获得概率树的复杂性减少通过扩大输入序列。推断状态序列是通过提供多元化稀缺LSTM模型的输入,和一些错误的结论。找到一个很好的例子,这种行为在图 17[B]后,输入序列,状态的预测概率 P 用力推 随着状态B,应确定过渡。

量化模型的准确性对于每个提到的输入序列,平均误差计算,可能观察到的在桌子上 1。error-just像 年代 指标是计算每个预测事件序列的概率树通过简单计算有多少元素从序列中没有发现概率树定义系统。然后确定错误平均。

一个问题出现在利用seq2probTree方法是关于必要的输入序列的长度,之后被认为是合理准确的输出。表 1给了我们的想法,如果输入序列至少是研制出长,然后生成的概率树seq2probTree方法将没有差异树相比,基于系统的行为。因此,每个可能的概率树4-length输入序列生成和aAverage计算错误。因为相同的精度不能期望所有的输入序列为了comparison-an额外权重应用于计算平均误差。重量计算通过确定每个输入序列和规范他们的信心基于最高的价值。可以观察到结果加权平均误差值表 2。根据获得的结果,可以后说 4 th 输入元素,这个示例系统的预测非常准确。低信心更重要的差异观察序列,而即使在输入序列(几个)改道是可能的。

利用seq2probTree方法基于树的系统,预测高阶算法事件关系的能力与成功验证。引入了平均误差值来帮助评估结果直接比较时可能有一个原始概率树。

该方法已应用于氢氟酸烷基化生产部门的一个警报日志检查真实的性能。可以观察到技术的工艺流程图如图 22。

日志用于实验的操作是由生产单位在为期4个月(121天)内,所有传入的警报和其他事件记录。未经加工的日志包含精确 200802年 条目的 30168年 消息未压制的报警事件。 8721年 这些警报被认为是重要的,因此没有搁置的运营商。事件序列的输入工具是由分组基于时间窗,同时保留他们的连续时间属性。因此,当一个 600年 证券交易委员会 差距是发现最后一个事件之后,这两个事件是不被认为是相关的,启动一个新的序列。通过使用这种策略,分为重要警报 3330年 序列。然后,通过只考虑事件序列的最小长度两个,价值序列的数量进一步减少了762人。同样重要的是要注意,这个事件数据库具有极高的独特状态数比前一例子中,序列是由354个国家组成的。由于保密原因,报警标签的名称(意思)被移除。

然后,这个序列数据库进行了分析开始频繁的事件序列。这个案例研究进行分析,四个最频繁的事件选择使用seq2probTree方法被利用。选择事件的名称和他们的出现作为第一序列表突出显示 3。

处理事件日志后,seq2probTree方法已经应用到数据库中。从图的训练结果 23使用以下LSTM和培训所获得的参数: (我)

嵌入维数= 5

通过使用上述事件作为输入seq2probTree方法,数据的概率树 24- - - - - - 27已创建。梁的参数搜索算法 P 用力推 和 前 N 用力推 分别设置为0.065和3。分析了树木,很明显,seq2probTree方法能够学习和识别可能的事件场景。然而,由于数据集是大大diverse-especially自seq2probTree方法也是顺序position-sensitive-the个人转换的概率相当低;因此,浅 P 用力推 值是合理的。移动的低概率阈值会导致巨大的树木;因此,只有最频繁的转换中显示数据。在图 27方法的一个缺点也观察到:在更长的序列,含有或从[136711]开始,经常反复出现[361835]。这种转变是如此突出,LSTM继续用高概率预测模型。在这些情况下,只有定义最大输出序列长度参数保持seq2probTree方法创建一个日益增长的分支在树上。

图 24说明了不同的报警序列与脱丙烷塔。初始化树的报警信息脱丙烷塔压力[136769],可以报警级别的脱丙烷塔的船只之一[137161]或警报泵[136711]。脱丙烷塔容器上的报警后,报警脱丙烷塔压力[136769]或脱丙烷塔的饲料可以在[353848]。

警报序列图 25脱丙烷塔的另一个场景相关。可以看到,容器的温度报警器的报警信息[137438]可以通过泵报警之后再次[136711],或报警级别相同的容器[137161],流通管道,罕见的警报。

图 26是一个很好的例子,一个问题在底部的一部分脱模[137272]可以在连接单元产生一连串的警报(泵和级别的船)。

同样,很长的报警不同概率图生成的级联 27。正如我们看到的,报警的泵[136711]重新出现在许多序列,毫不奇怪,它可以诱发其他几个警报的存在不同的场景中出现的顺序。