文摘

我们同时使用强化学习和深度学习从非结构化文本中提取实体和关系。强化学习,我们作为两步决策过程模型的任务。深度学习用于自动捕捉最重要的信息从非结构化文本,代表国家的决策过程。每一步设计奖励功能,我们提出的方法可以通过实体提取的信息关系提取和获得反馈的同时为了提取实体和关系。首先,我们使用双向LSTM模型上下文信息,实现初步的实体提取。提取结果的基础上,基于注意力的方法可以代表的句子,包括目标实体对决策过程中生成的初始状态。然后我们使用Tree-LSTM表示关系提到生成决策过程中的过渡态。最后,我们使用则算法控制策略在两步决策过程。ACE2005实验证明我们的方法达到更好的性能比最先进的方法和recall-score增加2.4%。

1。介绍

信息提取(1)的任务自动提取实体、关系,事件从非结构化文本。研究者通常做研究实体提取,提取的关系,和事件提取分离的任务,但事实上有重要的任务之间的依赖关系。例如,可以进一步帮助关系提取实体信息,因此关系提取以实体提取的结果作为输入。如果只使用一个管线式方法解决上述问题,每个任务的信息不能进行交互并得到任何反馈。因此,我们做一个详细的研究从非结构化文本联合提取实体和关系,可以通过实体提取的信息关系提取和获得反馈为了提高实体提取的性能和关系同时提取。

近年来,越来越多的研究人员应用深度学习实体提取,提取的关系。黄等。2与CRF)提出了一个双向LSTM层(BILSTM-CRF)序列标签,其中包括词性标注(POS),组块,命名实体识别(尼珥)。阮和Grishman3)提出将传统的基于功能的方法和卷积和复发性神经网络提取的关系。深度学习可以自动提取特征的实体以及实体之间的关系,来代替手工设计特性的方法。它减少了依赖外部资源,达到良好的性能。

但是如何通过实体关系抽取并获得反馈信息的研究焦点的任务联合提取实体和关系,这意味着我们需要一个不同的深度学习方法的有效组合。为了解决这个问题,我们使用强化学习模型的任务是一个两步决策过程。因为很难找到一些措施,直接从非结构化文本,代表这个国家的我们使用一些深刻的学习方法来提取的状态的过程。首先,我们作为实体提取序列标记任务和使用双向LSTM获取上下文信息,初步实现实体状态的标记。初步结果的基础上,我们使用基于注意力的方法来表示句子,包括目标实体并生成初始状态在决策过程中,第一个决定。然后我们使用Tree-LSTM捕捉关系提到的最重要的信息并生成过渡状态,第二个决定。两步决策的意义如下:第一个决定是判断一个句子,其中包括目标实体对关系提到根据实体提取的初步结果;第二个决定是提及到某个目标类型的关系进行分类。每一步,通过设计奖励函数实体信息和关系信息交互。最后,我们使用则将控制策略通过一系列行动累积回报最大化,也就是从状态映射到行动。在训练的过程则,所有的参数都共同更新,这有助于实现联合提取实体和关系。我们在ACE2005数据集进行实验,实现提到recall-score提到实体和关系比最先进的方法。在下面,我们定义任务部分2和现在我们的方法3。然后我们在部分细节一个广泛的评估4最后的结论部分5。

2。任务定义

我们的任务是提取所有的实体和关系同时从非结构化文本。节中,我们随机选择一个句子从ACE2005数据集进行分析。句子中提到的实体和关系提到如表所示1关系,实体的ID, ID和RefID是提到的识别。

实体提取。它可以作为一个序列标签任务,分配一个标签每个单词在输入序列 。的标记词的组合实体类型它属于内定位和边界类型。边界类型是一开始,里面,外面,和一个实体单元(BILOU方案)。表1显示了两个实体提到的句子。第一个实体提到是“第三方”,和它的实体类型是“ORG。“第二实体提到“娱乐”,和它的实体类型是“ORG。“ACE2005数据集定义了7个粗粒度实体类型,“每”(人),“ORG”(组织),“疯狂的”(位置),“GPE”(地缘政治实体),“前沿空中管制官”(设施),“阿明费”(车辆)和“我们”(武器)。类型都有自己的不同的亚型。

关系抽取。提取的语义关系是两个实体之间的目标类型。表1显示了一个关系提到的句子,其中的关系类型是“ORG-AFF。“第一实体参数是“第三方”和第二个实体参数是“娱乐。“参数的顺序不能改变,这意味着关系类型与方向。ACE2005数据集定义了7个粗粒度实体之间的关系类型,即“理论物理”(物理)、“PART-WHOLE”(PART-WHOLE),“PER-SOC”(Person-Social),“ORG-AFF”(Org-Affiliation),“艺术”(工件),“GEN-AFF”(Gen-Affiliation),和“转喻”(转喻)。同样,类型都有自己的不同的亚型。

联合提取。它是在一个句子中同时提取实体和关系。在提取的过程中,实体信息和关系信息交流和获得反馈信息。因此,联合提取比分开更实际和不同实体提取和分离提取的关系。我们定义,开展联合研究提取任务和现在使用强化学习和深度学习在以下部分的任务。

3所示。我们的方法

三部分结合深度学习的强化学习方法在决策过程中联合提取任务。首先,我们描述了两步决策过程;然后阐述三种深度学习方法用于本文双向LSTM,注意力机制,和Tree-LSTM;最后,我们介绍则算法,可以控制策略。

3.1。强化学习

一般来说,实体提取是提取之前执行关系,其结果也可以作为关系提取的输入。提取的关系根本上是分为两个阶段:判断一个句子,其中包括目标实体对提到的关系;提及到目标类型的关系进行分类。根据思想,我们联合提取任务建模为一个两步决策过程的强化学习。两个步骤对应的实体提取,提取和关系和具体流程如图1。

强化学习(RL)。它(4)是一种常用的学习控制策略的框架,通过与其环境相互作用。

状态。的内部状态在环境中由初始状态,过渡态和结束状态。因为很难找到一些适当的措施,直接从非结构化文本,代表这个国家的我们使用一些深度学习方法来自动提取文本的特点,可以代表国家的决策过程。具体而言,我们使用双向LSTM(部分3.2)实现初步实体提取和使用基于注意力的方法(部分3.3)来生成初始状态 。此外,我们使用Tree-LSTM(部分3.4)生成过渡状态 。在采取行动实现初步关系提取。输入句子的特点;和在上面的模型参数。

行动。有一组预定义的行为环境:行动12、行动3、行动4、行动,等等。第一个决定法官或。是判断一个句子,其中包括目标实体提到两人不是一个关系,然后呢是判断一个句子,其中包括目标实体关系提及。第二个决定法官或。分类关系提到成目标类型,然后呢是提到关系到另一个目标类型进行分类。 为每个行动表示获得的奖励。代理需要一个行动在国家并获得奖励从环境中。 , , , 表示决策过程的转换。

过渡和奖赏函数。状态转换元组 意味着代理在然后运送到。如果判断是正确的,那么代理收到奖励 ;如果判断是错误的,然后设置 第一个决定惩罚错误的判断。状态转换元组 意味着代理在,然后通过,并接收一个奖励 。状态转换元组 意味着代理在然后运送到。如果判断是正确的,那么代理收到奖励 ;如果类型的判断是错误的,然后设置 第二个决定惩罚错误的判断;如果它不是一个关系提到,集 。其他状态转换元组的意义 的定义,其功能类似于奖励 。

3.2。BILSTM

长期短期记忆(LSTM) [5)是一种递归神经网络(RNN)的变体设计应对梯度消失问题,和LSTM是非常有用的发现和利用远程数据的依赖性。现在很多LSTM变体已经提出并应用于自然语言处理任务,如情绪分析、分类、关系和问题回答系统。我们使用双向LSTM词序列(BILSTM)模型,可以有效地利用过去的特性和未来的特性。BILSTM发现每个单词的正确的表示和分配一个标签实体状态的输入序列中的每个单词,实现初步的实体提取。BILSTM主要包含三个表示层:嵌入层,BILSTM层和输出层。图2给出了BILSTM的基本结构。

3.2.1之上。嵌入层

嵌入层将每个单词的离散特征转换成连续的特征作为输入的BILSTM层。我们做前后输入的句子,所以我们需要一个特殊待遇的开始和结束序列。

词性的功能可以进一步帮助实体提取,所以我们只使用嵌入和词性嵌入代表每个单词在输入句子,取代手工设计特性的方法。通过查找表,小写单词是映射到相应的嵌入。词功能,查找表初始化的映射进行公开的词。对于词性特点,查找表是来自一个均匀分布的随机初始化值。嵌入这个词和词性嵌入期间允许修改培训。

我们将“嵌入”这个词和词性嵌入每个词的输入特征向量生成 。矩阵 代表整个句子的特点,传递给BILSTM层,其中n是输入句子的长度。

3.2.2。BILSTM层

基本上,每个LSTM单元在BILSTM层由三个乘法盖茨:一个输入通道,忘记门和一个输出通道。盖茨的比例可以控制信息忘记和传递到下一个时间步。此外,还有一个存储单元每个LSTM单元,能保持之前的状态,记住当前的输入词的功能。因此,每个LSTM单元的数据来源如下:特征向量 在时间隐藏的状态向量之前的时间或又一次,细胞向量。提出通过实现如下: 在哪里权重矩阵,偏差向量,下标顾名思义有意义。表示逻辑函数。

向后通过随时间进行类似于向前传球。隐藏的状态向量的两个方向和同时在计算时间吗BILSTM层中,因此我们可以有效地利用过去的特性和未来的功能,为一个特定的时间框架。

3.2.3。输出层

我们把实体提取作为一个序列标签的任务。通过将一个实体标记分配给每个单词,我们意识到初步实体提取的BILSTM层。在时间,我们通过两个方向的隐藏状态向量和softmax层。

在这里,权重矩阵和是偏见向量。

3.2.4。目标函数

我们采用维特比算法推理标签序列 对于一个给定的输入句子 。标签依赖模型,我们使用过渡得分测量从标签转换的概率标记。因此,能得分可以制定如下语句:

在这里,分数选择标签吗为词在句子输入。是BILSTM的参数集。

对于一个给定的训练实例,是一个给定的句子和正确的标签序列是。我们寻找标签与得分最高的序列:

在这里,是一种预测标记序列。

正则化的目标函数训练实例是损失函数包括一个规范术语:

在这里, 是一个结构化的保证金损失预测标记序列呢。是一个正规化hyperparameter。

最小化,我们使用梯度下降法称为次梯度方法的泛化(6)计算一个渐变方向。

3.3。注意机制

最近,关注机制已经成功地应用于机器翻译(7)、文本摘要(8)、文本理解(9),句法选区解析(10)、关系分类(11),和文本分类12]。受这些研究的启发,我们引入注意的基础方法计算隐藏的状态向量和在BILSTM层并生成初始状态决策过程。实体提取的方法可以获得信息和代表的句子,包括目标的实体。后第一个决定,我们意识到初步提取实体提取和准备执行关系。从本质上讲,基于注意力的方法可以通过实体信息关系的提取和获得反馈信息关系提取共同更新所有的参数。关注基于提取方法更好地集成了实体提取和关系。

初步实现实体提取后,我们选择两个实体作为目标实体对的句子 。注意层如图3。让是一个隐藏的状态向量组成的矩阵 BILSTM层,注意的是输入层。然后基于注意力的方法代表了句子,包括目标实体对这些隐藏的状态向量的加权和。

在这里,归一化权重向量和吗是一个参数向量。是初始状态,我们表示 ,代表所有在这个方法的参数。

后生成初始状态,第一个决定将判断一个句子,其中包括目标实体对提到的关系。我们通过softmax输出层提到的概率关系和nonrelation句子。最后,我们可以确定或。

在这里,重量是大学入学考试,是偏见向量。

目标函数为负对数似训练实例:

在这里,和是一个炎热的代表地面真理。和估计概率关系提到nonrelation,分别。是一个正规化hyperparameter。

最小化,我们使用一个简单的优化技术称为随机梯度下降法(SGD)。

3.4。Tree-LSTM

与传统的序列LSTM Tree-LSTM [13)是构建在一个树结构。众所周知,依赖树分析词与词之间的关系是非常有用的。两个词可能远线性结构和由许多不相关的词或介词结构,但它们的上下位关系依赖树。因此,我们构建的Tree-LSTM依赖树来表示关系提到自下而上的方式。Tree-LSTM可以提取目标实体的核心的依赖关系并生成过渡态决策过程。第二个决定执行初步关系提取。

我们提到“AFP_ENG_20030319.0879-R2”表的关系1作为一个例子来说明,两个实体参数是“第三方”和“娱乐。“首先,我们对关系提到执行依赖解析和生成依赖树,如图4。而不是使用完整的提到边界,我们直接使用实体跨越主管。实体的“第三方”是“党”和实体的“娱乐”是“娱乐。“核心的依赖关系的目标实体对红线所示图4。所以我们使用依赖树作为构建Tree-LSTM支柱。此外,为方便实现,我们或垫依赖树修剪以相同的深度和宽度。

像BILSTM,每个LSTM Tree-LSTM单位需要连续的特征向量作为输入。除了嵌入和词性嵌入,我们使用实体类型嵌入和实体位置嵌入,实体类型映射特性和实体的位置特征。我们可以得到初步结果的实体类型特征实体提取和得到实体位置特征计算的相对距离当前词两个实体参数。与BILSTM LSTM单位不接受隐藏状态向量的相邻单词和接受所有子节点的隐藏状态向量作为输入。Tree-LSTM发达从叶节点是一个递归的根,这是共同的祖先(“剥离”图4)的所有单词。然后我们进行非线性变换的隐藏状态向量生成的祖先提到的最后表示关系和作为决策过程中的过渡态。我们表示通过 ,代表所有Tree-LSTM中的参数。

后生成过渡态,第二个决策将分类关系提及到一个目标类型。然后传递给softmax输出层得到什么的概率,也就是不同类型的关系。最后,我们选择一个类型的最大概率,这决定了或。

在这里,重量是大学入学考试,是偏见向量。在每个依赖关系树,我们使用一个softmax层预测为根节点给定的输入类型观察到它的子节点。

目标函数为负对数似训练实例:

在这里,是真正的概率估计在每根节点类型。的根节点Tree-LSTM从每个孩子能够选择性地吸收信息。是一个正规化hyperparameter。

最小化,我们使用AdaGrad [14]。

3.5。则将

则算法(15]是一种受欢迎的强化学习,可以用来学习最优政府行动价值函数 的代理。代理需要一个行动在国家通过咨询 ,这是一个衡量行动的预期的长期回报。目标是最大化一些累积奖励通过一系列的行动。在决策过程中的状态空间是无限的,它是不切实际的获得 对所有可能的政府行动对。

上述挑战,我们近似 使用神经网络,可以代表 作为一个参数化函数 。 是指 和 以上,可以通过pretraining深度学习模型之上代表了神经网络中的参数,学会了通过执行随机梯度下降法与RMSprop [16]。

实值函数的近似值尽可能,我们测量的程度与最小二乘误差近似:

在则,我们使用估计价值函数 而不是真正的价值功能 。在每个时代,参数的更新目标减少估计之间的差异 和期望 。代理从一个随机的 和不断更新其价值观通过使决策和获得回报。然后代理可以最大化其预期的未来回报通过选择最高的行动 。最后,则算法控制策略在两步决策过程。算法1详细描述了则将培训过程。

在培训过程中我们pretrain BILSTM,注重层,分别和Tree-LSTM。训练参数主要包括所有参数在BLSTM,所有参数注意层中,所有的参数在Tree-LSTM。

注意模型的功能在我们的RL方法非常类似于一个单独的关系提到分类的一个管道。我们使用深度学习的方法来表示单词和句子在文本和使用RL结合三个任务在决策过程中,实体提取,关系提到分类,分类的关系。管道架构只传递实体提取的信息关系提取和不使信息流动在全球架构。然而,我们的RL方法不仅结合了上面的任务顺序也使得全球决策。在一开始,决定接近一个随机的机会。几个世纪后,他们将会企稳。与此同时,全球建筑的参数更新,最终收敛。因此,我们的RL方法可以获得反馈决策和状态变化,并使信息流动在全球架构。注意模型连接实体提取的任务和关系抽取任务,从而帮助我们实现联合提取实体和关系。实验结果证明我们的RL方法执行略优于管道方法提取实体提取和关系,这表明我们正在正确的轨道上。

4所示。实验

4.1。数据

ACE2005大多数以前的工作报告了结果的数据集,我们评估我们的方法对ACE2005联合提取实体和关系。我们使用三种常见的指标来评估性能:microprecision (),回忆(),主要微分数()。实体提到是正确的,当它的实体类型和地区的头是正确的,和一个提到的关系是正确的,当其关系类型和两个实体参数是正确的。

数据源的英语ACE2005如下:20%新闻专线(西北),20%的广播新闻(BN), 15%的广播谈话(BC), 15% Weblog (WL), 15% Usenet新闻组/论坛(联合国),和15%的对话电话语音(CTS)。联合国两个小子集和CTS非正式,我们删除它们。此外,为了比较与国家的艺术,我们使用相同的方法作为以前的工作17分割和预处理数据。训练集包含351个文档,开发集包含80个文档和测试集包含80个文档。

4.2。Hyperparameters

我们建立了Python2.7 + Theano + Cuda7.5环境来实现我们的方法。我们使用公开可用的词嵌入手套(18嵌入表)来初始化这个词,它的维度是300。我们解决词性嵌入的维度和实体类型嵌入维度50和修复实体位置嵌入的维度5。这些功能嵌入随机初始化期间,允许修改培训。此外,我们解决LSTM单位200年的国家大小和修复其他隐藏层的尺寸为100。我们使用双曲正切的非线性函数。

我们调优hyperparameters使用发展将实现高。最好的hyperparameters如下。辍学率[19)是0.5,minibatch尺寸是30,max-norm正规化等于3的约束和初始学习速率是0.0005。每个操作后奖励所描述的部分3.1。因此,对于所有下面的实验,我们将直接雇佣最好的hyperparameters。

4.3。整体性能

我们运行实验分析的各种组件联合提取方法的有效性。

首先,我们比较BILSTM基线系统的性能,LSTM实体提取任务。我们训练模型使用训练集和报告模型的性能开发设置在桌子上2。结果表明,BILSTM获得更好的性能比LSTM评价指标。双向模式可以提高序列标记任务的性能。因此,在整个实验过程中,我们将使用BILSTM提取实体。

然后,证明关系提取组件的方法的有效性,我们进行实验在实体关系抽取是已知的。我们建立一个基线系统,CNN。此外,我们提到了使用斯坦福大学神经依赖解析器解析关系(20.)和直接使用Tree-LSTM提取关系。Tree-LSTM的基础上,我们利用强化学习方法来控制关系提取的过程。我们比较上述三种方法的性能发展设置表3。结果表明Tree-LSTM更适合提取关系比CNN和强化学习方法获得大量获得在recall-score Tree-LSTM 3.7%。因此,在其他的实验中,我们将使用基于Tree-LSTM提取的强化学习方法的关系。

最后,我们证明了我们共同提取方法的有效性。我们建立一个管线式系统直接连接实体提取组件和上面的关系提取组件。具体而言,管线式系统第一列车实体提取模型,然后建立一个单独的使用检测到的实体关系抽取模型。我们共同系统基于级联系统。联合系统使用基于注意力的方法通过实体信息提取和更新参数的关系同时在培训过程的所有组件则,实现联合提取实体和关系。我们比较两个系统的性能发展设置表4。结果表明,我们的联合系统稍微提高了实体提取的性能,极大地提高了萃取性能的关系。因此,实验表明,我们的方法是有效和实用的。

我们将清楚地表明上述实验的过程。图5显示了平均奖励每次训练后的时代。开始培训,奖励是负的,因为代理需要随机行为。而随着时代的增加数量,奖励逐渐提高。图6显示性能的学习曲线提取实体提取和关系。的分数(a)和(b)同时增加。从这两个数字,我们可以清楚地看到,所有指标显著提高,然后稳定在13世纪的训练。所以我们训练时期的数量设置为13。

4.4。与国家的艺术

现在深度学习方法实现最先进的端到端关系抽取任务的性能。古板和邦萨尔21]堆叠双向树形结构在双向LSTM-RNNs顺序LSTM-RNNs提取实体和它们之间的关系,既能把握词序列和依赖树子结构的信息。方法用SPTree。表5比较我们共同提取方法与SPTree测试设置和显示我们的方法执行略优于SPTree提到提到实体和关系。虽然我们的方法不是比得上SPTree precision-score,我们的方法优于recall-score SPTree的最好的结果。主要原因是每个操作后奖励强化学习可能发挥重要作用。

4.5。分析

我们pretrain注意力模型用于关系提到分类。提到分类的关系总是处理不平衡语料库,提到大多数句子都不是一个关系。从图7,我们看到SGD算法得到快速的最低目标,但目标函数的值是有点高。这意味着在pretraining注意力模型的会有巨大的损失。注意层中的参数更新为接受的价值观,做好准备则将。当我们做则,我们学习一堆MLP的注意模型(没有softmax输出层)。从图7,我们看到,则需要更多的时代收敛,但降低了目标函数的值在MDP的第一阶段。这意味着我们的强化学习方法是有效的,尽管巨大的损失和不良的pretraining注意模型中初始化。此外,图8显示了学习曲线提到分类性能的关系。我们可以看到,我们的强化学习方法得到良好的性能得分,这也证明我们的有效性。

5。相关工作

关于联合提取实体和关系,研究由四个方法。第一个是结构化的预测。李和霁17]介绍了增量联合框架同时提取实体提到和使用结构化的感知器和定向搜索效率的关系。第二个是整数线性规划。丹和Yih [22]研究全球实体和关系推理识别通过线性规划公式。第三个是card-pyramid解析。凯特和穆尼(23)提出了一个新方法联合使用card-pyramid解析提取实体和关系。最后一个是全球性的概率图形模型。Yu和林24]共同确定实体和百科全书文本提取关系通过图形模型的方法。

最近,深度学习方法已经广泛应用于许多研究领域,目的是减少手工的数量特征。然而,唯一的端到端(联合)与深度学习方法提取实体之间的关系是由于古板和邦萨尔21),多数研究人员仅仅解决实体提取,分类、关系或关系分别提取。赵和尼科尔斯(25)提出了一种新颖的神经网络架构命名实体识别,自动检测单词——和字符级特性使用混合双向LSTM和CNN的架构。Zhang et al。26]提出双向长期短期记忆网络(BLSTM)模型完整的句子,顺序关系分类的所有文字信息。阮和Grishman27从这些传统方法与复杂特性工程通过引入卷积神经网络提取的关系。

目前,强化学习的研究也在增加。El-Laithy和Bogdan28)提出了强化学习与动态突触强化网络框架。穆萨维et al。29日]讨论了上下文的概念转移在强化学习任务。然而,一些研究者应用强化学习在文本处理任务。我们同时使用强化学习和深度学习从非结构化文本中提取实体和关系。我们所知,还没有工作到目前为止对信息提取采用强化学习。本文是第一个试图填补这一空白,为未来的研究提供了一个良好的思维方式。

6。结论

在本文中,我们定义和研究的共同提取实体和关系。我们模型的任务作为一个两步决策过程的强化学习。此外,我们使用深度学习的方法来表示状态的决策过程。基于注意力的方法可以通过实体关系抽取任务的信息。在培训过程中则,更新所有参数同时意识到实体的交互和反馈信息和关系信息。强化学习的奖励每次行动显然有助于改善recall-score。在相同的实验条件下,我们的方法优于最先进的方法提到分数的实体提到和关系。在未来的工作中,我们计划完善的两步决策过程和优化模型则算法。

的利益冲突

作者宣称没有利益冲突。