CIN 计算智能和神经科学 1687 - 5273 1687 - 5265 Hindawi 10.1155 / 2019/6789520 6789520 研究文章 双重CNN与知识的关注和字嵌入关系提取 https://orcid.org/0000 - 0001 - 5591 - 721 x 李 小君 1 https://orcid.org/0000 - 0003 - 3015 - 5639 黄 Guimin 2 3 陈 Jianheng 1 王 yabe 2 De Maio 卡门 1 学校的信息和沟通 桂林电子科技大学 桂林 广西541004年 中国 gliet.edu.cn 2 学院计算机科学与信息安全 桂林电子科技大学 桂林 广西541004年 中国 gliet.edu.cn 3 可信软件的广西重点实验室 广西 中国 2019年 14 7 2019年 2019年 29日 01 2019年 19 05年 2019年 30. 05年 2019年 14 7 2019年 2019年 版权©2019年6月李et al。 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

关系抽取是文本的潜在关键任务的理解。然而,现有的方法目前有缺陷实例选择和缺乏实体识别的背景知识。在本文中,我们提出一个基于知识的注意力模型,可以充分利用监督信息从一个知识库,选择一个实体。我们也设计一个双卷积神经网络(cnn)的方法考虑每个单词的词嵌入限制通过使用一个单一的训练工具。该模型结合了CNN的注意机制。模型中插入这个词从知识库和监督信息嵌入到CNN,执行卷积和池,结合知识库和CNN的完整的连接层。基于这些过程,模型不仅获得更好的实体表示,也提高的性能关系的帮助下提取丰富的背景知识。实验结果表明,该模型实现竞争力的性能。

 中国国家自然科学基金 61662012 桂林电子科技大学 CRKL150105 1。介绍

关系提取(RE) [ 1- - - - - - 3是更高的应用自然语言处理的基础,已广泛应用于重要信息检索等领域( 4, 5)、知识图,表示学习,和文本的理解。再保险可以简单地视为一个多类分类问题:考虑到句子的两个实体,两个实体之间的关系是歧视。一对的实体 e 1 和 e 2 ,两个实体之间的关系可以是正式的三元组 e 1 , r , e 2 ,在这 r 表示类型的关系。例如,给定一个简单句包含一个实体的关系,例如,“ 比尔盖茨是微软的创始人,“实体之间的语义关系” 比尔盖茨”和“ 微软“是” 创始人。”

最近,深度学习在自然语言处理取得了良好的性能;因此,大量的算法采用了深度学习方法对特征提取和再保险。2012年,Socher et al。 6]提议使用递归神经网络(RNN)来解决这个问题的关系获得的分类和表示句子向量通过RNN关系分类。曾庆红et al。( 7)使用卷积神经网络(CNN) ( 8, 9)结合词提取关系嵌入和位置信息。CNN可以在本地提取敏感信息的句子由单词向量,获得高级功能,并有效应用于关系分类和提取。目前,大多数CNN模型重新使用向量这个词的句子直接获得从一个训练模型作为输入和提取功能。把语料库丰富单字原图向量训练模型的限制,我们使用实体背景知识作为另一个CNN的输入,然后,我们建立一个双重CNN结构结合词嵌入和实体背景知识表示。

注意机制( 10, 11)第一次被应用于图像处理,神经网络关注的重要目标任务在处理图像数据的信息。在自然语言处理中,注意机制可以有效地提高机器翻译的影响,特定的目标情绪分析等任务。在再保险,句子中的每个词都有不同的影响在特定的任务;例如,在句子。” 这部电影是今年最好的之一”,“最好”这个词在句子中起到关键性的作用,表明整个句子的情绪是积极的,和它的重要性大于这句话说的句子。神经网络模型基于注意机制应该确定哪些信息在一个句子很重要,关注这些信息。注意机制表现了杰出的表现sequence-to-sequence句子建模中的任务,取得了良好的效果。林等。 12能注意语句)提出了一个模型来减少噪声问题引起的错误标签的模型。关注权重矩阵用于高层语义表示,使句子表达的准确性。然而,这些方法还不够描述实体的局部和全局信息的句子。在我们的方法中,通过知识的注意机制,我们获得的表示实体之间的关系对当前句子中还有其他对当前实体之间的关系。这些关系有助于我们理解实体之间的关系对在当前的句子。

同一双实体有不同程度的影响在不同的句子在知识库中。例如,”之间的对应关系 比尔盖茨”和“ 微软“知识库” 创始人,“标签”的关系 创始人“这个句子有更高的相关性” 比尔盖茨是微软的创始人比这句话:“” 比尔盖茨继续担任微软董事会作为一个顾问重点开发项目”。因此,本文通过引入实体表示的注意机制在知识基础,我们可以丰富语义背景知识和提高再保险的作用。

 2。相关工作

再保险的主要目的是识别文本中的实体和提取语义实体之间的关系。当前主流技术分为监督学习方法和基于深度学习的方法。再保险监管系统通常需要大量的手工标记的训练数据和自动学习相应的萃取模式从训练数据。郑et al。 13)提出了一种基于核函数的方法。云苓et al。 14)提出了一个方法基于一个七层深卷积神经网络在固执己见的句子标记每个单词方面或nonaspect词。明茨et al。 15)提出了遥远的监督方法和纽约时报新闻文本对齐大规模知识图,毒品,其中包含超过7300和9亿多个实体的关系。随后,许多研究者提出了改进遥远,遥远的监督技术从不同的视角。陈等人。 16)提出了一个联合推理框架,采用这种全球线索解决分歧在当地的预测。里德尔et al。 17)增强的假设遥远的监督。高松et al。 18实体对齐技术的进步,降低数据噪声和提高再保险的整体效果。上面的遥远的监督技术假定一个实体只对应于一个关系。然而,许多实体有多个关系。因此,霍夫曼et al。 19]提出使用多实例multilabel方法模型和描述多个实体之间的关系对。Surdeanu et al。 20.)也提出了一个多实例multilabel方法和贝叶斯网络对再保险。Taghva [ 21]描述了形式概念分析(FCA)来识别和提取个人姓名和关系,和葬礼可以解码文本序列利用维特比算法使用隐马尔科夫模型。

最近,许多研究人员已经开始深入学习技术适用于再保险( 22, 23]。Socher et al。 6]提议使用RNNs解决再保险的问题;该方法首先解析一个句子,然后学习语法上的向量表示为每个节点树。通过RNN的方法可以从这个词向量在最低的句法树和迭代合并向量根据句子的句法结构。最后,得到的向量表示句子和用于关系分类( 24- - - - - - 26]。该方法有效地考虑句子的句法结构信息,但与此同时,它不能考虑两个实体的位置和语义信息一个句子中去。曾庆红et al。( 27)使用向量这个词,这个词的位置向量作为输入的CNN和获得句子表示通过卷积层,汇聚层,和非线性层。通过考虑实体的位置矢量和其他相关词汇特性,实体信息的句子可以用于再保险。Bollegala et al。 28)也提出了一种新的CNN重新使用新的损失函数,可有效提高辨别力不同类别之间的关系。罗等。 29日]提出一种结构新颖,深度学习模型,另外注意机制是为了利用分配权重网络结构的关键问题。林等。 12]提出一种基于神经网络模型能注意语句的机制。的方法可以将权重分配给每个句子一个实体对根据特定的关系。通过不断学习,有效的句子给出更高的权重,而嘈杂的句子给出较低的权重。目前,神经网络的再保险主要用于预设关系集。然而,开放的面向领域的关系仍然是一个相对传统方法提取基于模板。因此,在我们的方法中,我们试图引入一个知识库为关系提取作为背景知识,允许自动发现新的关系和实体。

 3所示。方法 3.1。以知识为基础的注意模型

镍等。 30.]介绍了术语知识库的表示,这是使用RDF(资源描述框架)三元组来表示形式( 主题,关系,和 对象);例如,考虑知识库片段和实体的表达在图中所示的文本 1表示实体和关系,节点显示为直接标记边缘。为简便起见,我们表示三元组 e r , r , e o ,在这 e r 和 e o 分别表示主体和对象实体。

知识库片段和文本中的实体的表达。

这句话” 比尔盖茨是微软的创始人,“我们只能获得一双实体” 比尔盖茨”和“ 微软“关系” 创始人“他们之间的,但我们不能获得信息之间的关系” 微软”和“ 美国”。然而,在知识库中,这些实体之间的关系是简单和清楚地表达。因此,我们的目标是包括知识库中实体关系的表示模型中输入。找到实体提到在文本中,我们首先使用斯坦福命名实体识别器(尼珥)[ 31日]。每个文档可以被分割成句子,每个令牌由尼珥薄铁片可以分为四类。我们连续治疗的令牌,共享相同的类别作为单个实体提到,然后,我们将在文本中提到的实体与知识库。结合文本信息,我们也使用斯坦福依赖解析器来表示文本,如图 2,在这 n 年代 u b j 表示的名义, p r e p 是介词修饰符, p o b j 是一个介词的对象。

文本关系表示和相对距离。

我们使用一个CNN提取特征信息的这些实体关系的知识库。在向量表示层,我们使用这个词嵌入位置和嵌入网络的输入。字嵌入分布表示的单词,每个单词在文本映射到一个低维向量可以由Word2vec训练( 32)或手套( 33]。嵌入的位置是重要的特性在再保险;他们代表两实体之间的距离和关系。图 2显示了相对距离;相对距离这个词 创始人”到“ 比尔盖茨”和“ 微软“是” 3”和“ 2。”

知识的关注旨在识别和我关系的句子或文本;在我们的模型中,我们嵌入句和关系表示。如图 1founder_of,“作为一个令牌,与此同时,嵌入这个词的“创始人”和“的”关系词的序列。在本文中,我们定义的 r = r 1 , r n 作为候选人的关系链, n ≤ 2 是候选人的数量关系关系链。因此,我们结合嵌入和这个词作为输入的关系表示。同样,“company_of”和“微软”之间的关系表示为“美国”字嵌入的“公司”和“的”和“company_of,”关系来自于知识库,我们希望提供更多的信息为当前关系识别通过这些实体与当前的关系。更侧重于关系表示全球信息的上下文。然而,关系表示往往受制于数据稀疏,因为一些关系的负面影响可能很少出现在我们的数据。字嵌入后,将“一个炎热的表示” d 维词向量 V ∈ ℝ V × d 和的关系嵌入向量 V 关系 ∈ ℝ V 关系 × d ,在那里 V 和 V 关系 词汇量的大小和数量的关系知识库,分别。然后,嵌入层的输出发送到CNN的卷积层特征提取。图 3描述了CNN的架构。实际上,有许多知识库中实体与电流的关系,如“father_of”和“place_of_birth。“在这里,我们只使用关系”company_of”作为一个例子。在第一层,每个单词及其位置信息被映射到一个连续使用一个嵌入矩阵表示 V 和这个词嵌入式 e 转化为向量 v 通过使用以下公式: (1) v = V e 。

以知识为基础的注意力模型。

在隐藏层,我们得到隐层特性的权重向量 W ,一个偏差向量 b ,一个激活函数 双曲正切 所示,下面的公式: (2) h = 双曲正切 W − 1 v − 1 + W 0 v 0 + W 1 v + 1 + b , 在哪里 v 0 表示当前字嵌入向量和 v 1 和 v 2 这个词表示嵌入向量之前和之后当前词,分别。

知识关注模型可以矿山当前的关系表示实体对也获得关系信息与当前实体相关的其他实体的知识库。如图 1除了获得之间的关系” 比尔盖茨”和“ 微软“我们也可以获得之间的关系” 比尔盖茨”和“ 美国年代”和“ 微软”和“ 美国”。这些关系可以添加额外的信息实体对输入文本。

 3.2。双CNN模型

节 3.1,我们引入知识关注模型,可以获得额外的信息输入的实体对知识库中。获得这个词在输入文本中嵌入信息,我们使用另一个CNN识别句子功能。我们采用分段CNN(相),由曾庆红et al。 27),预测的关系。网络结构类似于上述知识的注意模型。找出句子中的词的重要性,我们计算句子中的每个单词之间的相关系数及其上下文向量和使用向量和这个词上下文向量作为卷积输入的单词与一个更大的系数关系句话说句子中得到越来越多的重视。

假设一个句子的长度 n ; w 我 ∈ R k 1 ≤ 我 ≤ n 的向量表示这个词吗 k 维度对应 我 量 th 词的句子。让 米 我 的上下文向量 w 我 ; 米 我 通过多个词向量的加权和,下列公式所示: (3) 米 我 = ∑ j = 1 , j ≠ 我 n 一个 我 , j w j , 在哪里 一个 我 , j 是重量通过将softmax函数,如以下公式所示: (4) 一个 我 , j = 经验值 分数 w 我 , w j ∑ j ′ = 1 n 经验值 分数 w 我 , w j ′ , 在哪里 分数函数是用来计算两个词之间的相关系数,衡量单词之间的相关性定义在以下公式: (5) 分数 w 我 , w j = v 一个 T 双曲正切 W 一个 w 我 ⊕ w j , 在哪里 v 一个 和 W 一个 是训练参数。

考虑到两个词之间的关系在一个句子往往会削弱与距离的增加,衰减因子的距离 λ 可以介绍公式( 5),公式可以转化为下面的公式: (6) 分数 w 我 , w j = 1 − λ u ⋅ v 一个 T 双曲正切 W 一个 w 我 ⊕ w j , 在哪里 λ ∈ 0 1 和 u = j − 我 − 1 。当 λ 趋于0,这两个词之间的关系几乎是不受距离影响因素,当 λ 方法1,这两个词之间的关系取决于距离的因素。

通过这个词向量 w 我 和上下文向量 米 我 ,最后一个词向量表示可以获得并用于随后的卷积操作,如以下公式所示: (7) w 我 ′ = w 我 ⊕ 米 我 。

在图 4,我们使用这个句子” 比尔盖茨是微软的创始人“作为一个例子来说明网络结构。“之间的重量 创始人”和其他单词在句子来标示 一个 4 , j ,然后,上下文向量 米 4 的 w 4 结合其作为输入向量表示卷积层。

根据CNN的文本表示模型。

我们合并上述两个网络构建一个双重CNN关系提取模型;每个网络都有自己的输入层,卷积层、汇聚层。然后,层合并成完全连接层。双重CNN架构如图 5。

的体系结构双重CNN。

在传统的关系抽取任务,不可避免地引入错误的标签,创建关系提取噪声。在本文中,我们介绍了实体对知识库的注意机制。我们减少噪音,充分挖掘实体之间的相关性对知识库和句子语义信息的预测。为一组 年代 包含相同的实体对的句子,句子的数量 n ;也就是说, 年代 = 年代 1 , 年代 2 , … , 年代 n 。计算输入句子之间的相关程度 年代 我 和的关系 r ,注意矩阵是通过计算句子向量的内积和实体的对应向量对知识库中。重量计算矩阵如下公式所示: (8) 一个 我 = 软 马克斯 年代 我 一个 r , 在哪里 一个 表示加权对角矩阵, r 的是向量表示实体的对应的预测关系 r 在知识库 一个 是通过随机初始化的训练过程。分配更大的权重更相关的句子关系向量,相应的实体对的句子表示如下: (9) c = ∑ 我 一个 我 年代 我 。

最后,关系标签 y ^ 句子的 年代 我 预计所有关系集 Y 通过将softmax分类器: (10) p ^ y ∣ 年代 我 = 软 马克斯 Y c + b , y ^ = 参数 马克斯 y p ^ y ∣ 年代 我 , 在哪里 b 是偏差向量, 年代 我 表示当前句子向量, p ^ y ∣ 年代 我 属于关系表示实体的概率对标签 y 在当前的句子 年代 我 。

 3.3。优化策略

我们使用叉成本函数为目标函数,定义如下: (11) J θ = ∑ 我 = 1 T 日志 p r 我 ∣ H , θ , 在哪里 θ 表示所有的模型和参数 T 表示句子集的数量,然后 亚当优化器是用于参数更新。

为了防止模型过度拟合,辍学用于正则化约束在每个向前传播,和一些隐藏层节点特性随机丢弃;即。,we我ght updating does not depend on the interaction of the fixed nodes. In addition, this paper adopts L2 regularization, which is multiplied by a factor λ 小于1在迭代期间减少参数的值 θ 。正规化操作减少了数据偏移量对结果的影响,提高模型的抗干扰,并避免过度拟合。

 4所示。实验 4.1。数据可用性

实验数据用于支持这项研究的结果已经存入GITHUB库 https://github.com/mrlijun2017/Dual-CNN-RE。

评估双CNN注意力模型,我们使用了数据集由里德尔et al。 172010年)。生成的数据集匹配知识库毒品和《纽约时报》( https://catalog.ldc.upenn.edu/LDC2008T19)文本设置( 34通过启发式调整),广泛应用于再保险。具体地说,本文使用语料库中的句子从2005 - 2006年作为训练数据,和2007年的测试数据是一致的。数据集包含53个关系(“ NA”表示没有实体之间的关系对),训练集的实体的数量是281,270,和实体的数量在测试集是96 678。

平均精度( P@N)和precision-recall ( P-R)曲线是用来评估我们的方法的有效性。算法通过比较评估的准确性 N条款和所覆盖的区域 P-R曲线。

来验证我们的模型在句子的表达关系分类,我们使用三个开放数据集( http://cogcomp.cs.illinois.edu/Data/QA/QC/)、SST-1 SST-2, TREC进行实验。这三个数据集的相关信息如表所示 1。

相关数据集信息。

数据集 平均句子长度 数量的句子 测试集的句子
SST-1 18 11855年 2210年
SST-2 19 9613年 1821年
TREC 10 5952年 500年
4.2。实验结果和分析 4.2.1。准备距离衰减的影响模型

距离衰减的引入是一个扩展的单词之间的相关系数的计算。它可以表达单词之间的距离的影响因素的相关性更准确地描述两个词之间的关系。距离衰减因子的选择决定了词与词之间的距离因素。相关性的大小影响句子关系分类的效果在一定程度上。获得适当的值为每个数据集模型的,距离指数衰减的程度的影响在方程(句子相关计算 6)是有限的; λ ∈ 0,0.3 选择使用出错率 σ 作为评价指标。实验结果如图所示 6。

距离衰减效应模型的泛化能力。(一)数据集SST-1。SST-2 (b)数据集。TREC (c)数据集。

在图 6,我们可以看到的影响 λ 在模型的泛化能力不相符的数据集和不同的任务。数据集SST-1、SST-2 TREC,当 λ 分别是0.09、0.09、0.12,模型的泛化能力是最好的。的数据集SST-1 SST-2和更长的平均句子长度,引入适当的距离衰减允许更精确的词与词之间相关系数可以通过模型训练,从而提高分类性能。与更短的平均长度为TREC数据集,单词之间有很强的相关性的句子,和一个好的分类效果可以实现当距离衰减的因素是0或一个较小的值。然而,随着距离衰减指数,介绍的增加 λ ,距离的影响因素之间的相关性的话会迅速增加。每个单词对应的词向量附近倾向于获得更多的关注在上下文向量,从而导致模型的泛化能力逐渐下降。

 4.2.2。注意力集中在模型的影响

在本节中,我们首先介绍一些实验参数设置,以及参数设置指霁的经验等。 35]。我们选择这个词嵌入的维度 d w (1到300),和嵌入位置的尺寸 d p {5、10和20}。在我们的实验中,我们设置 d w = 50 和 d p = 5 、批量大小是50、学习速率 η = 0.001 ,正规化superparameter λ = 0.0001 。

验证改进的知识重新关注模型,我们比较的结果字嵌入模型和知识的注意机制模型。表 1显示了两个模型的精度最高100,最高200,前300名中提取关系实例。在表 2,我们可以看到,与单字原图嵌入模型相比,知识库的注意机制模型提高了再保险的准确性。

精度值前100、200和300中提取的关系。

精度(%) 前100名 前200名 前300名 平均
字嵌入 0.74 0.72 0.64 0.70
以知识为基础的注意模型 0.83 0.79 0.72 0.78

此外,其他五个发表比较的方法选择。 明茨提出了明茨et al。 15),并使用所有实例提取特征。霍夫曼et al。 19采用多实例学习的方法,称为 MultiR。Surdeanu et al。 20.多实例multilabels]提出的方法调用 MIML。PCNN_ATT林提出了et al。 12),这增加了句子的注意机制模型。封闭的复发性单元与注意力(GRU_ATT)是蔡等人提出的新方法。 36]。在性能方面,我们的方法比GRU_ATT方法产生更好的结果。与句子向量获得使用格勒乌相比,我们相信CNN比格勒乌提取当地特色。

我们通过重新实现这部分实验方法和数据集的相关论文和与我们的方法进行比较。图 7曲线显示了总精度/回忆之前我们的方法和其他方法。在图 6,我们可以看到,我们的方法优于其他方法,回忆可以达到0.34,高于GRU_ATT (0.32)。总的来说,我们的方法的精度曲线优于其他方法。

总精度/召回曲线为各种不同的方法。

我们也比较的性能模型PCNN_ATT和GRU_ATT和我们的模型= SST-1 SST-2 TREC的数据集,这是一个句子关系分类、任务的目的是直接使用词向量和知识库中关系的关注会影响句子的分类关系。这个任务是词的输入向量和的关系表示句子,而输出是标签的关系。实验结果如图所示 8。

数据集比较模型的性能。

与其他两个模型相比,在我们的模型中,每个单词分别嵌入向量是费解和汇集,执行和功能融合在更高的层面,这避免了功能限制的单字原图向量训练模型和结果提取更丰富的功能。与此同时,这个词向量注意力机制引入我们的模型,这使得它更容易从句子中提取关键信息。我们的模型结合了注意力机制的优点和双重CNN进一步提高句子关系分类的准确性。

 5。结论

我们使用文字嵌入和实体嵌入一个知识库,CNN的输入和提出一个双重CNN再保险模型基于知识的注意机制。实体嵌入可以提供更多的背景知识来预测关系,和字嵌入可以获得更多的句子功能由于注意力机制。实验表明,提出的模型优于先前的方法和适用于实体的任务。句子分类的任务,我们也使用我们的模型,我们的模型还有一个更好的性能。在未来,我们将尝试使用多级模型来表示句子向量,改善注意力机制,将模型应用于其他文本理解任务。如何快速学习新的关系和现有的神经网络模型的例子也是一个值得探讨的现实问题。

 数据可用性

实验数据用于支持这项研究的结果已经存入GITHUB库 https://github.com/mrlijun2017/Dual-CNN-RE。

 的利益冲突

作者宣称没有利益冲突。

 确认

这项工作是由中国国家自然科学基金(没有。61662012)和重点实验室的基础认知无线电和信息处理,教育部、桂林电子科技大学(没有。CRKL150105)。

 李 Z。 谢拉夫 m·A。 Sitbon l 杜 X。 周 X。 核心:上下文感知关系提取方法关系完成 IEEE工程知识和数据 2014年 26 4 836年 849年 10.1109 / tkde.2013.148 2 - s2.0 - 84897446170 签证官 D.-T。 阿訇 E。 提取Feature-enriched矩阵分解的关系 信息处理和管理 2019年 56 3 424年 444年 10.1016 / j.ipm.2018.10.011 2 - s2.0 - 85059587270 Balazs j . A。 维拉斯 j . D。 意见挖掘和信息融合:一项调查 信息融合 2016年 27 95年 110年 10.1016 / j.inffus.2015.06.002 2 - s2.0 - 84934960865 Maio c, D。 Fenza G。 加埃塔 M。 Loia V。 Orciuoli F。 应急决策支持系统的知识框架 以知识为基础的系统 2011年 24 8 1372年 1379年 10.1016 / j.knosys.2011.06.011 2 - s2.0 - 80051472787 李 J。 黄 G。 风扇 C。 太阳 Z。 朱 H。 简称为关键字提取文本通过word2vec doc2vec, textrank 土耳其的电气工程和计算机科学杂志》上 2019年 27 3 1794年 1805年 10.3906 /麋鹿- 1806 - 38 Socher R。 Huval B。 曼宁 c, D。 安德鲁 Y。 通过递归矩阵向量空间语义组合性 学报2012年联合会议上实证方法在自然语言处理和计算自然语言学习 2012年7月 济州岛,韩国 1201年 1211年 曾 D。 刘 K。 赖 年代。 周 G。 赵 J。 通过卷积深层神经网络分类的关系 美国25日计算语言学国际会议 2014年8月 爱尔兰都柏林 2335年 2344年 李 P。 毛 K。 知识型卷积神经网络从自然语言文本中提取的因果关系 专家系统与应用程序 2019年 115年 512年 523年 10.1016 / j.eswa.2018.08.009 2 - s2.0 - 85052130680 郑 年代。 郝 Y。 陆 D。 联合实体和关系提取基于混合神经网络 Neurocomputing 2017年 257年 59 66年 10.1016 / j.neucom.2016.12.075 2 - s2.0 - 85015787416 Vaswani 一个。 Shazeer N。 Parmar N。 Uszkoreit J。 关注你所需要的 学报》31日会议上的神经信息处理系统 2017年12月 美国加利福尼亚州长滩 5998年 6008年 周 P。 徐 J。 气 Z。 保 H。 陈 Z。 徐 B。 遥远的监督关系提取与分层的选择性注意 神经网络 2018年 108年 240年 247年 10.1016 / j.neunet.2018.08.016 2 - s2.0 - 85053081841 凌ydF4y2Ba Y。 沈 年代。 刘 Z。 烹调的菜肴 H。 太阳 M。 与选择性注意神经关系提取实例 学报》第54届年会语言学协会的会议 2016年8月 柏林,德国 2124年 2133年 郑 年代。 徐 J。 周 P。 保 H。 气 Z。 徐 B。 神经网络提取框架关系:学习实体语义和关系模式 以知识为基础的系统 2016年 114年 12 23 10.1016 / j.knosys.2016.09.019 2 - s2.0 - 84994731597 云苓 年代。 威尔士 E。 Gelbukh 一个。 提取方面的意见挖掘深卷积神经网络 以知识为基础的系统 2016年 108年 42 49 10.1016 / j.knosys.2016.06.009 2 - s2.0 - 84981713239 明茨 M。 账单 年代。 雪 R。 Jurafsky D。 遥远的监督关系没有带安全标签的数据时提取 ACL学报》第47届会议和第四国际联合会议上AFNLF的自然语言处理 2009年8月 新加坡 1003年 1011年 陈 l 冯 Y。 黄 年代。 罗 B。 赵 D。 编码的隐性关系要求关系提取:联合推理方法 人工智能 2018年 265年 45 66年 10.1016 / j.artint.2018.08.004 2 - s2.0 - 85055087949 里德尔 年代。 姚 l McCallum 一个。 建模的关系和他们提到没有标记文本 机器学习与知识发现在数据库中 2010年 6323年 148年 163年 10.1007 / 978 - 3 - 642 - 15939 - 8 - _10 2 - s2.0 - 77958036662 高松 年代。 佐藤 我。 中川昭一 H。 减少错误的标签在遥远的监督关系提取 学报50计算语言学协会的年度会议 2012年7月 济州岛,韩国 721年 729年 霍夫曼 R。 张 C。 凌 X。 Zettlemoyer l 焊接 d S。 知识薄弱的监管信息提取的重叠的关系 美国第49计算语言学协会的年度会议 2011年6月 美国波特兰 541年 550年 Surdeanu M。 Tibshirani J。 Nallapati R。 曼宁 c, D。 多实例提取多标记学习的关系 学报2012年联合会议上实证方法在自然语言处理和计算自然语言学习 2012年7月 济州岛,韩国 455年 465年 Taghva K。 名字与形式概念分析识别和提取 国际期刊的机器学习和控制论 2017年 8 1 171年 178年 10.1007 / s13042 - 016 - 0514 - 2 2 - s2.0 - 85011423341 棕褐色 Z。 李 B。 黄 P。 通用电气 B。 肖 W。 神经关系分类使用选择性注意和对称定向实例 对称 2018年 10 9 357年 369年 10.3390 / sym10090357 2 - s2.0 - 85054410553 香 Y。 陈 Q。 王 X。 秦 Y。 遥远的监督关系与排名方法中提取 熵 2016年 18 6 204年 220年 10.3390 / e18060204 2 - s2.0 - 85017483406 徐 K。 冯 Y。 黄 年代。 赵 D。 语义关系分类通过卷积神经网络与简单的负样本 学报2015年大会在自然语言处理的经验方法 2015年9月 葡萄牙里斯本 536年 540年 李 l 张 J。 金 l 郭 R。 黄 D。 分布式元学习系统对中国实体关系抽取 Neurocomputing 2015年 149年 1135年 1142年 10.1016 / j.neucom.2014.07.016 2 - s2.0 - 84922523210 沈 Y。 黄 X。 以卷积神经网络提取语义关系 第26届国际会议在计算语言学学报》上 2016年12月 日本大阪 2526年 2536年 曾 D。 刘 K。 陈 Y。 赵 J。 遥远的监督关系通过分段卷积神经网络提取 学报2015年大会在自然语言处理的经验方法 2015年9月 葡萄牙里斯本 1753年 1762年 Bollegala D。 松尾 Y。 不能 M。 很少受到监督小说关系提取使用一个潜在的关系映射 IEEE工程知识和数据 2013年 25 2 419年 432年 10.1109 / tkde.2011.250 2 - s2.0 - 84871658320 罗 X。 周 W。 王 W。 朱 Y。 邓 J。 引起关系提取与双向封闭的复发性单位在地质资料的分析和高速公路网络 IEEE访问 2018年 6 5705年 5715年 10.1109 / access.2017.2785229 2 - s2.0 - 85040026189 镍 M。 墨菲 K。 Tresp V。 Gabrilovich E。 回顾关系机器学习对知识图表 IEEE学报》 2016年 104年 1 11 33 10.1109 / jproc.2015.2483592 2 - s2.0 - 84943791201 芬克尔 J。 Grenager T。 曼宁 C。 将非本地信息纳入信息提取系统吉布斯抽样 学报》第43届年会在计算语言学协会 2005年6月 安阿伯市,美国 363年 370年 Mikolov T。 Sutskever 我。 陈 K。 柯拉 G。 迪安 J。 的分布式表示单词和短语和它们的组合性 先进的神经信息处理系统 2013年 1 9 彭宁顿 J。 Socher R。 曼宁 c, D。 手套:全球词向量表示 学报2014年大会在自然语言处理的经验方法 2014年10月 卡塔尔多哈 1532年 1543年 Sandhaus E。 《纽约时报》注释的语料库 2008年 美国费城,宾夕法尼亚州 语言数据协会 霁 G。 刘 K。 他 年代。 赵 J。 遥远的监督关系能注意语句的提取和实体的描述 美国31日AAAI会议上人工智能 2017年2月 旧金山,加州,美国 3060年 3066年 蔡 Q。 郝 J。 曹 J。 李 H。 多级提取基于注意机制的遥远的监督关系 《中文信息处理 2018年 32 96年 101年