文摘

最近,知识图嵌入方法吸引了众多研究者的兴趣,由于他们在知识表示杰出的有效性和鲁棒性。然而,现有的方法仍存在一定的局限性。一方面,翻译代表知识表示模型关注怀孕翻译原则从全球的角度来看,当他们从失败中学习各种类型的关系有区别地事实。它容易使实体拥堵复杂关系的事实在嵌入空间减少表示向量的精度与实体关联。另一方面,平行子图从原始图像中提取用于本地关系事实有区别地学习。然而,它可能会导致原始知识图的关系事实伤害在某种程度上在子图提取。因此,以前的方法是无法学习当地和全球知识表示一致。为此,我们提出一个多视图翻译学习模型,命名MvTransE,学会从全局视图和本地视图角度关系的事实,分别。具体地说,我们第一次从最初的知识图的构造多个并行的子图,同时考虑实体语义和结构特点。然后,我们将原始图和构造子图嵌入到相应的全球和本地的功能空间。 Finally, we propose a multiview fusion strategy to integrate multiview representations of relational facts. Extensive experiments on four public datasets demonstrate the superiority of our model in knowledge graph representation tasks compared to state-of-the-art methods.

1。介绍

知识图(1)是一种有向图组成的实体边缘节点和实体之间的关系。和每一个关系的事实知识图存储为一个三联体(头,关系,尾巴)的缩写(h,r,t),h和t脑袋和尾巴表示实体,分别r是一个关系h来t。随着大数据时代的到来,知识图的规模继续增长;多样化的大规模知识图表(例如,WordNet [2和毒品3])出现。尽管当前知识的大型图表,他们仍然远离知识完整性。例如,75%的人在毒品缺乏和71%缺乏出生地国籍信息(4]。因此,有必要设计方法自动完成或推断出失踪的现有知识图的关系的事实。

最近,embedding-based方法呈现强劲的可行性和鲁棒性方面的知识图完成,哪个项目知识的实体和关系图成一个密集的,连续的,和低维向量空间。现有方法中,翻译的方法吸引了众多研究者的兴趣由于杰出的知识表示的有效性和鲁棒性。第一个翻译方法提出了誉为et al .,名叫TransE [5]。对于每个三联体(h r t),TransE对待关系r作为一个翻译操作h来t在一个向量空间。如果(h r t),翻译原则 应满足在向量空间,在哪里h,r,和t的向量表示h,r,和t。TransE是一个简单但有效的翻译模型在处理一对一的简单关系的事实,即每一个头实体只连接一个尾实体通过一个特定的关系。链接实现先进的性能预测。然而,翻译原则是过于严格的处理复杂关系的事实,包括1到-N,N比1,N- - - - - - - - -N事实。从技术上讲,它可能导致实体的空间拥挤,许多实体(或尾巴实体)预测主管只有一个点的向量空间。

消除的弱点TransE代表复杂关系的事实,提出了一系列的改进模型,如TransH [6],TransR [7],TransD [8],TranSparse [9]。本质上,上面的方法集中在设计各种学习复杂关系的事实更精确地翻译原则。然而,他们仍然完整知识图嵌入到一个向量空间从全球角度来看,他们从失败中学习各种类型的关系有区别地事实。即每个实体和关系图的知识学到相应的独特代表向量空间。因此,仍有向量在翻译产生的空间。对于一个真实世界的例子,实体的三元组(奥巴马,美国总统)和(特朗普,美国总统),即。,Obama and Trump, are projected closely in the vector space due to the same social status. But, they are quite different in other perspectives.

为了解决这个问题,puTransE [10)将知识图表分为多个平行空间子图的形式从局部的角度和达到的空间sparsification复杂关系的事实。特别是在puTransE,实体和关系各自特性表征在不同的平行空间。这种方法提高了学习能力复杂关系事实由于避免了实体的空间拥挤在复杂关系的事实。然而,puTransE仍然有两个缺点。首先,puTransE造成过度稀疏简单关系的事实在平行空间的一代。因此,它很难学习完整的向量表示简单的关系事实在单个子空间。这是因为puTransE执行空间sparsification不仅复杂关系的事实,而且简单的人。第二,puTransE随机选择本地知识构建多个平行的空间,这是容易损害关系的事实知识图。例如,有一个金色的三联体的原始图,不能由实体和关系在任何平行空间。

总之,上述方法嵌入知识图从一个角度来看,即。,从一个本地视图或全局视图。因此,他们从失败中学习当地和全球知识表示一致。为此,我们借的多视图学习方法(11,12翻译]提出一个多视图学习模型,命名MvTransE,嵌入关系事实与全局视图和本地视图,同时。详细,我们首先生成多个并行的子图通过语义和结构实体的角度准确地捕捉本地视图的知识知识图。然后,原来的知识图和生成的并行的子图是嵌入到全局视图和本地视图空间,分别。最后,我们提出一个多视图融合策略的集成多视图表示关系的事实。我们概述本文的主要贡献如下:(1)我们多视图学习的概念合并到模型MvTransE,可以精确地学习关系事实从全球和本地视图(2)我们的模型提取当地知识从语义和结构角度构建多个并行的子图,解决实体空间拥堵问题通过学习本地视图表示关系的事实(3)MvTransE多视图融合策略适用于结合全局视图和知识的本地视图表示图,有效地克服了失踪的关系事实在平行空间(4)大量实验结果证明我们的方法优于最先进的模型在两个知识图完成任务

2。相关工作

因为知识的外观图,许多研究人员已经研究了各种方法来表示关系图的事实。最初,一些embedding-based模型等结构性嵌入(SE) [13)、语义匹配的能源(SME) (14,15),潜在因素模型(lem) (16张量)和神经网络(请厂家)17在知识表示)达到相当大的性能,而无法应对大规模图由于计算的复杂性。最近,翻译模型吸引了大量的关注由于其有效和强大的表现能力。

TransE [5)是第一个翻译的方法,这对关系r作为一个翻译h来t三联体(h r t)。因此,TransE得分函数定义为 ,在为·为_{l1/ l2}代表norm-1或norm-2计算。在模型训练过程中,如果一个三联体(h r t),翻译原则 应满足在向量空间,流程见图1。即TransE保持翻译向量( )近似尾巴向量t。TransE实现卓越的性能在代表简单关系的事实,即一对一的三胞胎。然而,它有一定的局限性在处理复杂的关系事实包括1到n, n对一,n到n三胞胎由于严格的翻译原则。

TransH [6]试图解决TransE通过实现一个实体的问题时具有独特的表征所涉及的实体是不同的关系。具体来说,对于每个三联体(h r t),TransH项目h和t一个关系r特定的超平面获得投影向量 和 。得分函数被定义为 _。

TransR / CTransR [7)在不同的向量空间模型的实体和关系,分别。向量空间,向量空间的实体和关系。对于每一个关系r,它设置一个投影矩阵米_r将向量映射的实体实体向量空间向量空间的关系,也就是说, 和 。它的评分功能是 。

TransD [8同时]认为实体和关系的多样性。它使用两个向量的乘积的一对实体关系来取代一个投影矩阵,即 和 。TransD更具可扩展性,可应用于大规模知识图表。它的评分功能是 。

TranSparse [9]认为实体和关系的异质性和不平衡在知识图,由以前的作品通常被忽略。TranSparse构造自适应稀疏矩阵和 ,而不是投影矩阵,同时防止过度拟合的简单关系的事实和underfitting复杂关系的事实。它的评分功能是 。

英国《金融时报》(18DT]和[19)设计灵活的翻译原则和动态翻译原则,分别。在某种程度上,他们提高能力处理复杂关系的事实。从本质上讲,他们重点阐述各种学习复杂关系的事实更准确的翻译原则。大型甲板躺椅(17)和GAN-based框架(20.)使用注意机制和生成对抗网络改善模型性能,分别。然而,所有上述方法自然完整知识图嵌入到一个统一的向量空间从一个角度来看,未能彻底解决空间拥堵问题。

PuTransE [21)是一个在线和健壮的改善TransE解决hyperparameters敏感性问题和空间拥挤的实体和关系,以及动态知识图的处理。采用多个平行空间实体和关系的学习向量,从而避免空间拥挤在复杂关系的事实。因此,puTransE链接上达到最先进的性能预测的任务。然而,puTransE仍然有两个弱点导致性能限制。首先,puTransE导致过度稀疏的简单关系的事实在随机平行空间的一代。它执行知识提取不仅包括复杂关系的事实,也稀疏的简单关系的事实。因此,它可能学不完整的矢量表示简单的关系事实通过一个单独的子图。第二,puTransE随机选择本地知识构建多个平行的空间,这是容易损害原始事实知识的图形。例如,有一个黄金三个一组,即。,a positive sample, in the original graph which cannot be consisted by entities and relation in any parallel spaces. This situation decreases the relational fact prediction accuracy of puTransE.

3所示。我们的方法

在本节中,我们介绍MvTransE的细节,分别嵌入关系的事实从全局视图和本地视图。MvTransE的工作流程主要包括三个步骤。第一步(部分3.1)是生成多个并行的子图,提取特定的本地关系事实知识图的准确。第二步(部分3.2)旨在有区别地将知识图嵌入多个平行空间获得的多视图表示关系的事实。最后一步(部分3.3)集成了多个版本的知识表示形式,即。,fuses local-view and global-view representations of entities and relations. Figure2提出了一种多视图MvTransE知识学习过程。

3.1。子图生成

子图一代旨在提取本地关系事实从不同的角度,以解决空间实体的拥堵稀疏嵌入到不同的平行向量空间实体和关系如下图嵌入步骤。因此,我们构建多个并行的子图基于不同知识的关系图。每个子图主要包含本地关系事实从一个特定的选择关系。

最初,我们给一些相关的定义符号子图的生成过程。我们定义了一个知识图G= (E R T),E和R表示一个实体集和一组关系的图G分别;T⊆E×R×E代表一组三联体的G。和_子最后生成子图,子图,∈ ,和和代表一个实体集和一组关系的 ,分别。算法1演示了生成子图的细节,主要包括两个步骤在下面给出。

3.1.1。Semantics-Related实体选择

准确地学习当地关系的事实,我们首先选择关系相关的实体子图的语义一致性,确保尽可能多的知识。即实体子图应该是语义相关的基于一个特定的关系。我们随机选择一个关系r从关系组R然后生成实体集E_r,包括提取实体连接r。自E_r通过生成关系r;因此,r被视为当前子图的语义中心吗^。

3.1.2。组织扩张子图

为了学习潜在的知识关联r更全面,我们需要扩大每个子图根据当地图结构的实体的集合E_r。这一步确保了生成子图包含的语义和结构特点同时本地关系的事实。具体地说,我们首先随机选择一个实体e_我从E_r作为一个实体扩大子图开始 。然后,我们随机选择一个三联体的头或尾实体开始实体e_我并将头部或尾部实体添加到子图 。因此,我们可以得到的局部结构信息E_r关于G通过重复上述两个操作n_年代时间。由于随机选择的实体和三胞胎的子图扩张,每个子图扩展E_r可能包括不同关系的事实,这使得生成子图略有不同的语义和结构。此后,关于学习本地关系事实有差别地,这些随机操作确保MvTransE可以从多角度了解当地知识表示。

除此之外,每个子图专注于特定关系的事实,我们需要控制子图的规模,以避免过度提取无关紧要的事实。我们设置hyperparametern_t控制子图的三胞胎,hyperparameter设置n_年代控制每个子图的扩张速度,设置hyperparameter控制的最大迭代三联体的选择,并设置hyperparametern控制生成子图的数量。

3.2。图中嵌入

这一步的目标是获取全局视图的代表性和本地视图表示实体和关系。因此,我们执行原始知识图G嵌入和子图分别嵌入学习全球知识和本地知识。在每一个向量空间,我们定义以下评分函数方程f_r(h,t)翻译每三个一组(h,r,t): 在哪里h,r,和t的向量表示h,r,和t, 是l₁规范或l₂标准距离。

在MvTransE,我们使用margin-based损失函数作为优化目标在每个向量空间中,定义如下: 在哪里是一组嵌入式向量空间,T是一套积极的三胞胎的图,然后呢T^′是一组随机产生的负面三胞胎替换头(或每个积极的三联体(尾巴)h r t)∈T,是固定边缘距离区分正面和负面的三胞胎。我们使用随机梯度下降法(SGD) [22最小化损失函数。

算法2介绍了多视图图嵌入过程,旨在分别将每个知识图和子图嵌入到单一的向量空间。因此,我们将得到n+ 1的向量空间,其中包括向量空间和全局视图n本地视图向量空间。向量空间的全局视图获得所有实体和关系的全局视图表示关于原始知识图;的本地视图向量空间不同学习本地视图表示实体和关系复杂的从不同的语义和结构角度关系的事实。

3.3。多视图融合策略

在本节中,我们提出一个多视图融合策略,采用一种自适应全局视图的选择原则集成知识表示向量空间和本地视图向量空间。对于每个测试三联体(h r t),我们定义一个得分估计函数 计算分数的向量空间的距离,然后动态地选择三联体的最后表示根据最低得分。得分估计函数定义如下: ∆是一个向量空间在哪里它包含h,r,和t;hΔ,rΔ和tΔ向量的h,r∆和一个向量空间。

因为每个平行向量空间通常包含本地关系事实与一个特定的关系,我们的模型可以巧妙地解决空间拥堵问题。此外,MvTransE构造一个全局视图包含完整的知识表示向量空间知识图,这使得任何测试三联体至少能找到一种知识表示。因此,我们的模型显著提高学习简单的性能关系的知识。

4所示。实验

在本节中,我们研究在联系我们的模型的性能预测和三重四个公共数据集分类任务,即。,WN18RR WN18 WN11, fb15k - 237。

4.1。数据集

WordNet [2)是一个大型的英语词汇知识图广泛应用于图嵌入作品。在WordNet,一组同义词表示一个基本词汇的概念作为一个实体,和这些同义词之间的各种语义关系建立了集。在接下来的实验中,我们使用三个公共WordNet的子集,即。、WN18 WN18RR, WN11。WN18包含18和40943实体的关系。WN18RR WN18的修改版本引入了Dettmers et al。23],它消除了扭转关系事实避免信息泄漏问题表示任务。WN11 38696年由11日关系和实体。毒品是一个大型的协作知识图存储的一般事实真实的世界。也就是说,我们使用毒品的一个子集。fb15k - 237 (21),它由237关系和14541年的实体。表1介绍了统计上面的数据集。

4.2。链接预测

链接预测旨在预测失踪的实体h或尾巴实体t测试的三联体(h r t)。在这个实验中,我们把实体h(或t)在测试三胞胎错过正确的实体,实体和其他实体视为候选人。首先,我们构造候选三胞胎代替h(或t三联体)的测试。然后,计算每个三联体的链接预测评分的得分函数的模型。最后,候选实体和正确的实体根据他们的预测成绩按升序排序。我们采用两个指标用于(5的平均等级评估模型:每个实体(也就是正确的。,米ean Rank) and the average number of correct entities ranked in the top 10 (i.e.,(电子邮件保护))。显然,一个良好的预测性能应该达到一个高(电子邮件保护)和低意味着等级。

注意,三胞胎的候选人可能已经存在于知识图,所以这些候选人三胞胎应被视为正确的三胞胎。这些候选人三胞胎的成绩很可能低于正确的三胞胎。因此,我们应该过滤掉这些候选人三胞胎,已经出现在火车,验证集和测试集。我们表示的评价设置“Filt”如果我们过滤掉这些候选人三胞胎在测试前,否则表示,“生”。

我们与一些先进的方法比较MvTransE在WN18链接预测任务,WN18RR, fb15k - 237数据集。WN18, MvTransE RESCAL[相比24),中小企业、lem TransE, TransH, TransR / CTransR puTransE,大型甲板躺椅在表2。在表3与三个竞争方法,我们比较MvTransE DistMult [25,复杂的26],[堵挂23在WN18RR和fb15k - 237数据集这两个没有WN18数据集上发现的信息泄漏问题。我们直接用发表论文或报告的结果(7)由于相同的实验设置。MvTransE,我们的实验设置如下。

4.2.1。准备生成子图设置

在WN18,我们设置子图的数量n= 5000,子图的扩张速度n_年代∈(450),和子图的大小n_t∈(200、1500)。在WN18RR,我们设置子图的数量n= 5000,子图的扩张速度n_年代∈(300),和子图的大小n_t∈(200、1000)。fb15k - 237,我们将子图的数量n= 5000,子图的扩张速度n_年代∈(100、350),子图的大小n_t∈(1000、2200)。

4.2.2。图嵌入安装

向量的维数k设置在{25 30 35、40、50},训练阶段时代{200、500、1000}。在向量空间全局视图,我们设置学习速率{0.01,0.005,0.001,0.0008}中,利润值{中2、3、3.5、4、4.5、5,5.5},minibatch大小B₀{100、200、500}。对于每个数据集,我们通过验证集和选择最佳参数配置如下:k= 1000 = 35岁的时代,= 0.005,= 3.5,B₀WN18 = 100;k= 1000 = 35岁的时代,= 0.0008,= 5.5,B₀WN18RR = 100;k= 1000 = 35岁的时代,= 0.001,= 3,B₀fb15k - 237 = 100。在本地视图空间,我们随机初始化学习速率和保证金在一定的范围内,获得最佳的参数设置如下:∈(0.001,0.005),WN18∈(1.5, 5.5);∈(0.0008,0.005),WN18RR∈(3.5, 5.5);∈(0.005,0.015),∈fb15k - 237 [3.5, 5.5]。

表2提出了三个模型设置的相应实验结果:(1)MvTransE(全局视图)表示预测结果通过使用全局视图表示。(2)MvTransE(本地视图)表示预测结果通过使用所有平行的本地视图表示。(3)MvTransE(多视图)表示预测的结果来自一个多视图融合策略集成多视图表示。从表可以看出2,多视图表示收益率比全局视图和本地视图表示更好的结果。结果证明我们的想法代表知识从多个角度是有效的。在细节,我们的方法明显优于平均排名指标先进的方法。在(电子邮件保护),我们的方法也优于所有基线方法和达到最佳的性能在“生”,和达到最佳性能一样大型甲板躺椅下“Filt”设置。

表3礼物的结果MvTransE(多视图)WN18RR和fb15k - 237进一步说明我们的方法的优点。显然,MvTransE WN18RR(多视图)明显优于所有方法,实现先进的性能在两个指标。fb15k - 237, MvTransE(多视图)取得了最佳的性能在所有的方法意味着等级指标,执行一样的挂(电子邮件保护)指标。特别,我们的模型达到良好的性能在所有三个不同的数据集平均等级指标,评估学习的总体质量知识表示。这是因为MvTransE旨在学习知识表示从多个视角和动态融合这些表示作为最佳组合。

进一步解释上面的观察中,我们提出我们的方法的预测结果对所有类型的关系WN18的事实。表4列表的类型分布三胞胎WN18基于四个类别的关系。表5介绍了三个模型设置的实验结果对每一类关系。具体来说,全局视图设置优于本地视图设置在预测一对一,1到-N头,N比1的尾巴在两个指标,实际上分为简单的学习范畴关系的事实。相反,本地视图设置展品性能优越在预测复杂关系的事实,即,包括N- - - - - - - - -N,N比1头,1到-N尾巴事实学习范畴。显然,通过结合全局视图和本地视图设置的优点,多视图的方法达到最佳的性能在学习简单和复杂关系的事实。

4.3。三个一组的分类

三分类任务旨在确定一个给定的三倍(h r t)是否正确。在这个实验中,我们采用WN11来验证我们的方法的有效性。实验设置后以前的工作(5),我们设置分类阈值对于每一个关系r。最大化分类精度,我们优化在给测试三(验证集。h r t),如果它的分数低于 ,它将归类为阳性样品,否则负样本。

我们选择SE、中小企业、单层模型(SLM) [17请厂家),线性调频,TransE TransH, puTransE基线。我们使用报告的结果(7)直接从数据集是相同的。MvTransE,我们的实验设置如下。

4.3.1。生成子图设置

我们设置了数量的子图n= 5000,随机漫步的长度n_年代∈(300),和子图的大小n_t∈(200、1000)。

4.3.2。图嵌入安装

向量的维数k设置在{15 20 25},训练阶段时代{200、500、1000}。在向量空间全局视图,我们设置学习速率{0.02,0.01,0.05}中,利润值在{3、4,4.5,5},minibatch大小B₀{100、200、500}。我们选择最好的配置,验证设置,如下:k时代= 1000 = 20日,= 0.01,= 4.5,B₀= 100。在本地视图向量空间中,我们随机初始化学习速率∈(0.005,0.015),利润值∈[3.5,5.5]。

三重态分类的实验结果如图所示3。显然,MvTransE获得最佳的性能在所有基线的方法。与翻译方法,即。,TransE and TransH, our method is able to learn complex relational facts more subtly by constructing subgraphs from the original knowledge graph. On the other side, our method outperforms the recent competitor puTransE due to our knowledge fusion strategy which leverages an adaptive selection principle to integrate the global-view and the local-view knowledge representations reasonably. Therefore, MvTransE is more suitable for embedding large and complex knowledge graphs. MvTransE has great advantages in knowledge graph completion tasks due to its multiview knowledge learning and fusing methods.

5。结论和未来的工作

在这项工作中,我们提出一个多视图翻译学习模型,命名MvTransE,旨在展示图关系事实从全局视图和本地视图。MvTransE达到最先进的性能通过求解实体空间拥堵问题和关系的事实损害问题。大量实验证明MvTransE优于最先进的模型预测任务和三重态分类的链接。在未来,我们将集中在子图施工方案更有效地学习当地关系的事实。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这部分工作是由中国国家自然科学基金(U1811264号,61966009,U1711263),广西自然科学基金(2019号。2020 gxnsfaa159055 gxnsfba245059, 2019 gxnsfba245049),广西创新开发项目(没有。AA17202024),北海科技项目合同(202082001)。