文摘

在过去,大多数的实体预测方法基于嵌入缺乏培训当地的核心关系,导致缺乏端到端培训。针对这个问题,我们提出了一个端到端的知识图嵌入表示方法。它涉及当地图卷积和全球交叉学习本文,叫做TransC图卷积网络(TransC-GCN)。首先,多个本地语义空间划分根据最大的邻居。其次,翻译模型用于当地的实体和关系映射到一个十字架向量,作为输入之下。第三,通过培训和学习当地的语义关系,最强最好的实体和关系。最优组合实体关系评估后损失函数获得的排名是基于互信息熵。实验表明,本文可以更准确地获得本地实体特征信息通过卷积运算的轻量级卷积神经网络。同时,最大池操作有助于掌握当地的强烈信号特性,从而避免了全球冗余功能。与主流三位一体的基线预测模型相比,该算法可以有效地减少计算复杂度,同时实现强鲁棒性。 It also increases the inference accuracy of entities and relations by 8.1% and 4.4%, respectively. In short, this new method can not only effectively extract the local nodes and relationship features of the knowledge graph but also satisfy the requirements of multilayer penetration and relationship derivation of a knowledge graph.

1。介绍

随着建设巨大的知识图表,图表神经网络(卫星系统)进行图像卷积网络(GCN) [1),和其他神经网络,最初似乎在图上无法表现良好,与完整的图邻接矩阵的计算已经成为一个问题。在许多任务场景中,地图的实体密切和重要的实体与周边的关系2- - - - - -4),可能与几步之外的实体。例如,TransE [5]系列大多只考虑实体之间的直接关系。然而,事实证明,富人和复杂的多步实体之间的关系在图的知识是很有价值的改善知识图嵌入的质量。从某种意义上说,一个实体的价值在于它与其他实体的交互。这种关系可以定量或定性。换句话说,同一实体有相对稳定的特征属性在一个固定的场景,和路径的关系是必要的补充信息的实体。多层的实体类型映射的关系是重要的知识表示学习或逻辑推理(6]。此外,各种作品也被开发出来,支持实体和关系预测(7- - - - - -9]。例如,霍根(10)取代实体规范标签隆重庆祝存在节点。赵et al。11]提出一种有效的方法,使用本地实体类型预测的关系。

大量的知识图情况下显示一个节点通常有很强的语义与少量的相邻节点之间的关系。它不像GCN“看到花在雾中”和“在海里找到针”整个地图,从巨大的知识地图学习一些有价值的信息。通过模型的训练和学习,我们应该使它准确地分类实体的类型和预测和判断分类实体的属性。一个例子是显示在图1<勒布朗Raymone詹姆斯,球员号码,? >。

简单的特征向量的点积和线性分类计算会导致某些功能丧失,这使得实体分类和属性预测无效。因此,我们提出一种轻量级GCN非线性交叉学习当地的知识图表。全球迭代肯定会提高覆盖率和精度,但这通常是在算法的计算效率为代价的。同时,知识图或基线模型的知识表示结构,如TransE TransR [12],PTransE [13),考虑1 - 3步的关系,证明可以提高算法的推理性能(14]。

给出一个例子,在图等一系列的三元组2:<泰坦尼克号,女主角凯特·温斯莱特> <《阿凡达》,女主角,佐伊·索尔达娜> <佐伊·索尔达娜,胸罩,运动内衣> <詹姆斯·卡梅隆,合作伙伴,勒布朗詹姆斯Raymone > <勒布朗Raymone詹姆斯,玩,洛杉矶湖人队> <勒布朗Raymone詹姆斯,另一个名字,LBJ > <勒布朗Raymone詹姆斯,另一个名字,詹黄> <勒布朗Raymone詹姆斯,妻子,萨凡纳詹姆斯> <勒布朗詹姆斯Raymone,球员号码,23 >。

总之,PTransE关系路径嵌入有显著影响。它集成了多步学习到知识表示的关系路径,实现从关系推理的信息水平,提高知识的性能图完成。在路径选择方面,我们提出了一个资源分配算法。虽然在快速获取该算法是可行的路径,一个有效的关系很容易导致资源接近实体流的第一步。如果我们选择的第一步资源流向实体路径,路径生成拟合关系的第一步。主要原因是全球节点的同现关系特性将被忽略。因此,一个名为TransC-GCN的新地方卷积全球跨界提出了研究。它不仅可以有效地提取本地节点和关系的特征知识图还考虑多层渗透的需要和知识的关系推导图。

我们致力于将巨大的图表和高维实体嵌入低维实体类型的关系。图3礼物的一个示例学习和穿越多个本地语义空间与类相似,最终实现两个目标:(1)实体类型的判断和分类和预测(2)实体名称。

根据研究目标,我们考虑进一步增加当地知识的关系路径特性PTransE的基础上。与此同时,我们结合多个当地跨越实现的组合深度学习的关系路径和全球融合表示。通过图卷积当地实体关系的学习,不仅可以隐藏的功能实体和关系在当地被发现而且当地知识表示效果可以改善。当地知识表示能力的持续改进将提高知识学习的整体性能,加强知识推理能力。小规模的局部图卷积应用程序可以避免全球过度拟合的发生,同时解决计算时间长。

为了实现上述目标,我们需要解决两个挑战:(1)部分部门的问题。如果部分太小,它将增加图卷积计算。相反,地方特色太粗糙。因此,部分部门是主要的挑战。(2)交叉损失函数。当地政府通讯的迭代的应用提高了当地特色的学习效果通过定义损失函数和约束地方交叉过程中优化。这是一个确保模型的质量的关键。

我们的贡献可以概括如下:(1)使用图像卷积加上学位的学位和知识图迭代计算当地的范围内,从而防止当地部门太大,我们限制了当地的计算在一定阈值范围内相关的全球图结构。(2)联合损失函数构造通过先验概率知识,后验概率,和当地的交叉熵,计算归一化。

2。相关的工作

2.1。GCN完整图形推理

Kipf et al。15]介绍了光谱GCN semisupervised空间GCN图结构数据的分类和应用卷积运算来计算新的特征向量为每个节点与其邻居的信息。美中不足的是政府通讯需要导入整个图像训练信息,需要统一的训练数据的验证数据。

附近的节点之下结合的特性是依赖图的结构,这限制了其他图的训练模型的泛化能力结构。Ermis et al。16相信在一个图表,预测节点之间的链接关系可以更好地研究整个网络图。例如,吴et al。17GCN)用来表达user-project结构中的用户和项目之间的关系图。王等人。18GCN)用于公斤改善推荐效果,而导致过度拟合的隐患和政府通讯性能下降由于缺少正规化。王等人。19实现跨语言知识图的一致性通过图卷积网络。

2.2。邻居采样学习

图样本和聚合(GraphSAGE)是最具代表性的方法的均匀采样和本地节点的邻居节点的聚合,如图4。通过训练功能聚合子图上的邻居节点,GCN扩展归纳学习,从而概括未知节点(18]。

手枪(20.)利用邻居节点的注意分配指标权重和总当地邻接矩阵的隐式信息。中央节点的本地图嵌入表示特征表示的是由中央节点的邻居节点。通过拼接节点向量的特征表示中心节点可以迭代更新,然后所有节点的特征表示在图上可以被更新。本质上,手枪使用的功能聚合函数注意重量的邻居节点代替之下的归一化功能。

不像之下,都允许隐式分配不同的重要性相同节点的邻居,虽然学习注意力是有助于模型的可解释性。的操作都是逐点详述的,不必要的访问全球提前图结构。因此,它适用于归纳的任务。重要节点图和节点之间的关系有助于过滤噪声的邻居节点之间,提高模型结果的可解释性。

2.3。嵌入

广泛的知识提出了图嵌入技术。基于TransE的想法,反式(D, R) (21)定义了投影矩阵的关系r每三个一组< h,r,t >从关系的角度不同,头和尾巴投射到相应的实体关系的空间。然后,TransE用于翻译。只是,实体和尾巴实体分享在相同的三倍,而且没有区分实体头部和尾部的实体。

例如,<勒布朗Raymone詹姆斯,洛杉矶湖人队>,勒布朗Raymone詹姆斯一个人的名字,和洛杉矶湖人队代表了集体。根据上述方法,我们发现<主任詹姆斯·卡梅隆,泰坦尼克号>和<詹姆斯•卡梅隆导演,《阿凡达》>是两个三元组相同的实体和关系。所以,他们的尾巴实体是泰坦尼克≈《阿凡达》。显然,这是不符合事实的。为了解决这个问题,TransD认为脑袋和尾巴实体之间的区别。类似于TransR,头部和尾部实体分别投射到关系r空间;然后,h和得到了。拉克(22]使用一个关系交互矩阵C生成矢量的实体和关系的互动,然后使用这两个交互的向量表示预测尾实体。

3所示。算法模型

在本节中,我们提出一个端到端的知识地图卷积交叉嵌入表示方法(TransC-GCN)如图5。首先,多个本地语义空间划分根据最大的邻居,然后翻译模型用于当地的实体和关系映射到一个十字架向量,它用作之下的输入。通过培训和学习当地的语义关系,找到最好的实体和最强的关系。最后,输出最优实体关系组合评估通过后损失函数基于互信息熵。

框架主要由4部分组成:(1)部分知识图学习分区和嵌入表示;(2)执行政府通讯编码部分图和使用组合节点局部图作为输入的关系;(3)交叉聚合多个部分知识图以及关键关系推理节点;和(4)排序预测节点为多个路径的关系。

3.1。子图划分

经常有在当地的知识节点之间复杂的关系图。因此,minibatch方法用于引用的局部子图,这是由中央节点。此外,在所有节点问订单的子图presampled并存储在遍历。特性和标签传播只是传播当地的地图。所以,我们定义了子图划分如下。

定义1。鉴于 ,假设 , 。定义它的关联矩阵 如下:

定义2。节点的数量 使用一个 矩阵来表示邻接矩阵 ,这是定义为 ,在哪里n图的顺序。的集合被称为频谱图的特性。

定义3。 代表知识图的子图用于交叉学习 ,在哪里是头部和尾部的集合中的实体子图的C和是集所有节点之间的关系。邻居节点的被定义为 。 在哪里 表示之间的欧几里得距离中心节点我你的邻居节点j和是全球的关系路径阈值图。当地的一个中央节点的子图我被定义为 。过程如图的示意图6。算法1给出了详细的计算过程。

3.2。当地图卷积编码的关系

政府通讯可以获得当地的信息更准确。最大池操作有助于掌握当地的强烈信号特性,从而避免噪音干扰全球冗余功能。平均池用于神经元。你的邻居节点连接到中央节点嵌入作为神经网络的输入层。平均池是用来消除本地节点的稀疏或过度拟合问题和关系的特性。因此,我们使用一层完全连接神经网络和最大池。然后,输出向量的特征向量乘以中央节点获得一个地方嵌入表示。

连接矩阵的标签米, ,和度矩阵对应吗 。 在哪里 , 隐藏层之间的权重矩阵,和偏差。非线性激活函数是线性整流函数（Rectified Linear Unit）。图7显示了部分卷积编码过程的关系图。

3.3。图关系交叉矩阵

为了消除一些重要关系的过度拟合节点分裂造成的局部图,可以用来计算多个正面C子图并行分支。然后,可以定义为所有子图的分支

当地的交叉矩阵:

定义4。图交叉矩阵比例因子矩阵定义的互相干扰参数(23),措施之间的相互干扰参数不同的地方交叉矩阵列向量。具体地说,当地图结构之间的相似性关系可以发现: 从(9)和(10),融合当地图的图交叉矩阵结构是由 。

3.4。动态节点的预测

规范化注意系数用于加权求和特点每个节点作为初步输出的特点:

局部子图预测节点输出: 在哪里的特点是 ; 是政府通讯共享权重th层;归一化对应于所有相邻节点子集吗的 ;和是目标表示向量集中在 。

3.5。损失函数

3.5.1。三重知识嵌入损失函数

交叉关联的实体和关系在三联体作为知识表示的对象的优化。在这里,正式的得分函数是由

3.5.2。交叉卷积损失函数

图卷积算子在当地知识图,和多个本地图是交叉融合基于散度的信息。当地知识地图的功能从当地的卷积模型被送入散度交叉融合模型。同时,我们使用AdaGrad梯度优化算法和随机梯度下降法(SGD)构造训练模块。局部子图输出的估计差异定义如下:

全球交叉训练错误率的损失函数显示了监督训练优化模型如下:

3.5.3。联合损失函数

在培训过程中,有效地监督特性造成的损失由当地知识地图的卷积和部分过滤损失。散度融合交叉时,两个任务模型相结合的培训。这可以提高端到端模型的训练。总之,联合损失函数写成 在哪里 是hyperparameter调整的比例平衡编码和部分交叉和 是调整参数。

4所示。实验

为了进一步验证TransC-GCN的有效性,我们采用相同的实验设置誉为et al。24在实体方面的预测。评价指标的等级排名平均值(MRR)和10支安打率(HITS@10)预测的实体。根据Shimaoka的经验等。25),我们使用pretrained词向量作为初始化和优化参数与优化器亚当(26]。我们使用TransC-GCN生成表示向量的三倍。为了避免过度拟合,我们添加辍学之下的神经元和随机向量迭代的灭活神经元。

此外,我们比较我们的模型和多个基线模型在不同参数设置下的两个任务实体类型分类和实体属性的预测。此外,我们比较的基准模型(27),ConvKB (https://github.com/daiquocnguyen/ConvKB)和ConnectE-E2T +泰爱泰党(https://github.com/Adam1679/ConnectE)程序运行。

4.1。数据集

为了更相关和比较,我们指的是数据集从文本中提取的关系(28作为我们的研究对象。三个数据集的特点如表所示1。

数据集的可视化直观地表明,实体和关系的数量和程度的协会有一个更大的对当地知识的影响图。图8表明,在三个数据集,YAGO43kET实体和关系的密度和丰富。相反,WN18稀疏的实体,缺乏关系。

4.2。评价指标

为了验证TransC-GCN,我们指的是两个典型的评价方法(31日]。形式上,意思是倒数排名(MRR)被定义为 在哪里N训练数据集的三联体数量;的平均分数吗我th正确分类实体;和命中率H_@K (K= 1/3/10),这意味着在遍历训练,能够获得正确的三重实体预测分类可以获得一次K更换。

4.3。模型参数

我们进行了实验的训练集和验证集,如表所示2。

我们进行了交叉探索不同组合的各种参数的设置。根据相应的数据集验证集的影响,平均排名分数将是最好的。

4.4。分类预测

相比之下,尾巴实体和实体预测基线的双线性模型,简要和反式系列如表所示3。WN18RR茂密的实体和关系差、YAGO43kET茂密的实体和丰富选择的关系。关系预测验证,使用稀疏FB15kET的实体和丰富的关系。

4.1.1。实体的预测

如数据所示9和10相比,TransC-GCN比实体召回和质量指标预测模型。关键路径的聚合和十字路口在本地知识图可以有效地提高节点的效率和质量预测。预测指标结果的实体和尾巴实体的三重完成相互接近,表明聚合的关键路径基于局部图节点预测具有较强的适用性。

10/24/11。关系预测

图11表明TransC-GCN在预测上的表现也不错的召回率和质量评价的关系。它不仅考虑路径的关系,而且,更重要的是,学习知识图的特点通过之下,可以消除造成的随机概率模型的预测缺乏实体或关系在一定程度上三倍。这提供了丰富的必要的信息和实体关系路径预测。

4.4.3。鲁棒性

如图12在相同的数据集,两个不同的培训TransC-GCN_SGD和TransC-GCN_AdaGrad优化方法进行了比较。我们可以观察到从表4和图13实体的数量和数量关系产生重大影响的卷积和交叉当地知识图表。此外,比较结果证明了最大平均池的池确实是比解决功能冗余。在稀疏的实体和缺乏关系图,有一个严重的数据稀疏问题,导致实体和关系的长尾分布。然而,我们利用关键路径在本地图,和使用的全局图的结构。

4.5。案例研究

我们已经表明,TransC-GCN可以处理大规模学习知识图和实体关系表示。在图14,我们提供交叉对当地关系推理路径的一个例子。核心实体萨凡纳发现詹姆斯通过当地交叉学习。两个weak-strength关系(注意或像)获得的推理。我们可以发现,草原詹姆士喜欢23运动内衣文胸的佐伊·索尔达娜。

因为草原詹姆斯像佐伊·索尔达娜,她欣赏《阿凡达》。也许她喜欢运动内衣的胸罩,这是品牌的佐伊·索尔达娜。当然,萨凡纳詹姆斯必须更加注重玩家数量的23岁,所以她可能想要一个签署了23运动内衣文胸的佐伊·索尔达娜。

5。结论和未来的工作

在本文中,我们提出一个TransC-GCN卷积方法基于本地和全球对知识交叉图完成。①这是第一次,地方政府通讯和TransC结合学习知识图表示。②TransC-GCN不仅可以将巨大的知识图划分为几个当地知识图和使用卷积神经网络编码更聪明和微妙的当地知识图特性学习具有较强的语义关系,也实现相邻节点的体积和功能的关系。③池和过滤数据噪声为节点提供一个新的和有效的方法预测和分类的关系。④TransC-GCN认为附近的当地知识图的信息价值。我们建议当地知识图的并行交叉融合的方法基于散度,结合当地知识图学习更加灵活地和全球知识图表示。在一些具有挑战性的基线模型试验比较。TransC-GCN具有良好的性能在实体推理精度和泛化能力和是轻量级的。然而,有缺陷的实体多样性学习:(1)当梯度采用AdaGrad开始训练,积累的平方梯度,导致有效的学习速率GCN过早地减少和过度。灭活后神经元与小梯度,ReLU用作激活功能,导致多样性的损失。(2)尽管实验表明,之间没有显著差异的最大平均池的池和结果,仍有稀疏的实体在测试的丧失。(3)TransC-GCN不是有效的跨子图由于邻居节点的重复计算。

对于未来的工作,我们将尝试结合模式序列排序和优化TransC-GCN图形上下文。与此同时,基于TransC-GCN,我们打算推荐算法的基础上,提出一种新的场景图嵌入和协同过滤的组合。

数据可用性

部分或全部数据、模型和代码生成或使用在研究可从相应的作者。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

Luogeng田负责概念化、方法论和草稿准备。白龙杨负责验证,正式的分析和可视化。新利阴负责验证、形式分析、可视化和软件。Kai Kang负责资源和审查和编辑。吴京负责监督。

确认

这项研究得到了国家自然科学基金(61501469)。