CINgydF4y2Ba 计算智能和神经科学gydF4y2Ba 1687 - 5273gydF4y2Ba 1687 - 5265gydF4y2Ba HindawigydF4y2Ba 10.1155 / 2020/3283890gydF4y2Ba 3283890gydF4y2Ba 研究文章gydF4y2Ba 混合低阶和高阶图像卷积网络gydF4y2Ba https://orcid.org/0000 - 0002 - 2059 - 8818gydF4y2Ba LeigydF4y2Ba 方圆gydF4y2Ba 1gydF4y2Ba 2gydF4y2Ba 刘gydF4y2Ba 荀gydF4y2Ba 2gydF4y2Ba https://orcid.org/0000 - 0002 - 7561 - 3704gydF4y2Ba 戴gydF4y2Ba 青云gydF4y2Ba 1gydF4y2Ba 凌gydF4y2Ba 宾果Wing-KuengydF4y2Ba 3gydF4y2Ba https://orcid.org/0000 - 0002 - 6877 - 2002gydF4y2Ba 赵gydF4y2Ba 惠民gydF4y2Ba 4gydF4y2Ba 刘gydF4y2Ba 杨ydF4y2Ba 2gydF4y2Ba 曼卓尼gydF4y2Ba 卢卡gydF4y2Ba 1gydF4y2Ba 广东省重点实验室知识产权和大数据gydF4y2Ba 广州510665gydF4y2Ba 中国gydF4y2Ba 2gydF4y2Ba 电子与信息学院gydF4y2Ba 广东理工师范大学gydF4y2Ba 广东gydF4y2Ba 广州510665gydF4y2Ba 中国gydF4y2Ba gdin.edu.cngydF4y2Ba 3gydF4y2Ba 信息工程学院gydF4y2Ba 广东科技大学gydF4y2Ba 广东gydF4y2Ba 广州gydF4y2Ba 中国gydF4y2Ba gdut.edu.cngydF4y2Ba 4gydF4y2Ba 计算机科学学院gydF4y2Ba 广东理工师范大学gydF4y2Ba 广东gydF4y2Ba 广州510665gydF4y2Ba 中国gydF4y2Ba gdin.edu.cngydF4y2Ba 2020年gydF4y2Ba 23gydF4y2Ba 6gydF4y2Ba 2020年gydF4y2Ba 2020年gydF4y2Ba 15gydF4y2Ba 11gydF4y2Ba 2019年gydF4y2Ba 26gydF4y2Ba 4gydF4y2Ba 2020年gydF4y2Ba 23gydF4y2Ba 5gydF4y2Ba 2020年gydF4y2Ba 23gydF4y2Ba 6gydF4y2Ba 2020年gydF4y2Ba 2020年gydF4y2Ba 版权©2020方圆Lei et al。gydF4y2Ba 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。gydF4y2Ba

高阶邻域信息的网络图,图表示学习分类的准确性可以显著改善。然而,当前的高阶图卷积网络有大量的参数,计算复杂度高。因此,我们提出一个混合低阶和高阶图像卷积网络(HLHG)学习模型,它使用一个重量共享机制来减少网络参数的数量。降低计算复杂度,提出一种新的信息融合池层结合高阶与低阶邻域矩阵的信息。我们从理论上比较计算复杂性和提出模型的参数的数量与其他先进的模型。实验,验证该模型在大规模网络文本数据集使用监督学习和使用semisupervised学习引文网络数据集。实验结果表明,该模型实现了更高的分类精度与少量的可训练的重量参数。gydF4y2Ba

 中国国家自然科学基金gydF4y2Ba U1701266gydF4y2Ba 61571141gydF4y2Ba 61702120gydF4y2Ba 61672008gydF4y2Ba 广东省重点实验室知识产权和大数据gydF4y2Ba 2018年b030322016gydF4y2Ba 广东省科技项目gydF4y2Ba 2019年a070701013gydF4y2Ba 清远科技计划项目gydF4y2Ba 170809111721249gydF4y2Ba 170802171710591gydF4y2Ba 1。介绍gydF4y2Ba

卷积神经网络(cnn)都取得了极大的成功在网格结构化数据(如图像和视频gydF4y2Ba 1gydF4y2Ba,gydF4y2Ba 2gydF4y2Ba]。它是由于一系列的过滤器的卷积层cnn,可以获得当地不变的特性。正规化网络相比,图中的一个节点网络的邻居数量可能会有所不同。因此,很难直接实现过滤操作符在一个不规则的网络结构(gydF4y2Ba 3gydF4y2Ba]。gydF4y2Ba

图中网络节点以及它们之间的连接边缘包含丰富的网络特征信息。图卷积网络(GCN)聚合邻居节点的基础上不断实现信息传输网络图。通过充分利用这些信息,政府通讯可以有效地实现任务,如分类、预测和建议。gydF4y2Ba

图卷积网络(GCN)概括传统卷积神经网络(cnn)图域。政府通讯方法主要分为两类(gydF4y2Ba 3gydF4y2Ba),频率域的方法(gydF4y2Ba 4gydF4y2Ba- - - - - -gydF4y2Ba 6gydF4y2Ba)和空间域的方法(gydF4y2Ba 7gydF4y2Ba,gydF4y2Ba 8gydF4y2Ba]。gydF4y2Ba

在空间域,模拟传统的卷积操作CNN一个图像,卷积操作集邻居节点的信息gydF4y2Ba 7gydF4y2Ba- - - - - -gydF4y2Ba 10gydF4y2Ba]。Henaff et al。gydF4y2Ba 11gydF4y2Ba]提出了一种平滑参数光谱滤波器实现本地化和保存输入的参数过滤器独立的维度。的一个关键挑战是,邻居节点的数量在网络不定期更改。gydF4y2Ba

在频域中,布鲁纳等。gydF4y2Ba 5gydF4y2Ba)是第一个扩展CNN-type架构图。曹et al。gydF4y2Ba 12gydF4y2Ba)应用广义卷积网络图使用傅里叶变换频域。在这种方法中,邻域矩阵进行特征值分解。降低计算复杂度,Defferrard et al。gydF4y2Ba 13gydF4y2Ba]提出了切比雪夫多项式特征值的图拉普拉斯算子实现高效、局部图卷积操作过滤器。Kipf和湿润gydF4y2Ba 6gydF4y2Ba)提出了一个古典之下,被一个一阶切比雪夫多项式近似。这种方法降低了计算复杂度,但引入了截断误差。这介绍的结果是无法捕捉高层交互图中的节点之间的信息,同时也限制了模型的功能。图中的信息传播过程不仅一阶相关左邻右舍,也是其高阶。gydF4y2Ba

Abu-El-Haija et al。gydF4y2Ba 14gydF4y2Ba,gydF4y2Ba 15gydF4y2Ba)提出了高阶卷积网络层的图上使用的线性组合的高阶社区基础之下(gydF4y2Ba 6gydF4y2Ba]。挑et al。gydF4y2Ba 16gydF4y2Ba)提出了一种贝叶斯估计方法通过随机变分推理图的邻接矩阵。李维et al。gydF4y2Ba 17gydF4y2Ba]提出凯莱多项式计算局部常规过滤器感兴趣频段的图表。因此,合理使用社区二阶,三阶的社区,和其他高阶邻域信息将有利于分类预测精度(gydF4y2Ba 14gydF4y2Ba- - - - - -gydF4y2Ba 16gydF4y2Ba,gydF4y2Ba 18gydF4y2Ba- - - - - -gydF4y2Ba 20.gydF4y2Ba]。gydF4y2Ba

基于经典的政府通讯(gydF4y2Ba 6gydF4y2Ba),充分利用高阶与低阶邻域信息,我们提出一种新颖的混合低阶和高阶图像卷积网络(HLHG)。如图gydF4y2Ba 1gydF4y2Ba,图卷积层模型是简单而有效的捕捉高阶邻域信息,非线性结合不同的小区信息。的贡献总结如下:gydF4y2Ba

我们提出一种新的融合池层来实现高阶社区融合的低阶邻域图网络gydF4y2Ba

我们邻居提出一个低阶和高阶社区共享机制来减少重量的计算复杂度和数量模型的参数gydF4y2Ba

实验结果表明,我们的HLHG达到最先进的性能在文本网络分类与监督学习和引文网络semisupervised学习gydF4y2Ba

我们的模型的图像卷积层。(a)一阶图卷积层Kipf和湿润gydF4y2Ba 6gydF4y2Ba)模型。输入是gydF4y2Ba HgydF4y2Ba lgydF4y2Ba −gydF4y2Ba 1gydF4y2Ba ,输出是gydF4y2Ba HgydF4y2Ba lgydF4y2Ba ,可训练的参数gydF4y2Ba WgydF4y2Ba lgydF4y2Ba 。(b)第三顺序图卷积层HLHG模型。不同的顺序矩阵社区共享可训练的重量。gydF4y2Ba

剩下的纸是组织如下。节gydF4y2Ba 2gydF4y2Ba相关的理论基础,如图像卷积和高阶图介绍了卷积。节gydF4y2Ba 3gydF4y2Ba,提出了高阶邻域信息融合池。然后,提出了该模型及其变体。该模型的计算复杂度和参数数量也从理论上进行了分析。节gydF4y2Ba 4gydF4y2Ba,我们提出模型和相应的验证分析。最后,部分gydF4y2Ba 5gydF4y2Ba总结了纸。gydF4y2Ba

 2。相关的理论背景gydF4y2Ba

在本部分中,将介绍相关的理论基础,包括图卷积网络(GCN)。gydF4y2Ba

2.1。图gydF4y2Ba

给定一个图gydF4y2Ba GgydF4y2Ba ,它的节点集gydF4y2Ba VgydF4y2Ba ,它的边缘gydF4y2Ba EgydF4y2Ba 图表示为gydF4y2Ba GgydF4y2Ba =gydF4y2Ba VgydF4y2Ba ,gydF4y2Ba EgydF4y2Ba 。如果节点gydF4y2Ba VgydF4y2Ba 我gydF4y2Ba 和gydF4y2Ba VgydF4y2Ba jgydF4y2Ba 连接,然后gydF4y2Ba EgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba ;否则,gydF4y2Ba EgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba =gydF4y2Ba 0gydF4y2Ba 。图中的信息传播的优势gydF4y2Ba EgydF4y2Ba 。它也适用于当考虑到网络节点自身环,这意味着gydF4y2Ba EgydF4y2Ba 我gydF4y2Ba 我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba 。假设的信息传播网络中的每个节点图gydF4y2Ba xgydF4y2Ba ∈gydF4y2Ba RgydF4y2Ba rgydF4y2Ba ,信息矩阵图gydF4y2Ba XgydF4y2Ba ∈gydF4y2Ba RgydF4y2Ba ngydF4y2Ba ×gydF4y2Ba rgydF4y2Ba ,在那里gydF4y2Ba ngydF4y2Ba 是网络图中节点的总数和gydF4y2Ba rgydF4y2Ba 是信息的维度的特性。它假设如果循环图的网络gydF4y2Ba GgydF4y2Ba被表示为gydF4y2Ba GgydF4y2Ba ˜gydF4y2Ba ,那么网络图的邻接矩阵gydF4y2Ba GgydF4y2Ba ˜gydF4y2Ba 被表示为gydF4y2Ba 一个gydF4y2Ba ˜gydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba +gydF4y2Ba 我gydF4y2Ba 。矩阵的程度gydF4y2Ba 一个gydF4y2Ba ˜gydF4y2Ba 在网络图gydF4y2Ba GgydF4y2Ba ˜gydF4y2Ba 是对角矩阵,gydF4y2Ba DgydF4y2Ba ˜gydF4y2Ba 我gydF4y2Ba 我gydF4y2Ba =gydF4y2Ba ∑gydF4y2Ba jgydF4y2Ba 一个gydF4y2Ba ˜gydF4y2Ba 我gydF4y2Ba jgydF4y2Ba 。gydF4y2Ba

 2.2。图卷积网络gydF4y2Ba

在给定的图gydF4y2Ba GgydF4y2Ba ,有两个信号gydF4y2Ba fgydF4y2Ba =gydF4y2Ba fgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba …gydF4y2Ba ,gydF4y2Ba fgydF4y2Ba ngydF4y2Ba TgydF4y2Ba 和gydF4y2Ba ggydF4y2Ba =gydF4y2Ba ggydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba …gydF4y2Ba ,gydF4y2Ba ggydF4y2Ba ngydF4y2Ba TgydF4y2Ba 。图的傅里叶变换定义为gydF4y2Ba fgydF4y2Ba ^gydF4y2Ba =gydF4y2Ba ΦgydF4y2Ba TgydF4y2Ba fgydF4y2Ba 和gydF4y2Ba ggydF4y2Ba ^gydF4y2Ba =gydF4y2Ba ΦgydF4y2Ba TgydF4y2Ba ggydF4y2Ba ,在那里gydF4y2Ba ΦgydF4y2Ba 的标准正交特征值图拉普拉斯算子的图gydF4y2Ba GgydF4y2Ba 。在欧几里得空间一样,谱图卷积操作gydF4y2Ba fgydF4y2Ba 和gydF4y2Ba ggydF4y2Ba 作为一个elementwise产品如下:gydF4y2Ba (1)gydF4y2Ba ggydF4y2Ba ∗gydF4y2Ba fgydF4y2Ba =gydF4y2Ba ΦgydF4y2Ba ΦgydF4y2Ba TgydF4y2Ba ggydF4y2Ba ∘gydF4y2Ba ΦgydF4y2Ba TgydF4y2Ba fgydF4y2Ba =gydF4y2Ba ΦgydF4y2Ba GgydF4y2Ba ^gydF4y2Ba ΦgydF4y2Ba TgydF4y2Ba fgydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba GgydF4y2Ba ^gydF4y2Ba =gydF4y2Ba 诊断接头gydF4y2Ba ggydF4y2Ba ^gydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba …gydF4y2Ba ,gydF4y2Ba ggydF4y2Ba ^gydF4y2Ba ngydF4y2Ba 代表的对角矩阵gydF4y2Ba ggydF4y2Ba ^gydF4y2Ba 。gydF4y2Ba

Defferrard et al。gydF4y2Ba 13gydF4y2Ba)利用gydF4y2Ba kgydF4y2Bath顺序基于切比雪夫多项式滤波器来表示图拉普拉斯算子的卷积操作gydF4y2Ba GgydF4y2Ba ^gydF4y2Ba =gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ΛgydF4y2Ba 我gydF4y2Ba ,在那里gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba 表示系数和gydF4y2Ba ΛgydF4y2Ba 代表了拉普拉斯算子的特征值。gydF4y2Ba

Kipf和湿润gydF4y2Ba 6gydF4y2Ba]提出的经典图基于傅里叶变换的卷积神经网络模型,gydF4y2Ba ggydF4y2Ba ∗gydF4y2Ba fgydF4y2Ba =gydF4y2Ba αgydF4y2Ba 一个gydF4y2Ba ˜gydF4y2Ba fgydF4y2Ba 。政府通讯模型使用一阶切比雪夫多项式近似模型。图网络中的传播模型如下:gydF4y2Ba (2)gydF4y2Ba HgydF4y2Ba lgydF4y2Ba +gydF4y2Ba 1gydF4y2Ba =gydF4y2Ba σgydF4y2Ba DgydF4y2Ba ˜gydF4y2Ba −gydF4y2Ba 1gydF4y2Ba /gydF4y2Ba 2gydF4y2Ba 一个gydF4y2Ba ˜gydF4y2Ba DgydF4y2Ba ˜gydF4y2Ba −gydF4y2Ba 1gydF4y2Ba /gydF4y2Ba 2gydF4y2Ba HgydF4y2Ba lgydF4y2Ba WgydF4y2Ba lgydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba HgydF4y2Ba lgydF4y2Ba 表示信息传播矩阵;gydF4y2Ba WgydF4y2Ba lgydF4y2Ba 表示层的可训练的重量gydF4y2Ba lgydF4y2Ba ;当gydF4y2Ba lgydF4y2Ba =gydF4y2Ba 0gydF4y2Ba ,gydF4y2Ba HgydF4y2Ba 0gydF4y2Ba =gydF4y2Ba XgydF4y2Ba ∈gydF4y2Ba RgydF4y2Ba ngydF4y2Ba ×gydF4y2Ba rgydF4y2Ba 代表的初始输入值之下;gydF4y2Ba σgydF4y2Ba 。gydF4y2Ba 表示激活函数。降低计算复杂度,卷积算子图中被定义为一个简单的邻域平均。然而,卷积过滤器是太简单获取高级交互图中的节点之间的信息。因此,引文网络数据集的分类精度低。gydF4y2Ba

Abu-El-Haija et al。gydF4y2Ba 14gydF4y2Ba,gydF4y2Ba 15gydF4y2Ba]提出一种高阶图像卷积层模型基于GCN semisupervised节点分类。传播模型的高阶图像卷积公式所示(gydF4y2Ba 3gydF4y2Ba)。在这个模型中,传递函数gydF4y2Ba lgydF4y2Ba +gydF4y2Ba 1gydF4y2Ba th层是连接从一阶到一列gydF4y2Ba pgydF4y2Ba 秩序gydF4y2Ba lgydF4y2Ba th层,高阶的线性组合。在传播模型中,同一层的顺序不同的社区使用不同重量参数:gydF4y2Ba (3)gydF4y2Ba HgydF4y2Ba lgydF4y2Ba +gydF4y2Ba 1gydF4y2Ba =gydF4y2Ba σgydF4y2Ba BgydF4y2Ba 0gydF4y2Ba HgydF4y2Ba lgydF4y2Ba WgydF4y2Ba 0gydF4y2Ba lgydF4y2Ba …gydF4y2Ba BgydF4y2Ba pgydF4y2Ba HgydF4y2Ba lgydF4y2Ba WgydF4y2Ba pgydF4y2Ba lgydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba BgydF4y2Ba =gydF4y2Ba DgydF4y2Ba ˜gydF4y2Ba −gydF4y2Ba 1gydF4y2Ba /gydF4y2Ba 2gydF4y2Ba 一个gydF4y2Ba ˜gydF4y2Ba DgydF4y2Ba ˜gydF4y2Ba −gydF4y2Ba 1gydF4y2Ba /gydF4y2Ba 2gydF4y2Ba 。然而,随着网络层加深,的尺寸gydF4y2Ba HgydF4y2Ba lgydF4y2Ba +gydF4y2Ba 1gydF4y2Ba 将增加和层之间传播。因此,可训练的重量参数会有更多的数量,和培训资源也会增加学习的优化尺寸重量。gydF4y2Ba

 3所示。方法gydF4y2Ba

当消息通过网络图,节点将收到潜在表示从他们每次从N-hop first-hop节点和邻居。在本节中,我们提出一个模型非线性总可训练的参数,也可以选择从各种跳节点如何将潜在的消息。gydF4y2Ba

3.1。一般信息融合池gydF4y2Ba

图表的信息传播网络传递图中顶点之间的边。它假设图网络gydF4y2Ba GgydF4y2Ba =gydF4y2Ba VgydF4y2Ba ,gydF4y2Ba EgydF4y2Ba 是一个无向图。熔池的一般过程描述如下。它假设gydF4y2Ba kgydF4y2Ba th顺序矩阵gydF4y2Ba 一个gydF4y2Ba kgydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba 我gydF4y2Ba jgydF4y2Ba kgydF4y2Ba 后,结果融合池操作符gydF4y2Ba PmaxgydF4y2Ba 一个gydF4y2Ba 0gydF4y2Ba ,gydF4y2Ba …gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba kgydF4y2Ba =gydF4y2Ba ZgydF4y2Ba kgydF4y2Ba =gydF4y2Ba zgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba kgydF4y2Ba ,在那里gydF4y2Ba zgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba kgydF4y2Ba =gydF4y2Ba 马克斯gydF4y2Ba 一个gydF4y2Ba 我gydF4y2Ba jgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba 我gydF4y2Ba jgydF4y2Ba 2gydF4y2Ba ,gydF4y2Ba …gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba 我gydF4y2Ba jgydF4y2Ba kgydF4y2Ba ),gydF4y2Ba kgydF4y2Ba 代表了从给定的节点。gydF4y2Ba

这里是一个例子展示如何融合不同的社区。对于一个给定的邻接矩阵gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba ,假设gydF4y2Ba hgydF4y2Ba 1gydF4y2Ba 表示一阶邻域gydF4y2Ba hgydF4y2Ba 2gydF4y2Ba 表示二阶邻域。gydF4y2Ba

如果gydF4y2Ba hgydF4y2Ba 1gydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba XgydF4y2Ba WgydF4y2Ba 1gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba 0gydF4y2Ba 1gydF4y2Ba 1gydF4y2Ba 和gydF4y2Ba hgydF4y2Ba 2gydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 2gydF4y2Ba XgydF4y2Ba WgydF4y2Ba 1gydF4y2Ba =gydF4y2Ba −gydF4y2Ba 1gydF4y2Ba 0gydF4y2Ba 2gydF4y2Ba 1gydF4y2Ba ,然后gydF4y2Ba PmaxgydF4y2Ba hgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba hgydF4y2Ba 2gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba 0gydF4y2Ba 2gydF4y2Ba 1gydF4y2Ba 。gydF4y2Ba

在信息传播和融合过程中,一阶邻域特性和充分考虑高阶邻域特性。因此,应该提高分类精度。gydF4y2Ba

 3.2。我们建议的模型gydF4y2Ba

在图gydF4y2Ba 2gydF4y2Ba,我们建议把高阶的高阶图像卷积网络模型的消息通过网络图。模型由一个输入层,两层图像卷积,信息融合池层连接到图像卷积层。将softmax函数用于multiclassification输出。gydF4y2Ba

HLHG模式。图像卷积HLHG模型的网络层包括两个卷积层和信息融合池。从一阶到输入参数gydF4y2Ba ngydF4y2Bath社区秩序。当gydF4y2Ba ngydF4y2Ba= 1,模型退化为经典图卷积模型之下。当社区秩序gydF4y2Ba ngydF4y2Ba= 2,叫做HLHG-2模型,其输入参数附近一阶和二阶邻域。当社区秩序gydF4y2Ba ngydF4y2Ba= 3,叫做HLHG-3模型,及其输入参数1附近,二阶邻域,第三社区秩序。gydF4y2Ba

该模型扩展了经典GCN模型(gydF4y2Ba 6gydF4y2Ba高阶神经网络图的社区。模型中的每个节点可以表示从社区和集成信息。系统模型如下:gydF4y2Ba (4)gydF4y2Ba YgydF4y2Ba =gydF4y2Ba ℱgydF4y2Ba PgydF4y2Ba 米gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba σgydF4y2Ba HgydF4y2Ba lgydF4y2Ba +gydF4y2Ba 1gydF4y2Ba WgydF4y2Ba lgydF4y2Ba +gydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba ⋯gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba pgydF4y2Ba σgydF4y2Ba HgydF4y2Ba lgydF4y2Ba +gydF4y2Ba 1gydF4y2Ba WgydF4y2Ba lgydF4y2Ba +gydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba pgydF4y2Ba 是最重要的社区,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba pgydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba pgydF4y2Ba −gydF4y2Ba 1gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba ,gydF4y2Ba σgydF4y2Ba 。gydF4y2Ba 是激活函数,函数gydF4y2Ba ℱgydF4y2Ba 。gydF4y2Ba 表示将softmax函数。参数gydF4y2Ba WgydF4y2Ba lgydF4y2Ba +gydF4y2Ba 1gydF4y2Ba 是可训练的重量参数层gydF4y2Ba lgydF4y2Ba +gydF4y2Ba 1gydF4y2Ba 图中的网络,和功能gydF4y2Ba PgydF4y2Ba 米gydF4y2Ba 。gydF4y2Ba 代表gydF4y2Ba PmaxgydF4y2Ba 。gydF4y2Ba 表示混合高阶与低阶的信息融合。当参数gydF4y2Ba lgydF4y2Ba = 0,gydF4y2Ba HgydF4y2Ba 1gydF4y2Ba =gydF4y2Ba PgydF4y2Ba 马克斯gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba HgydF4y2Ba 0gydF4y2Ba WgydF4y2Ba 0gydF4y2Ba ,gydF4y2Ba ⋯gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba pgydF4y2Ba HgydF4y2Ba 0gydF4y2Ba WgydF4y2Ba 0gydF4y2Ba ,这是第一次卷积的输出层图的传播模型。此外,gydF4y2Ba HgydF4y2Ba 0gydF4y2Ba =gydF4y2Ba XgydF4y2Ba ∈gydF4y2Ba RgydF4y2Ba ngydF4y2Ba ×gydF4y2Ba rgydF4y2Ba 代表我们的初始输入模型。gydF4y2Ba

在初步实验中,我们发现两层的高收入和低阶混合图卷积比一级高,低阶图像卷积混合,和堆积更多的层不显著提高图像识别的准确性的任务。因此,本文使用了一个双层图卷积层。在进一步的实验中,我们验证gydF4y2Ba pgydF4y2Ba =gydF4y2Ba 2gydF4y2Ba 和gydF4y2Ba pgydF4y2Ba =gydF4y2Ba 3gydF4y2Ba 在方程(gydF4y2Ba 4gydF4y2Ba为我们的HLHG模型)。在监督学习和无监督学习分类任务,我们HLHG模型显示很好的性能和实现良好的分类精度和计算复杂度之间的平衡。我们也验证gydF4y2Ba pgydF4y2Ba =gydF4y2Ba 4gydF4y2Ba 和gydF4y2Ba pgydF4y2Ba >gydF4y2Ba 4gydF4y2Ba ,分类精度显著提高。因此,我们只分析和实现模型gydF4y2Ba pgydF4y2Ba =gydF4y2Ba 2gydF4y2Ba 和gydF4y2Ba pgydF4y2Ba =gydF4y2Ba 3gydF4y2Ba 在接下来的部分。gydF4y2Ba

在方程(gydF4y2Ba 4gydF4y2Ba),模型gydF4y2Ba pgydF4y2Ba =gydF4y2Ba 2gydF4y2Ba ,即混合模型的一阶和二阶的社区,叫做HLHG-2模型。的模型gydF4y2Ba pgydF4y2Ba =gydF4y2Ba 3gydF4y2Ba 的混合模型,1日,2日,3日社区,叫做HLHG-3模型。gydF4y2Ba

HLHG-2模型,它假设图像卷积网络有两个卷积层和激活函数gydF4y2Ba 线性整流函数（Rectified Linear Unit）gydF4y2Ba 。然后,输出Y HLHG-2模型可以表示如下:gydF4y2Ba (5)gydF4y2Ba YgydF4y2Ba =gydF4y2Ba ℱgydF4y2Ba PgydF4y2Ba 米gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 线性整流函数（Rectified Linear Unit）gydF4y2Ba 米gydF4y2Ba 2gydF4y2Ba WgydF4y2Ba 2gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 2gydF4y2Ba 线性整流函数（Rectified Linear Unit）gydF4y2Ba 米gydF4y2Ba 2gydF4y2Ba WgydF4y2Ba 2gydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba 米gydF4y2Ba 2gydF4y2Ba =gydF4y2Ba PgydF4y2Ba 马克斯gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba XgydF4y2Ba WgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 2gydF4y2Ba XgydF4y2Ba WgydF4y2Ba 1gydF4y2Ba 和gydF4y2Ba PgydF4y2Ba 米gydF4y2Ba 表示熔池gydF4y2Ba PgydF4y2Ba 马克斯gydF4y2Ba 。gydF4y2Ba

与HLHG-2模型一样,输出Y HLHG-3模型可以表示如下:gydF4y2Ba (6)gydF4y2Ba YgydF4y2Ba =gydF4y2Ba ℱgydF4y2Ba PgydF4y2Ba 米gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba TgydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 2gydF4y2Ba TgydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 3gydF4y2Ba TgydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba TgydF4y2Ba =gydF4y2Ba 线性整流函数（Rectified Linear Unit）gydF4y2Ba 米gydF4y2Ba 3gydF4y2Ba WgydF4y2Ba 2gydF4y2Ba 和gydF4y2Ba 米gydF4y2Ba 3gydF4y2Ba =gydF4y2Ba PgydF4y2Ba 马克斯gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba XgydF4y2Ba WgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 2gydF4y2Ba XgydF4y2Ba WgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 3gydF4y2Ba XgydF4y2Ba WgydF4y2Ba 1gydF4y2Ba 。gydF4y2Ba

对于大规模的网络图,这是不可接受的直接计算gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 3gydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 2gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 。因此,我们计算gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 3gydF4y2Ba XgydF4y2Ba WgydF4y2Ba 1gydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba XgydF4y2Ba WgydF4y2Ba 1gydF4y2Ba 。一般来说,的维数gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba XgydF4y2Ba 小于gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 这个过程,避免了大规模矩阵乘法操作。gydF4y2Ba

因此,我们HLHG模式已经远离网络图,和二阶邻域的迭代表达式如下:gydF4y2Ba (7)gydF4y2Ba YgydF4y2Ba =gydF4y2Ba softmaxgydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 线性整流函数（Rectified Linear Unit）gydF4y2Ba HgydF4y2Ba WgydF4y2Ba 2gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 2gydF4y2Ba 线性整流函数（Rectified Linear Unit）gydF4y2Ba HgydF4y2Ba WgydF4y2Ba 2gydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba HgydF4y2Ba =gydF4y2Ba PgydF4y2Ba 马克斯gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba XgydF4y2Ba WgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 2gydF4y2Ba XgydF4y2Ba WgydF4y2Ba 1gydF4y2Ba 。我们使用gydF4y2Ba PgydF4y2Ba 马克斯gydF4y2Ba 我们融合池操作符,假定的最大值对应的元素。算法gydF4y2Ba 1gydF4y2Ba显示了如何融合不同的顺序的邻居。gydF4y2Ba

<大胆>算法1:< /大胆> HLHG-2迭代计算。gydF4y2Ba

输入:gydF4y2Ba XgydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 和其他参数。gydF4y2Ba NgydF4y2Ba(隐藏单位的数量),博士(辍学率),L2 (L2正规化),es(早期停止),时代和lr(学习速率)。gydF4y2Ba

输出:重量参数gydF4y2Ba WgydF4y2Ba 1gydF4y2Ba 和gydF4y2Ba WgydF4y2Ba 2gydF4y2Ba 。gydF4y2Ba

随机生成可训练的重量gydF4y2Ba WgydF4y2Ba 1gydF4y2Ba 和gydF4y2Ba WgydF4y2Ba 2gydF4y2Ba ;gydF4y2Ba

迭代计算输出值gydF4y2Ba

hgydF4y2Ba 1gydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba XgydF4y2Ba WgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba hgydF4y2Ba 2gydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 2gydF4y2Ba XgydF4y2Ba WgydF4y2Ba 1gydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba hgydF4y2Ba 1gydF4y2Ba

hgydF4y2Ba 3gydF4y2Ba =gydF4y2Ba PgydF4y2Ba 马克斯gydF4y2Ba hgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba hgydF4y2Ba 2gydF4y2Ba

hgydF4y2Ba 4gydF4y2Ba =gydF4y2Ba 线性整流函数（Rectified Linear Unit）gydF4y2Ba hgydF4y2Ba 3gydF4y2Ba ;gydF4y2Ba

hgydF4y2Ba 5gydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba hgydF4y2Ba 4gydF4y2Ba WgydF4y2Ba 2gydF4y2Ba ,gydF4y2Ba hgydF4y2Ba 6gydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 2gydF4y2Ba hgydF4y2Ba 5gydF4y2Ba

hgydF4y2Ba 7gydF4y2Ba =gydF4y2Ba PgydF4y2Ba 马克斯gydF4y2Ba hgydF4y2Ba 5gydF4y2Ba ,gydF4y2Ba hgydF4y2Ba 6gydF4y2Ba

YgydF4y2Ba =gydF4y2Ba softmaxgydF4y2Ba hgydF4y2Ba 7gydF4y2Ba

计算交叉熵gydF4y2Ba lgydF4y2Ba =gydF4y2Ba −gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ygydF4y2Ba ˜gydF4y2Ba 我gydF4y2Ba 日志gydF4y2Ba 问gydF4y2Ba 我gydF4y2Ba

我们使用multiclassified交叉熵的损失函数HLHG模型,gydF4y2Ba lgydF4y2Ba =gydF4y2Ba −gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ygydF4y2Ba ˜gydF4y2Ba 我gydF4y2Ba 日志gydF4y2Ba 问gydF4y2Ba 我gydF4y2Ba ,在那里gydF4y2Ba YgydF4y2Ba ˜gydF4y2Ba 是标签样本。图可训练的神经网络权重gydF4y2Ba WgydF4y2Ba 1gydF4y2Ba 和gydF4y2Ba WgydF4y2Ba 2gydF4y2Ba 使用梯度下降训练。在每个训练迭代,我们执行批处理梯度下降法。gydF4y2Ba

 3.3。计算复杂度和参数数量gydF4y2Ba

大规模网络图的邻接矩阵gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba ∈gydF4y2Ba RgydF4y2Ba ngydF4y2Ba ×gydF4y2Ba ngydF4y2Ba 。很难直接计算gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba pgydF4y2Ba 。以减少计算复杂度,我们迭代计算gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba pgydF4y2Ba 。对于更高的订单,从右到左迭代乘法程序gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba pgydF4y2Ba HgydF4y2Ba lgydF4y2Ba WgydF4y2Ba lgydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba pgydF4y2Ba HgydF4y2Ba lgydF4y2Ba WgydF4y2Ba lgydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba pgydF4y2Ba −gydF4y2Ba 1gydF4y2Ba HgydF4y2Ba lgydF4y2Ba WgydF4y2Ba lgydF4y2Ba 。例如,当gydF4y2Ba pgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 1gydF4y2Ba HgydF4y2Ba 0gydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba XgydF4y2Ba ∈gydF4y2Ba RgydF4y2Ba ngydF4y2Ba ×gydF4y2Ba rgydF4y2Ba 。当gydF4y2Ba pgydF4y2Ba =gydF4y2Ba 2gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 2gydF4y2Ba HgydF4y2Ba 1gydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba XgydF4y2Ba ∈gydF4y2Ba RgydF4y2Ba ngydF4y2Ba ×gydF4y2Ba rgydF4y2Ba 。gydF4y2Ba

在提出的模型中,网络的输入特性图gydF4y2Ba XgydF4y2Ba ∈gydF4y2Ba RgydF4y2Ba ngydF4y2Ba ×gydF4y2Ba rgydF4y2Ba 。第一次卷积层的重量gydF4y2Ba WgydF4y2Ba 1gydF4y2Ba ∈gydF4y2Ba RgydF4y2Ba rgydF4y2Ba ×gydF4y2Ba rgydF4y2Ba 1gydF4y2Ba ,第二层的重量gydF4y2Ba WgydF4y2Ba 2gydF4y2Ba ∈gydF4y2Ba RgydF4y2Ba rgydF4y2Ba 1gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba 2gydF4y2Ba 。然后,输入第一个回旋的层gydF4y2Ba HgydF4y2Ba 0gydF4y2Ba =gydF4y2Ba XgydF4y2Ba ∈gydF4y2Ba RgydF4y2Ba ngydF4y2Ba ×gydF4y2Ba rgydF4y2Ba 的参数gydF4y2Ba rgydF4y2Ba 代表输入的维数特征。例如,gydF4y2Ba rgydF4y2Ba 1gydF4y2Ba 表示隐藏神经元的数量第一次卷积层和gydF4y2Ba rgydF4y2Ba 2gydF4y2Ba 表示隐藏神经元的数量在第二卷积层。在我们HLHG模型,可训练的重量参数共享相同的卷积层。因此,在第一次卷积层,输出卷积算子后尺寸是一样的。也就是说,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba XgydF4y2Ba WgydF4y2Ba 1gydF4y2Ba ∈gydF4y2Ba RgydF4y2Ba ngydF4y2Ba ×gydF4y2Ba rgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 2gydF4y2Ba XgydF4y2Ba WgydF4y2Ba 1gydF4y2Ba ∈gydF4y2Ba RgydF4y2Ba ngydF4y2Ba ×gydF4y2Ba rgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba kgydF4y2Ba XgydF4y2Ba WgydF4y2Ba 1gydF4y2Ba ∈gydF4y2Ba RgydF4y2Ba ngydF4y2Ba ×gydF4y2Ba rgydF4y2Ba 1gydF4y2Ba ,在那里gydF4y2Ba kgydF4y2Ba 邻接矩阵的顺序吗gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 。gydF4y2Ba

在gydF4y2Ba lgydF4y2Ba th回旋的层,gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba kgydF4y2Ba HgydF4y2Ba lgydF4y2Ba WgydF4y2Ba lgydF4y2Ba ∈gydF4y2Ba RgydF4y2Ba ngydF4y2Ba ×gydF4y2Ba rgydF4y2Ba lgydF4y2Ba ,在那里gydF4y2Ba rgydF4y2Ba lgydF4y2Ba 表示隐藏神经元的数量gydF4y2Ba lgydF4y2Ba th卷积层。它假设gydF4y2Ba 一个gydF4y2Ba ^gydF4y2Ba 是一个稀疏矩阵gydF4y2Ba 米gydF4y2Ba 非零元素。为gydF4y2Ba lgydF4y2Ba th卷积HLHG层,计算复杂度gydF4y2Ba OgydF4y2Ba rgydF4y2Ba lgydF4y2Ba ×gydF4y2Ba kgydF4y2Ba ×gydF4y2Ba 米gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba lgydF4y2Ba −gydF4y2Ba 1gydF4y2Ba 和数量的训练重量gydF4y2Ba OgydF4y2Ba rgydF4y2Ba lgydF4y2Ba ×gydF4y2Ba rgydF4y2Ba lgydF4y2Ba −gydF4y2Ba 1gydF4y2Ba 。gydF4y2Ba

总HLHG模型的计算复杂度gydF4y2Ba OgydF4y2Ba ∑gydF4y2Ba lgydF4y2Ba jgydF4y2Ba rgydF4y2Ba lgydF4y2Ba ×gydF4y2Ba kgydF4y2Ba ×gydF4y2Ba 米gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba lgydF4y2Ba −gydF4y2Ba 1gydF4y2Ba ,可训练的参数的总数gydF4y2Ba OgydF4y2Ba ∑gydF4y2Ba lgydF4y2Ba jgydF4y2Ba rgydF4y2Ba lgydF4y2Ba ×gydF4y2Ba rgydF4y2Ba lgydF4y2Ba −gydF4y2Ba 1gydF4y2Ba ,参数gydF4y2Ba jgydF4y2Ba 表示卷积层和的总数gydF4y2Ba lgydF4y2Ba 表示gydF4y2Ba lgydF4y2Ba th卷积层。当gydF4y2Ba lgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba rgydF4y2Ba 0gydF4y2Ba 代表数据集的特征维度gydF4y2Ba rgydF4y2Ba lgydF4y2Ba 代表隐藏神经元的数量gydF4y2Ba lgydF4y2Ba th卷积层。所有的数据集,gydF4y2Ba rgydF4y2Ba 0gydF4y2Ba ≫gydF4y2Ba rgydF4y2Ba lgydF4y2Ba ;因此,我们只考虑第一个卷积层当我们比较计算的复杂性和数量的参数。gydF4y2Ba

(相比gydF4y2Ba 14gydF4y2Ba),我们将减少过滤器保持类似的计算复杂度和参数的数量是通过重量少共享为低阶和高阶曲线玲珑。gydF4y2Ba

 4所示。实验gydF4y2Ba

我们进行实验,以验证HLHG模型可以应用于监督学习和semisupervised学习。网络上的文本数据集,我们比较模型与最先进的使用监督学习的方法。引文网络的数据集,我们比较我们的模型和使用semisupervised学习最先进的方法。对所有实验中,我们构建了一个双层图使用TensorFlow卷积网络的模型。GitHub的代码和数据是可用的。gydF4y2Ba

4.1。监督网络文本分类gydF4y2Ba

我们进行监督学习5个基准图文本数据集的分类精度比较HLHG与图像卷积神经网络和其他深度学习的方法。gydF4y2Ba

以下4.4.1。数据集gydF4y2Ba

在我们的监督实验中,20-Newsgroups ng (20), Ohsumed, R52和R8路透社21578年,电影评论(先生)是用于验证该模型。这些数据集是在网上公开的和被广泛用作验证数据集。摘要文本网络的统计特征如表所示gydF4y2Ba 1gydF4y2Ba。gydF4y2Ba

文本的网络数据集。gydF4y2Ba

数据集gydF4y2Ba CgydF4y2Ba DgydF4y2Ba TrgydF4y2Ba TegydF4y2Ba NgydF4y2Ba
R52gydF4y2Ba 52gydF4y2Ba 9100年gydF4y2Ba 6532年gydF4y2Ba 2568年gydF4y2Ba 17992年gydF4y2Ba
哦gydF4y2Ba 23gydF4y2Ba 7400年gydF4y2Ba 3357年gydF4y2Ba 4043年gydF4y2Ba 21557年gydF4y2Ba
20 nggydF4y2Ba 20.gydF4y2Ba 18846年gydF4y2Ba 11314年gydF4y2Ba 7532年gydF4y2Ba 61603年gydF4y2Ba
R8gydF4y2Ba 8gydF4y2Ba 7674年gydF4y2Ba 5485年gydF4y2Ba 2189年gydF4y2Ba 15362年gydF4y2Ba
先生gydF4y2Ba 2gydF4y2Ba 10662年gydF4y2Ba 7108年gydF4y2Ba 3554年gydF4y2Ba 29426年gydF4y2Ba

CgydF4y2Ba显示的类别,gydF4y2Ba DgydF4y2Ba文本的总数,Tr训练集,Te是测试集,然后呢gydF4y2Ba NgydF4y2Ba是图的顶点数网络。gydF4y2Ba

这些基准文本数据集是由姚明et al。(处理gydF4y2Ba 21gydF4y2Ba),文本数据集转换成图网络结构。然后,他们使用预处理构造图的邻接矩阵网络输入和输入参数。数据集分为训练数据集和测试数据集以同样的方式。gydF4y2Ba

 4.1.2。基线和实验设置gydF4y2Ba

用以下方法:我们比较HLHG pretrained向量的卷积神经网络(CNN-rand) [gydF4y2Ba 22gydF4y2Ba),与pretrained LSTM模型向量(LSTM-pre) [gydF4y2Ba 23gydF4y2Ba),预测文本嵌入文本分类(PTE) [gydF4y2Ba 24gydF4y2Ba),快速文本分类器(fastText) [gydF4y2Ba 25gydF4y2Ba),简单的简单的字嵌入模型池策略(SWEM) [gydF4y2Ba 26gydF4y2Ba),label-embedding细心的文本分类模型(学会)gydF4y2Ba 27gydF4y2Ba图),CNN模型与切比雪夫滤波器(GCN-C) [gydF4y2Ba 13gydF4y2Ba图),CNN模型与样条滤波器(GCN-S) [gydF4y2Ba 5gydF4y2Ba图),CNN模型与傅里叶滤波(GCN-F) [gydF4y2Ba 11gydF4y2Ba),图卷积网络文本分类(文本GCN) (gydF4y2Ba 21gydF4y2Ba]。基线模型测试了姚明et al。(gydF4y2Ba 21gydF4y2Ba]。gydF4y2Ba

在我们HLHG-2模型中,我们设置了辍学率= 0.2。更新学习速率从亚当gydF4y2Ba 28gydF4y2Ba在培训过程中。在我们的模型中,我们设置的L2减肥0,我们采用早期停止。我们设置了学习速率为0.02 R8数据集,和学习速率的数据集都设置为0.01。我们为不同的数据集设置不同的时代。时代在R52数据集的数量是350。时代的数量哦,20 ng数据集是200,先生和R8和数量数据集是60。HLHG-2模型中,我们设置的隐藏的神经元数量第一卷积为所有数据集层128。gydF4y2Ba

除了表中的参数gydF4y2Ba 2gydF4y2Ba,其他参数都是相同的如HLHG-2模型。gydF4y2Ba

在我们HLHG-3 hyperparameters模型。gydF4y2Ba

数据集gydF4y2Ba 辍学gydF4y2Ba 学习速率gydF4y2Ba 时代gydF4y2Ba
R52gydF4y2Ba 0.6gydF4y2Ba 0.005gydF4y2Ba 950年gydF4y2Ba
哦gydF4y2Ba 0.2gydF4y2Ba 0.01gydF4y2Ba 230年gydF4y2Ba
20 nggydF4y2Ba 0.0gydF4y2Ba 0.01gydF4y2Ba 210年gydF4y2Ba
R8gydF4y2Ba 0.2gydF4y2Ba 0.005gydF4y2Ba 300年gydF4y2Ba
先生gydF4y2Ba 0.1gydF4y2Ba 0.01gydF4y2Ba 80年gydF4y2Ba

HLHG-3,我们隐藏的神经元的数目在128年第一次卷积层除了数据集,这是设置为64。获得更好的培训效果,我们分别设置不同hyperparameters辍学率、学习速率,为不同的数据集(见表数量的时代gydF4y2Ba 2gydF4y2Ba)。此外,其他参数HLHG-2 HLHG-3是相同的。gydF4y2Ba

我们构造图网络HLHG-2 HLHG-3模型、特征矩阵和其他参数相同的姚明et al。(gydF4y2Ba 21gydF4y2Ba]。gydF4y2Ba

 4.1.3。结果gydF4y2Ba

我们展示监督五个数据集的文本分类精度表gydF4y2Ba 3gydF4y2Ba。我们证明我们的模型执行常见的分裂,从姚明等人的研究(gydF4y2Ba 21gydF4y2Ba]。gydF4y2Ba

网络文本分类的准确性。gydF4y2Ba

方法gydF4y2Ba R52gydF4y2Ba 哦gydF4y2Ba 20 nggydF4y2Ba R8gydF4y2Ba 先生gydF4y2Ba
CNN-rand [gydF4y2Ba 22gydF4y2Ba]gydF4y2Ba 87.59gydF4y2Ba 58.44gydF4y2Ba 82.15gydF4y2Ba 95.71gydF4y2Ba 77.75gydF4y2Ba
LSTM [gydF4y2Ba 23gydF4y2Ba]gydF4y2Ba 85.54gydF4y2Ba 41.13gydF4y2Ba 65.71gydF4y2Ba 93.68gydF4y2Ba 75.06gydF4y2Ba
LSTM-pre [gydF4y2Ba 23gydF4y2Ba]gydF4y2Ba 90.48gydF4y2Ba 51.10gydF4y2Ba 75.43gydF4y2Ba 96.09gydF4y2Ba 77.33gydF4y2Ba
PTE [gydF4y2Ba 24gydF4y2Ba]gydF4y2Ba 90.71gydF4y2Ba 53.58gydF4y2Ba 76.74gydF4y2Ba 96.69gydF4y2Ba 70.23gydF4y2Ba
fastText [gydF4y2Ba 25gydF4y2Ba]gydF4y2Ba 92.81gydF4y2Ba 57.70gydF4y2Ba 79.38gydF4y2Ba 96.13gydF4y2Ba 75.14gydF4y2Ba
SWEM [gydF4y2Ba 26gydF4y2Ba]gydF4y2Ba 92.94gydF4y2Ba 63.12gydF4y2Ba 85.16gydF4y2Ba 95.32gydF4y2Ba 76.65gydF4y2Ba
学会(gydF4y2Ba 27gydF4y2Ba]gydF4y2Ba 91.84gydF4y2Ba 58.58gydF4y2Ba 81.91gydF4y2Ba 93.31gydF4y2Ba 76.95gydF4y2Ba
GCN-C [gydF4y2Ba 13gydF4y2Ba]gydF4y2Ba 92.75gydF4y2Ba 63.86gydF4y2Ba 81.42gydF4y2Ba 96.99gydF4y2Ba 77.22gydF4y2Ba
GCN-S [gydF4y2Ba 5gydF4y2Ba]gydF4y2Ba 92.74gydF4y2Ba 62.82gydF4y2Ba - - - - - -gydF4y2Ba 96.80gydF4y2Ba 76.99gydF4y2Ba
GCN-F [gydF4y2Ba 11gydF4y2Ba]gydF4y2Ba 93.20gydF4y2Ba 63.04gydF4y2Ba - - - - - -gydF4y2Ba 96.89gydF4y2Ba 76.74gydF4y2Ba
文本之下(gydF4y2Ba 21gydF4y2Ba]gydF4y2Ba 93.56gydF4y2Ba 68.36gydF4y2Ba 86.34gydF4y2Ba 97.07gydF4y2Ba 76.74gydF4y2Ba
HLHG-2(我们的)gydF4y2Ba 94.21±0.14gydF4y2Ba 69.16±0.19gydF4y2Ba 86.57gydF4y2Ba ±gydF4y2Ba 0.08gydF4y2Ba 97.25gydF4y2Ba ±gydF4y2Ba 0.10gydF4y2Ba 75.95±0.14gydF4y2Ba
HLHG-3(我们的)gydF4y2Ba 94.33gydF4y2Ba ±gydF4y2Ba 0.16gydF4y2Ba 69.36gydF4y2Ba ±gydF4y2Ba 0.24gydF4y2Ba 86.35±0.24gydF4y2Ba 97.25±0.12gydF4y2Ba 76.49±0.32gydF4y2Ba

表gydF4y2Ba 3gydF4y2Ba介绍了我们的模型的分类精度和标准差和基准网络数据的文本。一般来说,我们的HLHG-2和HLHG-3实现高水平的性能。具体地说,他们在R52实现最佳性能,哦,20 ng, R8。表现最好的方法相比,该模型产量差精度的数据集。一般来说,HLHG-3和HLHG-2模型执行同样。更具体地说,第三阶HLHG略有分类精度比二阶HLHG大多数数据集。然而,性能差异不是很大。总体而言,该建议的体系结构与混合高和低阶地区具有良好的分类性能,这表明它有效地保留了图的拓扑信息,同时也获得一个高质量的代表节点。gydF4y2Ba

基准测试结果是抄袭gydF4y2Ba 8gydF4y2Ba]。我们的模型的平均标准偏差的平均100分。gydF4y2Ba

表gydF4y2Ba 4gydF4y2Ba显示了比较网络的复杂性和参数的数量与文本之下(gydF4y2Ba 21gydF4y2Ba]。我们HLHG可以匹配文本之下对计算复杂性同时要求参数少于文本之下。节中描述gydF4y2Ba 3所示。3gydF4y2Ba,特征数据集的数量远远大于在卷积隐藏层神经元的数目。因此,我们只比较参数的计算复杂度和数量的第一我们HLHG卷积层模型。在表gydF4y2Ba 4gydF4y2Ba、房价和参数代表了计算复杂度和参数的数量在第一层图的卷积网络,分别。在计算复杂度的结果,第一个常数表示神经元的数量在第一个卷积层和第二个常数表示邻接矩阵的顺序。的参数gydF4y2Ba 米gydF4y2Ba表示的稀疏正则化邻接矩阵的非零元素。的参数gydF4y2Ba rgydF4y2Ba表示图中的节点网络的特征维度。gydF4y2Ba

比较网络计算复杂度和参数的数量。gydF4y2Ba

方法gydF4y2Ba 广告样稿。gydF4y2Ba 参数个数gydF4y2Ba
文本之下(gydF4y2Ba 21gydF4y2Ba]gydF4y2Ba O (gydF4y2Ba 200年gydF4y2Ba ×gydF4y2Ba 1gydF4y2Ba ×gydF4y2Ba 米gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )gydF4y2Ba O (gydF4y2Ba 200年gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )gydF4y2Ba
HLHG-2(我们的)gydF4y2Ba O (gydF4y2Ba 128年gydF4y2Ba ×gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba 米gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )gydF4y2Ba O (gydF4y2Ba 128年gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )gydF4y2Ba
HLHG-3(我们的)gydF4y2Ba O (gydF4y2Ba 64年gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 米gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba 数据集)(先生)gydF4y2Ba O (gydF4y2Ba 64年gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba 数据集)(先生)gydF4y2Ba
O (gydF4y2Ba 128年gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 米gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba)(其他数据集)gydF4y2Ba O (gydF4y2Ba 128年gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )(其他数据集)gydF4y2Ba

在文本之下(gydF4y2Ba 21gydF4y2Ba),隐藏的神经元的数目在200年第一个卷积层是;因此,复杂性和参数是200卡路里。128年HLHG-2模型,表示隐藏神经元的数量在第一卷积层和2代表最高的HLHG-2秩序。HLHG-3模型,128年和64年表示隐藏神经元的数量在第一卷积和3层代表了最高的相应模型。结果在表gydF4y2Ba 4gydF4y2Ba表明我们HLHG-3先生数据集模型具有更好的计算复杂度。因为重量不同社区,分享HLHG模型需要更少的可训练的重量参数。尤其是在数据集,参数的个数只有1/3的文本之下(gydF4y2Ba 21gydF4y2Ba]。gydF4y2Ba

 4.2。Semisupervised节点分类gydF4y2Ba

我们进行semisupervised学习三个基准引文网络数据集比较HLHG的节点分类精度与一些经典方法和一些图像卷积神经网络方法。图semisupervised学习的过程对应于“标签”在引文网络传播。gydF4y2Ba

4.2.1。准备数据集gydF4y2Ba

我们使用CiteSeer semisupervised节点分类,科拉,和PubMed引文网络数据集gydF4y2Ba 29日gydF4y2Ba]。在这些引用数据集,节点代表的文章发表在相应的期刊。两个节点之间的边表示从一篇文章引用到另一个,和标签代表的主题文章。引文链接构造邻接矩阵。这些数据集标签低利率。摘要引用图表的统计特征如表所示gydF4y2Ba 5gydF4y2Ba。gydF4y2Ba

引文网络数据集。gydF4y2Ba

数据集gydF4y2Ba NgydF4y2Ba EgydF4y2Ba FgydF4y2Ba lgydF4y2Ba CgydF4y2Ba
科拉gydF4y2Ba 2708年gydF4y2Ba 5429年gydF4y2Ba 1433年gydF4y2Ba 0.052gydF4y2Ba 7gydF4y2Ba
CiteSeergydF4y2Ba 3327年gydF4y2Ba 4732年gydF4y2Ba 3703年gydF4y2Ba 0.036gydF4y2Ba 6gydF4y2Ba
PubMedgydF4y2Ba 19717年gydF4y2Ba 44338年gydF4y2Ba 500年gydF4y2Ba 0.003gydF4y2Ba 3gydF4y2Ba

NgydF4y2Ba意味着引用的数量的节点,gydF4y2Ba EgydF4y2Ba意味着引用之间的边的数量,gydF4y2Ba FgydF4y2Ba意味着功能节点的数量,gydF4y2Ba lgydF4y2Ba表示标记率gydF4y2Ba CgydF4y2Ba表示类的数量。gydF4y2Ba

 4.2.2。基线和实验设置gydF4y2Ba

我们比较HLHG相同的基线方法Abu-El-Haija et al。gydF4y2Ba 15gydF4y2Ba和杨et al。gydF4y2Ba 30.gydF4y2Ba]。基线如下:廖正规化(ManiReg) [gydF4y2Ba 31日gydF4y2Ba),semisupervised嵌入(SemiEmb) [gydF4y2Ba 32gydF4y2Ba),标签传播(LP) (gydF4y2Ba 33gydF4y2Ba),skip-gram-based图嵌入(DeepWalk) [gydF4y2Ba 34gydF4y2Ba),迭代分类算法(ICA) (gydF4y2Ba 35gydF4y2Ba],小行星[gydF4y2Ba 30.gydF4y2Ba],何鸿燊[gydF4y2Ba 14gydF4y2Ba],MixHop [gydF4y2Ba 15gydF4y2Ba]。gydF4y2Ba

HLHG-2模型,我们使用以下参数为引用数据集(科拉,CiteSeer和PubMed): 16(隐藏单位的数量),0.5(辍学率),0.0005 (L2正规化)10(早期停止),300(时代),和0.01(学习速率)。gydF4y2Ba

对于HLHG-3播送的模型,我们设置不同数量的隐藏的神经元为不同的数据集。我们制定了8个隐藏神经元为CiteSeer数据集,以降低计算复杂度和参数的数量,并设置10隐藏神经元科拉和PubMed数据集获取更丰富的功能。的hyperparameters HLHG-3设置如表所示gydF4y2Ba 6gydF4y2Ba。gydF4y2Ba

HLHG-3 hyperparameters。gydF4y2Ba

数据集gydF4y2Ba 辍学gydF4y2Ba 学习速率gydF4y2Ba 早期停止gydF4y2Ba 时代gydF4y2Ba
科拉gydF4y2Ba 0.5gydF4y2Ba 0.01gydF4y2Ba 没有gydF4y2Ba 500年gydF4y2Ba
CiteSeergydF4y2Ba 0.5gydF4y2Ba 0.005gydF4y2Ba 5gydF4y2Ba 500年gydF4y2Ba
PubMedgydF4y2Ba 0.6gydF4y2Ba 0.01gydF4y2Ba 1gydF4y2Ba 200年gydF4y2Ba
4.2.3。结果gydF4y2Ba

semisupervised实验,我们训练和测试我们的模型在这些引文网络数据集的方法后,提出了杨et al。gydF4y2Ba 30.gydF4y2Ba]。分类精度的平均值100与体重随机初始化运行。gydF4y2Ba

基准测试结果被复制(gydF4y2Ba 15gydF4y2Ba,gydF4y2Ba 30.gydF4y2Ba]。我们的模型的平均标准偏差的平均100分。gydF4y2Ba

在表gydF4y2Ba 7gydF4y2Ba,节点分类精度高于线从Abu-El-Haija复制gydF4y2Ba 14gydF4y2Ba,gydF4y2Ba 15gydF4y2Ba和杨et al。gydF4y2Ba 30.gydF4y2Ba]。行下面的值是我们HLHG模型。±标准差代表了100年的运行与不同的随机初始化。这些分歧只利用20标记节点中每个类的培训。我们达到最好的测试精度82.7%和71.5%的科拉和CiteSeer数据集,分别。相对于其他高阶图卷积神经网络(gydF4y2Ba 14gydF4y2Ba,gydF4y2Ba 15gydF4y2Ba在相同的数据集,他们得到的高阶信息使用的线性组合特性从更远的距离。HLHG模型行为的非线性高阶邻域信息。gydF4y2Ba

引文网络分类测试精度。gydF4y2Ba

方法gydF4y2Ba 科拉gydF4y2Ba CiteSeergydF4y2Ba PubMedgydF4y2Ba
ManiReg [gydF4y2Ba 31日gydF4y2Ba]gydF4y2Ba 59.5gydF4y2Ba 60.1gydF4y2Ba 70.7gydF4y2Ba
SemiEmb [gydF4y2Ba 32gydF4y2Ba]gydF4y2Ba 59.0gydF4y2Ba 59.6gydF4y2Ba 71.1gydF4y2Ba
LP (gydF4y2Ba 33gydF4y2Ba]gydF4y2Ba 68.0gydF4y2Ba 45.3gydF4y2Ba 63.0gydF4y2Ba
DeepWalk [gydF4y2Ba 34gydF4y2Ba]gydF4y2Ba 67.2gydF4y2Ba 43.2gydF4y2Ba 65.3gydF4y2Ba
ICA (gydF4y2Ba 35gydF4y2Ba]gydF4y2Ba 75.1gydF4y2Ba 69.1gydF4y2Ba 73.9gydF4y2Ba
小行星(gydF4y2Ba 30.gydF4y2Ba]gydF4y2Ba 75.7gydF4y2Ba 64.7gydF4y2Ba 77.2gydF4y2Ba
政府通讯(gydF4y2Ba 6gydF4y2Ba]gydF4y2Ba 81.5gydF4y2Ba 70.3gydF4y2Ba 79.0gydF4y2Ba
HO-3 [gydF4y2Ba 14gydF4y2Ba]gydF4y2Ba 81.6±0.47gydF4y2Ba 71.2±0.94gydF4y2Ba 80.0±0.64gydF4y2Ba
HO-4 [gydF4y2Ba 14gydF4y2Ba]gydF4y2Ba 81.6±0.63gydF4y2Ba 71.2±0.84gydF4y2Ba 80.1±0.65gydF4y2Ba
MixHop [gydF4y2Ba 15gydF4y2Ba]gydF4y2Ba 81.8±0.62gydF4y2Ba 71.4±0.81gydF4y2Ba 80.0±1.10gydF4y2Ba
MixHop(学)gydF4y2Ba 15gydF4y2Ba]gydF4y2Ba 81.9±0.40gydF4y2Ba 71.4±0.81gydF4y2Ba 80.8gydF4y2Ba±gydF4y2Ba 0.58gydF4y2Ba
HLHG-2(我们的)gydF4y2Ba 82.7gydF4y2Ba±gydF4y2Ba 0.28gydF4y2Ba 71.5gydF4y2Ba±gydF4y2Ba 0.22gydF4y2Ba 79.1±0.18gydF4y2Ba
HLHG-3(我们的)gydF4y2Ba 82.7±0.29gydF4y2Ba 71.5±0.39gydF4y2Ba 79.3±0.15gydF4y2Ba

在表gydF4y2Ba 8gydF4y2Ba,我们比较了网络复杂性和参数的数量和其他高阶图卷积网络和经典之下。结果表明,我们的模型与其他方法相同的计算复杂度。关于参数的数量,比GCN HLHG-3模型有更少的参数(gydF4y2Ba 6gydF4y2Ba]。原因是我们的模型权重股票在同一层中不同的顺序矩阵。gydF4y2Ba

网络参数的数量和复杂程度的比较。gydF4y2Ba

方法gydF4y2Ba 广告样稿。gydF4y2Ba 参数个数gydF4y2Ba
政府通讯(gydF4y2Ba 6gydF4y2Ba]gydF4y2Ba OgydF4y2Ba(gydF4y2Ba 16gydF4y2Ba ×gydF4y2Ba 米gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )gydF4y2Ba OgydF4y2Ba(gydF4y2Ba 16gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )gydF4y2Ba
HO-3 [gydF4y2Ba 14gydF4y2Ba]gydF4y2Ba OgydF4y2Ba(gydF4y2Ba 10gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 米gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )gydF4y2Ba OgydF4y2Ba(gydF4y2Ba 10gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )gydF4y2Ba
HO-4 [gydF4y2Ba 14gydF4y2Ba]gydF4y2Ba OgydF4y2Ba(gydF4y2Ba 10gydF4y2Ba ×gydF4y2Ba 4gydF4y2Ba ×gydF4y2Ba 米gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )gydF4y2Ba OgydF4y2Ba(gydF4y2Ba 10gydF4y2Ba ×gydF4y2Ba 4gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba r)gydF4y2Ba
MixHop [gydF4y2Ba 15gydF4y2Ba]gydF4y2Ba OgydF4y2Ba(gydF4y2Ba 20.gydF4y2Ba ×gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba 米gydF4y2Ba ×gydF4y2Ba r)gydF4y2Ba OgydF4y2Ba(gydF4y2Ba 20.gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )gydF4y2Ba
MixHop(学)gydF4y2Ba 15gydF4y2Ba]gydF4y2Ba OgydF4y2Ba(gydF4y2Ba 20.gydF4y2Ba ×gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba 米gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )gydF4y2Ba OgydF4y2Ba(gydF4y2Ba 60gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )gydF4y2Ba
HLHG-2(我们的)gydF4y2Ba OgydF4y2Ba(gydF4y2Ba 16gydF4y2Ba ×gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba 米gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )gydF4y2Ba OgydF4y2Ba(gydF4y2Ba 16gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )gydF4y2Ba
HLHG-3(我们的)gydF4y2Ba OgydF4y2Ba(gydF4y2Ba 8gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 米gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )(CiteSeer)gydF4y2Ba OgydF4y2Ba(gydF4y2Ba 8gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )(CiteSeer)gydF4y2Ba
OgydF4y2Ba(gydF4y2Ba 10gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 米gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )(科拉,PubMed)gydF4y2Ba OgydF4y2Ba(gydF4y2Ba 10gydF4y2Ba ×gydF4y2Ba rgydF4y2Ba )(科拉,PubMed)gydF4y2Ba
5。结论gydF4y2Ba

在本文中,我们提出一个混合低阶和高阶GCN监督分类模型的文本网络数据集和semisupervised分类在引文网络。在我们的模型中,我们提出一种新颖的非线性信息融合层结合低收入和高阶社区。减少参数的数量,我们建议共享相同的卷积层的权重不同的社区。在两个网络数据集的实验表明HLHG有能力融合高阶社区为监督分类和semisupervised分类。我们的模型明显优于基准。我们还发现,计算复杂度和参数的数量小于高阶的方法。为了获得更多的社区信息,我们可以使用更多的高阶邻接矩阵。然而,直接使用订单增长可能导致oversmoothing问题。因此,在未来的研究工作中,我们将扩展HLHG模型融合图关注网络(gydF4y2Ba 36gydF4y2Ba]发展更深层次的图像卷积网络。gydF4y2Ba

 数据可用性gydF4y2Ba

监督的文本网络分类数据用于支持这项研究的结果已经存入存储库DOI: 10.1609 / aaai.v33i01.33017370。Semisupervised节点分类数据用于支持这项研究的结果已经存入存储库DOI: 10.1609 / aimag.v29i3.2157gydF4y2Ba

 信息披露gydF4y2Ba

赞助商的资金没有参与这项研究的设计;在收集、分析或解释数据;写的手稿;也决定发表的结果。gydF4y2Ba

 的利益冲突gydF4y2Ba

作者宣称没有利益冲突有关的出版。gydF4y2Ba

 确认gydF4y2Ba

这项工作是支持部分由中国国家自然科学基金资助下U1701266, 61571141, 61702120, 61672008;广东省重点实验室资助下的知识产权和大数据2018 b030322016;下的广东省科技项目拨款2019 a070701013;和清远科技计划项目资助下170809111721249和170809111721249。gydF4y2Ba

 KrizhevskygydF4y2Ba 一个。gydF4y2Ba SutskevergydF4y2Ba 我。gydF4y2Ba 辛顿gydF4y2Ba g . E。gydF4y2Ba ImageNet与深卷积神经网络分类gydF4y2Ba 学报》国际会议神经信息处理系统gydF4y2Ba 2012年12月gydF4y2Ba 太浩湖,NV,美国gydF4y2Ba 1097年gydF4y2Ba 1105年gydF4y2Ba 他gydF4y2Ba K。gydF4y2Ba 张gydF4y2Ba X。gydF4y2Ba 任gydF4y2Ba 年代。gydF4y2Ba 太阳gydF4y2Ba J。gydF4y2Ba 深层残留图像识别的学习gydF4y2Ba 《IEEE计算机视觉与模式识别会议gydF4y2Ba 2016年12月gydF4y2Ba 美国内华达州拉斯维加斯gydF4y2Ba 770年gydF4y2Ba 778年gydF4y2Ba 10.1109 / cvpr.2016.90gydF4y2Ba 2 - s2.0 - 84986274465gydF4y2Ba 布罗斯特gydF4y2Ba M . M。gydF4y2Ba 米菲gydF4y2Ba J。gydF4y2Ba 勒存gydF4y2Ba Y。gydF4y2Ba SzlamgydF4y2Ba 一个。gydF4y2Ba VandergheynstgydF4y2Ba P。gydF4y2Ba 几何深度学习:超越欧几里得数据gydF4y2Ba IEEE信号处理杂志gydF4y2Ba 2017年gydF4y2Ba 34gydF4y2Ba 4gydF4y2Ba 18gydF4y2Ba 42gydF4y2Ba 10.1109 / msp.2017.2693418gydF4y2Ba 2 - s2.0 - 85032751403gydF4y2Ba 汉密尔顿gydF4y2Ba W。gydF4y2Ba 应gydF4y2Ba Z。gydF4y2Ba LeskovecgydF4y2Ba J。gydF4y2Ba 学习大型图表归纳表示gydF4y2Ba 2017年gydF4y2Ba https://arxiv.org/abs/1706.02216gydF4y2Ba 米菲gydF4y2Ba J。gydF4y2Ba 扎gydF4y2Ba W。gydF4y2Ba SzlamgydF4y2Ba 一个。gydF4y2Ba 勒存gydF4y2Ba Y。gydF4y2Ba 光谱网络和本地连接网络图gydF4y2Ba 2013年gydF4y2Ba https://arxiv.org/abs/1312.6203gydF4y2Ba KipfgydF4y2Ba t . N。gydF4y2Ba 威林gydF4y2Ba M。gydF4y2Ba Semi-supervised分类与图像卷积网络gydF4y2Ba 2016年gydF4y2Ba https://arxiv.org/abs/1609.02907gydF4y2Ba 这样的gydF4y2Ba f P。gydF4y2Ba 长官gydF4y2Ba 年代。gydF4y2Ba DominguezgydF4y2Ba m·A。gydF4y2Ba 健壮的空间滤波与图像卷积神经网络gydF4y2Ba IEEE选定的主题在信号处理杂志》上gydF4y2Ba 2017年gydF4y2Ba 11gydF4y2Ba 6gydF4y2Ba 884年gydF4y2Ba 896年gydF4y2Ba 10.1109 / jstsp.2017.2726981gydF4y2Ba 2 - s2.0 - 85028869321gydF4y2Ba NiepertgydF4y2Ba M。gydF4y2Ba 艾哈迈德gydF4y2Ba M。gydF4y2Ba KutzkovgydF4y2Ba K。gydF4y2Ba 学习卷积神经网络图gydF4y2Ba 2016年gydF4y2Ba https://arxiv.org/abs/1605.05273gydF4y2Ba 蒙蒂gydF4y2Ba F。gydF4y2Ba BoscainigydF4y2Ba D。gydF4y2Ba MascigydF4y2Ba J。gydF4y2Ba RodolagydF4y2Ba E。gydF4y2Ba SvobodagydF4y2Ba J。gydF4y2Ba 布罗斯特gydF4y2Ba M . M。gydF4y2Ba 几何深度学习使用混合模型图和集合管上cnngydF4y2Ba 《IEEE计算机视觉与模式识别会议gydF4y2Ba 2017年7月gydF4y2Ba 美国檀香山,嗨gydF4y2Ba 5115年gydF4y2Ba 5124年gydF4y2Ba 10.1109 / cvpr.2017.576gydF4y2Ba 2 - s2.0 - 85024494220gydF4y2Ba 基尔默gydF4y2Ba J。gydF4y2Ba SchoenholzgydF4y2Ba 美国年代。gydF4y2Ba 莱利gydF4y2Ba p F。gydF4y2Ba VinyalsgydF4y2Ba O。gydF4y2Ba 达尔gydF4y2Ba g . E。gydF4y2Ba 量子化学神经消息传递gydF4y2Ba 美国第34国际会议上机器学习gydF4y2Ba 2017年8月gydF4y2Ba 澳大利亚悉尼gydF4y2Ba 1263年gydF4y2Ba 1272年gydF4y2Ba HenaffgydF4y2Ba M。gydF4y2Ba 米菲gydF4y2Ba J。gydF4y2Ba 勒存gydF4y2Ba Y。gydF4y2Ba 深卷积网络图结构的数据gydF4y2Ba 2015年gydF4y2Ba https://arxiv.org/abs/1506.05163gydF4y2Ba 曹gydF4y2Ba 年代。gydF4y2Ba 陆gydF4y2Ba W。gydF4y2Ba 徐gydF4y2Ba Q。gydF4y2Ba Grarep:学习与全球结构信息图表示gydF4y2Ba 《24日ACM国际会议信息和知识管理gydF4y2Ba 2015年10月gydF4y2Ba 澳大利亚墨尔本gydF4y2Ba 891年gydF4y2Ba 900年gydF4y2Ba 10.1145/2806416.2806512gydF4y2Ba 2 - s2.0 - 84958239002gydF4y2Ba DefferrardgydF4y2Ba M。gydF4y2Ba 情报gydF4y2Ba X。gydF4y2Ba VandergheynstgydF4y2Ba P。gydF4y2Ba 卷积神经网络在图快速局部光谱过滤gydF4y2Ba 2016年gydF4y2Ba https://arxiv.org/abs/1606.09375gydF4y2Ba Abu-El-HaijagydF4y2Ba 年代。gydF4y2Ba AlipourfardgydF4y2Ba N。gydF4y2Ba HarutyunyangydF4y2Ba H。gydF4y2Ba 卡普尔gydF4y2Ba 一个。gydF4y2Ba PerozzigydF4y2Ba B。gydF4y2Ba 高阶图卷积层gydF4y2Ba 美国第32会议神经信息处理系统(少量的2018)gydF4y2Ba 2018年12月gydF4y2Ba 加拿大蒙特利尔gydF4y2Ba 少量的酒gydF4y2Ba Abu-El-HaijagydF4y2Ba 年代。gydF4y2Ba PerozzigydF4y2Ba B。gydF4y2Ba 卡普尔gydF4y2Ba 一个。gydF4y2Ba MixHop:高阶图像卷积混合架构通过sparsified附近gydF4y2Ba 2019年gydF4y2Ba https://arxiv.org/abs/1905.00067gydF4y2Ba 挑gydF4y2Ba lgydF4y2Ba 依琳娜gydF4y2Ba P。gydF4y2Ba 阮gydF4y2Ba H。gydF4y2Ba BonillagydF4y2Ba e . V。gydF4y2Ba 变分谱图卷积网络gydF4y2Ba 2019年gydF4y2Ba https://arxiv.org/abs/1906.01852gydF4y2Ba 李维gydF4y2Ba R。gydF4y2Ba 蒙蒂gydF4y2Ba F。gydF4y2Ba 情报gydF4y2Ba X。gydF4y2Ba 布罗斯特gydF4y2Ba M . M。gydF4y2Ba CayleyNets:图卷积神经网络与复杂的理性光谱过滤器gydF4y2Ba IEEE信号处理gydF4y2Ba 2018年gydF4y2Ba 67年gydF4y2Ba 97年gydF4y2Ba 109年gydF4y2Ba 10.1109 / tsp.2018.2879624gydF4y2Ba 2 - s2.0 - 85056170412gydF4y2Ba 马gydF4y2Ba G。gydF4y2Ba 艾哈迈德gydF4y2Ba n K。gydF4y2Ba 维奇gydF4y2Ba T。gydF4y2Ba 相似度与高阶学习图形旋转脑网络分析gydF4y2Ba 2019年gydF4y2Ba https://arxiv.org/abs/1811.02662gydF4y2Ba 徐gydF4y2Ba K。gydF4y2Ba 胡gydF4y2Ba W。gydF4y2Ba LeskovecgydF4y2Ba J。gydF4y2Ba JegelkagydF4y2Ba 年代。gydF4y2Ba 图神经网络有多强大?gydF4y2Ba 2019年gydF4y2Ba https://arxiv.org/abs/1810.00826gydF4y2Ba 阿特伍德gydF4y2Ba J。gydF4y2Ba TowsleygydF4y2Ba D。gydF4y2Ba Diffusion-convolutional神经网络gydF4y2Ba 先进的神经信息处理系统gydF4y2Ba 2016年gydF4y2Ba 年代gydF4y2Ba 1993年gydF4y2Ba 2001年gydF4y2Ba https://arxiv.org/abs/1511.02136gydF4y2Ba 姚gydF4y2Ba lgydF4y2Ba 毛gydF4y2Ba C。gydF4y2Ba 罗gydF4y2Ba Y。gydF4y2Ba 图卷积网络文本分类gydF4y2Ba 2018年gydF4y2Ba https://arxiv.org/abs/1809.05679gydF4y2Ba 金gydF4y2Ba Y。gydF4y2Ba 卷积神经网络对句子的分类gydF4y2Ba 2014年gydF4y2Ba https://arxiv.org/abs/1408.5882gydF4y2Ba 刘gydF4y2Ba P。gydF4y2Ba 邱gydF4y2Ba X。gydF4y2Ba 黄gydF4y2Ba X。gydF4y2Ba 递归神经网络用于文本分类与多任务学习gydF4y2Ba 2016年gydF4y2Ba https://arxiv.org/abs/1605.05101gydF4y2Ba 唐gydF4y2Ba J。gydF4y2Ba 曲gydF4y2Ba M。gydF4y2Ba 梅gydF4y2Ba Q。gydF4y2Ba PTE:预测文本嵌入文本通过大规模异构网络gydF4y2Ba 《21 ACM SIGKDD国际会议上知识发现和数据挖掘gydF4y2Ba 2015年8月gydF4y2Ba 澳大利亚悉尼gydF4y2Ba 1165年gydF4y2Ba 1174年gydF4y2Ba JoulingydF4y2Ba 一个。gydF4y2Ba 坟墓gydF4y2Ba E。gydF4y2Ba BojanowskigydF4y2Ba P。gydF4y2Ba MikolovgydF4y2Ba T。gydF4y2Ba 包的技巧有效的文本分类gydF4y2Ba 2016年gydF4y2Ba https://arxiv.org/abs/1607.01759gydF4y2Ba 沈gydF4y2Ba D。gydF4y2Ba 王gydF4y2Ba G。gydF4y2Ba 王gydF4y2Ba W。gydF4y2Ba 基线需要更多的爱:简单word-embedding-based模型和池机制有关gydF4y2Ba 2018年gydF4y2Ba https://arxiv.org/abs/1805.09843gydF4y2Ba 王gydF4y2Ba G。gydF4y2Ba 李gydF4y2Ba C。gydF4y2Ba 王gydF4y2Ba W。gydF4y2Ba 联合嵌入文字和标签的文本分类gydF4y2Ba 2018年gydF4y2Ba https://arxiv.org/pdf/1805.04174.pdfgydF4y2Ba KingmagydF4y2Ba d . P。gydF4y2Ba 英航gydF4y2Ba J。gydF4y2Ba 亚当:一个随机优化方法gydF4y2Ba 2014年gydF4y2Ba https://arxiv.org/pdf/1412.6980.pdf,gydF4y2Ba 森gydF4y2Ba P。gydF4y2Ba NamatagydF4y2Ba G。gydF4y2Ba BilgicgydF4y2Ba M。gydF4y2Ba GetoorgydF4y2Ba lgydF4y2Ba 加拉格尔gydF4y2Ba B。gydF4y2Ba Eliassi-RadgydF4y2Ba T。gydF4y2Ba 集体在网络数据分类,gydF4y2Ba 人工智能杂志gydF4y2Ba 2008年gydF4y2Ba 29日gydF4y2Ba 3gydF4y2Ba 93年gydF4y2Ba 10.1609 / aimag.v29i3.2157gydF4y2Ba 杨gydF4y2Ba Z。gydF4y2Ba 科恩gydF4y2Ba W·W。gydF4y2Ba SalakhutdinovgydF4y2Ba R R。gydF4y2Ba 回顾semi-supervised学习图嵌入gydF4y2Ba 《ICMLgydF4y2Ba 2016年6月gydF4y2Ba 纽约,纽约,美国gydF4y2Ba 贝尔金gydF4y2Ba M。gydF4y2Ba 他gydF4y2Ba P。gydF4y2Ba SindhwanigydF4y2Ba V。gydF4y2Ba 廖正规化:几何框架学习从标记和未标记示例gydF4y2Ba 机器学习研究杂志》上gydF4y2Ba 2006年gydF4y2Ba 7gydF4y2Ba 2399年gydF4y2Ba 2434年gydF4y2Ba 韦斯顿gydF4y2Ba J。gydF4y2Ba RatlegydF4y2Ba f·d·R。gydF4y2Ba MobahigydF4y2Ba H。gydF4y2Ba CollobertgydF4y2Ba R。gydF4y2Ba 通过semi-supervised嵌入深度学习gydF4y2Ba 神经网络:做生意的诀窍gydF4y2Ba 2012年gydF4y2Ba 柏林,德国gydF4y2Ba 施普林格gydF4y2Ba 朱gydF4y2Ba X。gydF4y2Ba GhahramanigydF4y2Ba Z。gydF4y2Ba 拉弗蒂gydF4y2Ba j . D。gydF4y2Ba Semi-supervised学习使用高斯字段和调和函数gydF4y2Ba 《ICMLgydF4y2Ba 2003年8月gydF4y2Ba 美国华盛顿特区gydF4y2Ba PerozzigydF4y2Ba B。gydF4y2Ba Al-RfougydF4y2Ba R。gydF4y2Ba SkienagydF4y2Ba 年代。gydF4y2Ba 社会表征的DeepWalk:在线学习gydF4y2Ba 20 ACM SIGKDD国际会议的程序对知识发现和数据Mining-KDD 14gydF4y2Ba 2014年8月gydF4y2Ba 纽约,纽约,美国gydF4y2Ba 陆gydF4y2Ba Q。gydF4y2Ba GetoorgydF4y2Ba lgydF4y2Ba 性质的分类gydF4y2Ba 《ICMLgydF4y2Ba 2003年8月gydF4y2Ba 美国华盛顿特区gydF4y2Ba VeličkovićgydF4y2Ba P。gydF4y2Ba CucurullgydF4y2Ba G。gydF4y2Ba 卡萨诺瓦gydF4y2Ba 一个。gydF4y2Ba 罗梅罗gydF4y2Ba 一个。gydF4y2Ba 利奥gydF4y2Ba P。gydF4y2Ba BengiogydF4y2Ba Y。gydF4y2Ba 图关注网络gydF4y2Ba 2017年gydF4y2Ba https://arxiv.org/abs/1710.10903gydF4y2Ba