宝塔服务器面板，一键全能部署及管理，送你10850元礼包，点我领取

作者：纪厚业，北京邮电大学，智源 AAAI预讲会讲者

近年来，图神经网络（GNN，Graph Neural Network）逐渐成为人工智能领域的一大热门领域。GNN的一大优势是能够使各个领域（不仅仅是计算机）采用深度学习技术变得更加友好，因为它是诞生在一种更为广泛的数据形式之上，不再像图像一样要求形式规整（CNN系列的强项），也不再要求数据像序列数据一样必须得有前后关系（RNN系列的强项）。只要数据能够抽象成点和边构成的图数据，便可以使用GNN来处理。因此在物理、化学、生物等诸多领域出现了大量采用GNN方法的研究工作。

 

在 AAAI2021 上同样出现了许多图神经网络相关的研究，以下对AAAI2021 上GNN的最新进展作以总结：

 

• 更加基础的研究：表示能力/过平滑/传播机制/灾难性遗忘

 

随着GNN研究的深入，一些研究者不再仅仅关注于设计模型架构，而是试图挖掘和解决GNN更加fundamental的问题，如GNN的表示能力。

 

大部分GNN的表示能力的上界就是WL-Test，对于同构的图结构无法区分，进而无法学习到有区分度的节点表示。ID-GNN[1]通过一个简单的ID增强策略就可以极大提升GNN的表示能力，让原本无法区分的图结构或者GNN的聚合图)区分开来。

 

“传播是GNN的本质”。但是深层GNN传播远距离的信息会带来过平滑现象导致模型效果下降。GCC[2]研究了GNN的传播机制，其不仅解释了过平滑的本质，还解决了为什么GNN的各种变种可以一定程度上缓解过平滑现象。

 

灾难性遗忘指模型会忘记先前学习到的知识，在NN中已经有了一些研究。TWP[3]研究了GNN上的遗忘问题并提出了一种拓扑感知的权重保留技术来克服上述问题。类似的ER-GCN[4]利用经验回放机制来实现GNN在连续任务上的持续学习，也可以一定程度的可以遗忘问题。

 

• 更加复杂的图数据：异质图/有向图/动态图

 

在GNN的研究初期，大家的目光主要集中在简单同质图只有一种节点和边)上，这大幅度降低了代码实现的难度。例如，经典的GCN只需要AXW即可实现。但是，实际情况往往更加复杂，随着GNN研究的深入，大家开始关注一些更为复杂也更有实际价值的图数据，如异质图、动态图、有向图和超图等。

 

考虑到多种类型节点之间的丰富交互，为了避免信息损失，我们需要将其建模为异质图。GraphMSE[5]就是一种针对异质图数据设计的GNN，其充分挖掘了多种交互下邻居结构)信息来提升节点表示。HGSL[6]则探索了异质图结构对于节点表示的影响，通过学习更加的准确的图结构来提升GNN的表现。

 

在微博图上，用户之间有关注或者拉黑等关系，这实际是一种有向符号网络。SDGNN[7]是一种针对有向符号图设计的图神经网络，同时考虑了边的方向/符号喜欢为正，讨厌为负)和动态图演化的相关理论status theory 和 balance theory)来更好的建模动态性并实现图的表示学习。

 

图数据往往是动态变化的。HVGNN[8]在双曲空间里建模了动态图随时间演化的特性，其引入了一种时间感知的注意力机制Tem- poral GNN)来区分不同时间段内节点的差异。RNN-GCN[9]则是将经典的时序模型RNN引入到GNN中，利用dynamic stochastic block来捕获节点和社区的演化过程，进而实现动态图上的节点聚类。

 

• 更加丰富的训练策略：混合训练/数据扩增/对比训练

 

经典的GNN（包括GCN和GAT）都是以半监督节点分类Loss进行训练的。随后的研究也沿着这个路线，将目光集中在如何设计更加精巧的模型架构来提升模型效果。的确，复杂的模型可以提升效果，但是其往往超参数较多且难以训练。相较于设计新的模型架构，一些研究者开始探索如何利用训练策略如数据扩增)来提升现有GNN模型的效果。

 

GraphMix[10]整合了interpolation数据扩增和self-training数据扩增技术，将简单的GCN架构提升到接近SOTA的效果。例如，原始的GCN在Cora的效果只有81.3，而GraphMix训练策略可以将GCN的效果提升至83.94。同时，GraphMix无需额外的内存消耗，计算消耗也几乎不变。

 

类似的，GAUG[11]也尝试从数据扩增的角度来提升现有半监督GNN的效果。具体来说，GAUG设计了一个edge prediction来编码图上节点的类内同质结构，然后提升类内边的数量移除类间边)。然后，基于修改后的更加精准的图结构，在Cora数据集上，GAUG将GCN的效果提升至83.6，将GraphSAGE的效果提升至83.2。

 

与上述两个工作不同，Contrastive GCNs with Graph Generation CG3)[12] 尝试对标签进行增强。实际上，如果没有足够的监督信号，半监督学习Semi-Supervised Learning SSL)的效果都是有限的。考虑到图上半监督学习的特点，本文不仅仅考虑了同类数据不同view之间的相关性，还建模了节点属性和图拓扑结构之间的潜在联系来作为额外的监督信号。基于增强后的图监督信号，CG3在标签率只有0.5%的情况下，可以取得8%左右的绝对准确率提升！

 

• 更加多样化的应用：推荐/药物化学/物理系统/NLP/CV

 

图上的链路预测实际就是推荐。将GNN用到推荐中是非常自然的一件事。HGSRec[13]将异质图神经网络用于建模淘宝用户之间的分享行为，预测了用户之间的三元分享行为。GHCF[14]将推荐系统中多样的用户-商品交互建模为多关系异质图并设计了相应的图神经网络架构来实现推荐。DHCN[15]建模了Session-based Recommendation中的超图交互，利用双通道的超图卷积网络来实现商品推荐。

 

图结构数据可以很好地建模分子及其之间的化学键。因此，AI制药开始尝试利用GNN来实现药物分子的研发如性质预测，逆合成)。GTA[16]将GNN用于药物分子领域的逆合成预测问题，CAGG[17]则是从图生成的角度来实现药物分子的合成。

 

MGTN[18]将图像数据转为图结构数据，利用图像中不同目标建模为子图)之间的关系建模来实现更好的多类图像分类，而PC-RGNN[19]将点云数据建模为图，利用图上不同尺度的关系聚合来强化其点云的表示。

 

[1] Identity-aware Graph Neural Networks

[2]Why Do Attributes Propagate in Graph Convolutional Neural Networks

[3] Overcoming Catastrophic Forgetting in Graph Neural Networks

[4] Overcoming Catastrophic Forgetting in Graph Neural Networks with Experience Replay

[5] GraphMSE: Efficient Meta-path Selection in Semantically Aligned Feature Space for Graph Neural Networks

[6] Heterogeneous Graph Structure Learning for Graph Neural Networks

[7] SDGNN: Learning Node Representation for Signed Directed Networks

[8] Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs

[9] Interpretable Clustering on Dynamic Graphs with Recurrent Graph Neural Networks

[10] GraphMix: Improved Training of GNNs for Semi-Supervised Learning

[11] Data Augmentation for Graph Neural Networks

[12] Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning

[13] Who You Would Like to Share With? A Study of Share Recommendation in Social E-commerce

[14] Graph Heterogeneous Multi-Relational Recommendation

[15] Self-Supervised Hypergraph Convolutional Networks for Session-based Recommendation

[16] GTA: Graph Truncated Attention for Retrosynthesis

[17] Cost-Aware Graph Generation: A Deep Bayesian Optimization Approach

[18] Modular Graph Transformer Networks for Multi-Label Image Classification

[19] PC-RGNN: Point Cloud Completion and Graph Neural Network for 3D Object Detection

【关于智源社区】

智源社区隶属于北京智源人工智能研究院，我们致力于创建一个AI领域内行人的交流平台。

在这里你有机会参与全年线上线下百场专题论坛，与顶尖学者零距离接触；也可以与同行探讨领域前沿，碰撞思想火花。如果你更想进入微信群与更多同行人发起实时讨论，或者加入「青源会」结识更多研究伙伴，或者成为智源社区编辑参与更多文字工作，欢迎填写以下表单（扫描二维码）进行申请。