摘要
图神经网络(GNN),作为广泛应用于图表示学习的模型结构,一般建立在多层感知机(MLP)的基础上,通过额外的信息传递(或称图卷积)操作使得特征在节点之间流动。尽管传统观点普遍认为,GNN比MLP更成功的主要因素归因于它们更强大的学习图结构和拟合图数据的能力,但本文通过大量实验和理论分析指出GNN在节点分类任务中成功的主要原因来源于其优越的泛化(而非拟合)能力。特别的,我们提出了一类介于MLP和GNN之间的中间模型,称为Propagational Multi-Layer Perceptrons(PMLP),该模型在训练时与原始的MLP完全相同,但在测试时额外引入信息传递操作来对齐不同GNN的架构。有趣的是,我们观察到,尽管PMLP与表现不佳的MLP共享相同的训练结果,但它在多个benchmark和参数设置下都展示出了媲美GNN的测试性能。为了进一步从理论上理解GNN更好的可泛化性,我们分析揭示了,即使充分参数化的GNN和MLP都有足够的能力拟合训练数据,PMLP和GNN却具有在测试阶段更好地泛化到分布外节点的潜质,从而帮助它们在节点任务中取得更好的表现。
分享嘉宾
杨晨晓是上海交通大学计算机科学专业在读二年级研究生,他的研究兴趣包括机器学习,图神经网络,数据挖掘,致力于更好地理解和解决图学习中本质的问题。截至目前,他在机器学习重要学术会议如ICLR/NeurIPS/KDD/AAAI中发表多篇论文,并担任NeurIPS/ICML/AAAI/IJCAI等学术会议的PC和审稿人,曾获评国家奖学金等荣誉。