摘要
构建针对图结构数据的Transformer已成为一个热门研究方向。得益于全局注意力机制可以计算图中任意节点间的相互依赖关系，Transformer能够克服GNN的诸多局限性（如解决长距离依赖、异质连边、图结构残缺/带噪等），并已在多个小图任务上都表现出优于GNN的性能。然而，由于全局注意力机制带来的相对节点数目平方级的复杂度，目前的Transformer结构无法处理节点数目较多的大图；此外，关于全局注意力机制背后的原理性研究也仍然是一个开放问题。本次研讨会将介绍几项关于图Transformer的最新研究工作。第一部分内容会介绍NodeFormer，提出了一种相对节点数目线性复杂度的全局注意力机制。第二部分内容会介绍DIFFormer，探讨神经信息传递和注意力机制与扩散过程/能量优化的关系，用于理解Transformer/GNN/MLP的内在联系。第三部分内容将介绍SGFormer，讨论如何对Transformer结构进行简化以提升模型对超大规模图的计算效率和适用性。
分享嘉宾
吴齐天，上海交通大学计算机系在读博士生, 指导老师是严骏驰副教授。目前研究方向为机器学习和图深度学习，特别是分布偏移下可泛化的学习算法、大规模非独立样本的表征学习、针对隐式结构的高效推断。目前在机器学习顶会/顶刊发表论文二十余篇，其中包括NeurIPS/ICLR/ICML/KDD论文十余篇。曾获评国家奖学金、微软学者奖学金、百度奖学金、美国大学生数学建模竞赛特等奖等荣誉。
参考文献
1. Qitian Wu et al., NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification, NeurIPS 2022
2. Qitian Wu et al., DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion, ICLR 2023
3. Qitian Wu et al., Simplifying and Empowering Transformers for Large-Graph Representations, 2023
