传统的GNN模型在图学习任务当中有较多的局限性，而一旦Transformer架构可以被应用于图学习，则可以突破这些局限性，为图学习领域带来非常多新的可能性。在此工作之前也有一些工作已经意识到GNN的局限性，并尝试将Transformer应用于图学习任务，但往往性能不及预期，且加入了过多的归纳偏置从而丧失了Transformer架构的弱归纳偏置带来的通用性、预训练及训练大模型的可能性等。因此作者设计了几种简单的图结构编码，将图结构信息以最简单的方式嵌入到自注意力层中，由此提出了Graphormer架构。
对论文和十问感兴趣的同学可以前往下方链接阅读：
Do Transformers Really Perform Bad for Graph Representation
https://readpaper.com/paper/3169622372?channel=harryreadpaper
