LOGS第2024/06/29期 || 复旦大学张晟中：基于结构化压缩的图对比学习训练框架(ICLR'24)
报告主题
图神经网络的可扩展性阻碍了它们在工业界的广泛应用，这一问题在无监督图对比学习领域尤为突出。为了解决图对比学习的可扩展性问题 ，我们提出了一个简单但有效的训练框架，称为结构压缩（Structural Compression，StructComp）。受稀疏低秩近似扩散矩阵的启发，StructComp 用压缩节点训练编码器。这使得编码器在训练阶段不需要执行任何消息传递，并显著减少对比损失中的样本对数量。我们从理论上证明了原始 GCL 损失可以用由 StructComp 计算的对比损失来近似。此外，StructComp 可以被视为 GCL 模型的一个额外正则化项，从而使编码器更加鲁棒。对各种数据集的实证研究表明，该框架在降低各种图对比学习模型时间和内存消耗的同时，也提升了模型的性能，相较于原始图对比学习模型和其他可扩展训练方法，具有显著优势。
报告嘉宾
张晟中2024年6月毕业于复旦大学，导师为黄增峰教授，目前主要研究方向是大规模图表示学习。相关研究发表在ICLR、NeurIPS、KDD等会议上，个人主页：https://szzhang17.github.io/
顶部