讲座摘要:我们发现神经网络的Hessian矩阵存在特殊结构:在随机初始点处,Hessian具有“块循环”与“块对角”的复合结构;训练开始后,Hessian会快速演化成“近似快对角”结构。我们用随机矩阵理论为这一现象提供了严格的证明。
本次报告中,我们会从基础线性代数的角度探讨Hessian特殊结构的源由,并提供简单直观的解释。对理论背景的听众,我们还会简单介绍随机矩阵的基本知识及本文理论证明遇到的挑战,即非独立随机矩阵乘积的特征值问题;对实践者及LLM工作者,我们会探讨本文的发现与Shampoo,Muon, Adam,Adam-mini等一大类LLM优化器的联系。
讲者信息:张雨舜是香港中文大学(深圳)数据科学学院的在读博士研究生,导师为罗智泉教授。他本科毕业于南方科技大学数学系。他目前的研究聚焦于大语言模型与优化领域。
相关工作:
Towards Quantifying the Hessian Structure of Neural Networks
https://arxiv.org/abs/2505.02809