【AI人工智能题库】梯度消失问题
计算机-刘经纬教授
2026年04月10日 11:28

【AI人工智能】题库:纯公益分享

【就业+考研】笔试+面试必会

【小白从小学Python,C,Java】

[太阳]知识点名称

梯度消失问题

[太阳]知识点讲解

梯度消失是深度神经网络训练中的常见问题,尤其是在多层网络或循环神经网络中。它指的是在反向传播过程中,梯度在反向传播过程中逐层衰减(甚至呈指数级减小),导致靠近输入层的权重几乎得不到更新,从而使模型难以学习长期依赖关系。

例如,在使用sigmoid或tanh激活函数时,其导数值在绝对值较大的输入处趋近于零,多层连乘后梯度会迅速衰减至接近0。

为了解决这个问题,常见方法包括使用ReLU激活函数、残差网络(ResNet)、以及改进的循环结构如LSTM等。

[太阳]例题(单选题)

梯度消失会导致什么问题?

A选项:靠近输入层的权重难以更新

B选项:模型参数爆炸

C选项:数据标签丢失

D选项:模型训练加速,很快收敛

[太阳]答案与题解

答案、题解:见评论区

[太阳]温馨期待

期待大家提出宝贵建议,互相交流,收获更大,助教:yy

#AI创造营#​ [握手] #科技风向标#​