
【AI人工智能】题库:纯公益分享
【就业+考研】笔试+面试必会
【小白从小学Python,C,Java】
[太阳]知识点名称
梯度消失问题
[太阳]知识点讲解
梯度消失是深度神经网络训练中的常见问题,尤其是在多层网络或循环神经网络中。它指的是在反向传播过程中,梯度在反向传播过程中逐层衰减(甚至呈指数级减小),导致靠近输入层的权重几乎得不到更新,从而使模型难以学习长期依赖关系。
例如,在使用sigmoid或tanh激活函数时,其导数值在绝对值较大的输入处趋近于零,多层连乘后梯度会迅速衰减至接近0。
为了解决这个问题,常见方法包括使用ReLU激活函数、残差网络(ResNet)、以及改进的循环结构如LSTM等。
[太阳]例题(单选题)
梯度消失会导致什么问题?
A选项:靠近输入层的权重难以更新
B选项:模型参数爆炸
C选项:数据标签丢失
D选项:模型训练加速,很快收敛
[太阳]答案与题解
答案、题解:见评论区
[太阳]温馨期待
期待大家提出宝贵建议,互相交流,收获更大,助教:yy