“随机梯度下降、牛顿法、动量法、Nesterov、AdaGrad、RMSprop、Adam”，打包理解对梯度下降法的优化
停止使用 AdamW，现在所有人都在用 Muon
【手推公式】最简单易懂的深度学习优化器解读！SGD随机梯度下降、适应性矩估计Adam算法、Momentum、AdaGrad、RMSProp
SGD->动量法->RMSProp->Adam->AdamW：大模型优化之路！| 白板GPT#16
梯度下降的过程优化——动量法、AdaGrad、RMSProp以及Adam
彻底明白梯度下降法和SGD,BGD,MBGD公式理解
5分钟讲透AdamW，从Adam的坑到解耦本质，新手也能吃透
ADAM优化器
深度学习五种优化器的性能横向对比
深度学习第6课：最优化算法（学习率，SGD，Adam，Momentum，NAG等）
P1【GD】手把手教你 梯度下降相关演变算法 SGD RMSprop AdaGrad AdaDelta Nestrov Adam 等
优化器、dropout、学习率、BN、batch_size等
NeurIPS'2024｜遇见何恺明 谢赛宁 李飞飞
深度学习优化算法（Momentum、RMSprop、AdaGrad、Adam） - DeepBean
这款简易优化器正在彻底改变AI的训练方式 [Muon]
从Adam到AdamW - 优化器算法讲解（下）【深度学习中的数学ep17】
优化器 ｜SGD ｜Momentum ｜Adagrad ｜RMSProp ｜Adam
常见面试问题：优化器原理、BGD、SGD、Momentum
1993年“CNN之父”杨立昆展示世界上第一个卷积神经网络
深度学习中的优化器原理(SGD,SGD+Momentum,Adagrad,RMSProp,Adam)
