最近收到很多同学和老师的私信，找我要梯度下降的图文和动画。现在我将其发布到B站，方便大家自取。（创作不易，引用时注明来源马同学，感激不尽！）
同学们大家好，今天我们来学习梯度下降法
1 简单印象
用一句话解释，梯度下降法就是快速找到最低点的一个方法。比如在山上有一个球，经过几次运动后，就会来到谷底附近。
要完成这个过程，我们需要回答三个问题：
方向—首先是确定往哪个方向滚
距离—然后确定滚多远
终止条件—最后,附近的范围有多大,确定滚到哪里算结束
2 方向
假设有一蓝点在曲线上，要运动到最低点，这个过程大概是这样的
这是个一元函数，自变量有两个运动方向，一个朝左，一个朝右。
朝右边运动，越走越高，函数值在增加，这个方向被称为梯度方向。
朝左边运动，越走越低，函数值在减小，这个方向被称为梯度方向的反方向。显然，要走到最低处，我们应该选择梯度的反方向。
走了一次后，来到一个新的位置，这时我们需要又一次对方向进行判断，而同样的，这里的方向也有梯度方向，和梯度的反方向。
继续朝梯度的反方向移动,重复之前的逻辑，不断朝梯度反方向移动，运气好，我们就能走到最低点附近。
也就是说，要到最低点附近，我们需要朝着梯度的反方向运动。
3 距离
刚刚说“运气好”，因为要达到目的，我们还要考虑，每一次走多远。因为这个要从计算结果中反应，所以这里给出一些具体数值。设 ，起始点为
这个位置
这样
根据前面讲的，下一个移动的位置在梯度的反方向,那么
也就是第一次移动，移动到了 的位置
第二次移动,也是梯度的反方向
计算后得到，这一次移动到了 这个位置
同样的方法，计算出
可以看到，虽然一直在移动，但始终在 和
点振荡，没有降到最低点。
为此，我们需要一个参数来控制移动的距离,这个参数被称为学习率。
3.1 学习率
将用 来表示,则迭代的式子可以表示为
显然，刚刚来回振荡时， 为1
如果将学习率继续调大，比如调大到 ，多次迭代后，不仅不会降到最低点，甚至还会越走越高
而如果将学习率调低到一个较小值，比如 。这时，每次迭代后，位置确实是在降低，但降低的幅度比较小，迭代很多次都没到达谷底附近。
而如果将学习率调为 ,迭代10次后，基本就能降到谷底了。
从这里，我们也看出了，要完成梯度下降，需要选择合适的学习率
4 终止条件
最后，我们来看看终止条件，为此首先计算出 时，每次迭代后的梯度值
可以看到，每次迭代后，梯度值都在不断的下降。这也是将这个方法，命名为梯度下降的原因。而我们知道梯度为0时的位置，就是最低点的位置，因此选择较小的梯度值作为终止条件是比较自然的。
比如，我们希望最后的梯度值小于等于 ，那么就只要迭代
次
小于等于 ，就需要迭代19次
只要学习率选择的合适，梯度就可以下降到任意小。这是有理论支撑的，关于这个的证明，感兴趣的同学可以查看我们的课程里的证明。有了这个理论保证，我们就可以选择梯度值当做终止条件了。
5 完整例子
三个问题都解答完了，最后我们来看个例子。设函数 ,起始位置
,在图中用红点表示。
选取学习率为 ,则第一次迭代后的位置
根据迭代公式
可以计算出每次迭代后的位置
将终止条件设为梯度值小于等于 ,则迭代到第16次时
小于0.1,任务完成
以上内容选自马同学图解数学系列课程，想要系统学习，推荐加入：
