计算图跟微分什么关系？怎么用计算图表示自动微分？AI框架自动微分如何通过计算图来实现？【计算图】系列第三篇
AI系统之【计算图】系列第三篇：计算图跟微分什么关系？怎么用计算图表示自动微分？AI框架自动微分如何通过计算图来实现？
神经网络主要包含前向计算，反向计算，更新可学习参数三个最主要的计算阶段。当用户构造完成一个深度神经网络时，在数学上这个网络对应了一个复杂的带参数的高度非凸函数，求解其中的可学习参数依赖于基于一阶梯度的迭代更新法。手工计算复杂函数的一阶梯度非常容易出错，自动微分（Automatic Differentiation，简称AD）系统就正为了解决这一问题而设计的一种自动化方法。自动微分关注给定一个由原子操作构成的复杂前向计算程序，如何自动生成出高效的反向计算程序。自动微分按照工作模式可分为前向自动微分和反向自动微分，按照实现方式，自动微分又可为：基于对偶数（dual number）的前向微分，基于Tape的反向微分，和基于源代码变换的反向微分。
【AI框架】计算图
(3/7)
3.5万播放 
简介
简介为了高效地训练一个复杂神经网络，框架需要解决诸多问题， 例如：如何实现自动求导，如何利用编译期分析对神经网络计算进行化简、合并、变换，如何规划基本计算单元在加速器上的执行，如何将基本处理单元派发（dispatch）到特定的高效后端实现，如何进行内存预分配和管理等。用统一的方式解决这些问题都驱使着框架设计者思考如何为各类神经网络计算提供统一的描述，从而使得在运行神经网络计算之前，能够对整个计算过程尽可能进行推断，在编译期自动为用户程序补全反向计算，规划执行，最大程度地降低运行时开销。目前主流的深度学习框架都选择使用计算图来抽象神经网络计算，【计算图】系列展示了基于深度学习框架/AI框架计算图的核心内容。
01 计算图有哪些内容知识？
01 计算图有哪些内容知识？
01:55
02 为什么AI框架都用计算图？
10:37
03 怎么用计算图表示自动微分？
16:45
04 图优化与图执行调度
10:31
05 AI框架如何表达控制流
15:22
06 AI框架动静统一具体实现
07:08
07 计算图未来将会走向何方？
06:50
顶部