对计算图进行优化与执行调度!计算图优化跟AI编译器啥关系?一起了解下计算图的调度执行吧!【计算图】第四篇

4515
24
2022-10-10 02:10:34
122
84
45
8
AI系统之【计算图】第四篇:对计算图进行优化与执行调度!计算图优化跟AI编译器啥关系?一起了解下计算图的调度执行吧! 在基于计算图的深度学习框架中,算子是计算图中的一个节点,由后端进行高效实现。前端用户只需要给定前向计算,框架会根据前向计算图,自动补全其余阶段,生成出完整的计算图。神经网络的训练就对应了这个计算图的执行过程。算子调度是根据计算图描述的数据依赖关系,确定算子的执行顺序,由运行时系统调度计算图中的节点到设备上执行。
昇腾招人,已经毕业的快联系鸭

电脑桌面上养老婆?我也想要!

自动连播
3.5万播放 icon 简介
为了高效地训练一个复杂神经网络,框架需要解决诸多问题, 例如:如何实现自动求导,如何利用编译期分析对神经网络计算进行化简、合并、变换,如何规划基本计算单元在加速器上的执行,如何将基本处理单元派发(dispatch)到特定的高效后端实现,如何进行内存预分配和管理等。用统一的方式解决这些问题都驱使着框架设计者思考如何为各类神经网络计算提供统一的描述,从而使得在运行神经网络计算之前,能够对整个计算过程尽可能进行推断,在编译期自动为用户程序补全反向计算,规划执行,最大程度地降低运行时开销。目前主流的深度学习框架都选择使用计算图来抽象神经网络计算,【计算图】系列展示了基于深度学习框架/AI框架计算图的核心内容。
01 计算图有哪些内容知识?
01:55
02 为什么AI框架都用计算图?
10:37
03 怎么用计算图表示自动微分?
16:45
04 图优化与图执行调度
10:31
05 AI框架如何表达控制流
15:22
06 AI框架动静统一具体实现
07:08
07 计算图未来将会走向何方?
06:50
客服
顶部
赛事库 课堂 2021拜年纪