AI框架都是怎么表示控制流的?PyTorch和TF对计算图中控制语句如何处理?【计算图】第五篇

3654
8
2022-10-11 00:10:36
105
75
45
13
AI系统之【计算图】第五篇:AI框架都是怎么表示控制流的?PyTorch和TF对计算图中控制语句如何处理? 随着神经网络算法研究的发展,一些新颖的神经网络结构很难自然地表示为纯数据流图。为了能够支持如自定义循环神经网络这类计算过程中天生就含有控制流结构的神经网络计算,主流深度学习框架不约而同的引入了对动态控制流这一语言结构(language construct)的支持。
昇腾招人,已经毕业的快联系鸭
自动连播
3.5万播放 icon 简介
为了高效地训练一个复杂神经网络,框架需要解决诸多问题, 例如:如何实现自动求导,如何利用编译期分析对神经网络计算进行化简、合并、变换,如何规划基本计算单元在加速器上的执行,如何将基本处理单元派发(dispatch)到特定的高效后端实现,如何进行内存预分配和管理等。用统一的方式解决这些问题都驱使着框架设计者思考如何为各类神经网络计算提供统一的描述,从而使得在运行神经网络计算之前,能够对整个计算过程尽可能进行推断,在编译期自动为用户程序补全反向计算,规划执行,最大程度地降低运行时开销。目前主流的深度学习框架都选择使用计算图来抽象神经网络计算,【计算图】系列展示了基于深度学习框架/AI框架计算图的核心内容。
01 计算图有哪些内容知识?
01:55
02 为什么AI框架都用计算图?
10:37
03 怎么用计算图表示自动微分?
16:45
04 图优化与图执行调度
10:31
05 AI框架如何表达控制流
15:22
06 AI框架动静统一具体实现
07:08
07 计算图未来将会走向何方?
06:50
客服
顶部
赛事库 课堂 2021拜年纪