投稿

如何自定义计算图IR？【推理引擎】离线转换系列第03篇

2124

17

2023-01-29 21:39:09

【推理引擎】离线转换与优化系列第03篇：如何定义计算图IR？推理引擎自定义计算图IR来啦！深度剖析计算图IR！计算图是用图论语言表示数学函数的一种方式。计算图被定义为有向图,其中节点对应于数学运算。节点由边连接,图中的一切要么是节点,要么是边。推理引擎的离线转换模块需要进行优化，离不开计算图IR，一起来了解如何定义计算图IR？推理引擎自定义计算图IR来啦！深度剖析计算图IR吧！

计算机技术

离线转换模块

ZOMI酱发消息

昇腾招人，已经毕业的快联系鸭

电脑桌面上养老婆？我也想要！

【推理引擎】离线转换&优化 (3/8)

自动连播

2.6万播放

简介

《离线转换&优化》在这一节当中分为模型转换和模型优化，在整体架构图中属于离线模型转换模块。一方面，推理引擎需要把不同 AI 框架训练得到的模型进行转换；另外一方面需要对转换后的模型进行图优化等技术。

01 离线转换模块架构

14:41

02 模型序列化&反序列化

15:07

03 自定义计算图IR

12:47

04 模型转换技术

05:53

05 计算图优化策略

09:33

06 常量折叠&冗余节点消除

13:25

07 算子融合/算子替换/算子前移

09:44

08 Flash Attention原理&数据布局&内存优化

10:03

顶部