投稿

模型转换技术细节！【推理引擎】离线转换系列第04篇

1964

2

2023-01-30 18:39:46

【推理引擎】离线转换与优化系列第04篇：推理引擎的模型转换，通用流程和技术细节赶紧打开！ AI框架中对模型转换成推理引擎的模型，称为Converter，其中主要分为两种：1）直接转换：直接将网络模型从 AI 框架转换为适合目标框架使用的格式；2）规范式转换：设计一种开放式的文件规范，使得主流 AI 框架都能实现对该规范标准的支持。让我们打开模型转换通用流程和技术细节吧！

计算机技术

离线转换模块

ZOMI酱发消息

昇腾招人，已经毕业的快联系鸭

【推理引擎】离线转换&优化 (4/8)

自动连播

2.6万播放

简介

《离线转换&优化》在这一节当中分为模型转换和模型优化，在整体架构图中属于离线模型转换模块。一方面，推理引擎需要把不同 AI 框架训练得到的模型进行转换；另外一方面需要对转换后的模型进行图优化等技术。

01 离线转换模块架构

14:41

02 模型序列化&反序列化

15:07

03 自定义计算图IR

12:47

04 模型转换技术

05:53

05 计算图优化策略

09:33

06 常量折叠&冗余节点消除

13:25

07 算子融合/算子替换/算子前移

09:44

08 Flash Attention原理&数据布局&内存优化

10:03

顶部