投稿

模型序列化和反序列化原理！【推理引擎】离线转换系列第02篇

2391

3

2023-01-28 21:55:53

【推理引擎】离线转换与优化系列第02篇：模型序列化和反序列化原理，离线转换模块的格式！推理引擎离线转换模块！模型序列化是模型部署的第一步，如何把训练好的模型存储起来，以供后续的模型预测使用，是模型部署的首先要考虑的问题。无论是序列化与反序列的目的是将数据、模型长久的保存，让我们一起了解下模型序列化和反序列化原理，离线转换模块的格式！

计算机技术

离线转换模块

ZOMI酱发消息

昇腾招人，已经毕业的快联系鸭

【推理引擎】离线转换&优化 (2/8)

自动连播

2.6万播放

简介

《离线转换&优化》在这一节当中分为模型转换和模型优化，在整体架构图中属于离线模型转换模块。一方面，推理引擎需要把不同 AI 框架训练得到的模型进行转换；另外一方面需要对转换后的模型进行图优化等技术。

01 离线转换模块架构

14:41

02 模型序列化&反序列化

15:07

03 自定义计算图IR

12:47

04 模型转换技术

05:53

05 计算图优化策略

09:33

06 常量折叠&冗余节点消除

13:25

07 算子融合/算子替换/算子前移

09:44

08 Flash Attention原理&数据布局&内存优化

10:03

顶部