本视频来源于【2023 Meet TVM · 深圳站】线下聚会嘉宾朱文熙老师(Tencent AI Lab,开悟平台工程经理)的分享。
主要内容:传统的深度学习编译器(包括 TVM)缺少动态形状支持,在处理大语言模型(动态序列长度)和检测模型(动态宽/高)等情况时比较乏力。基于此现状,我们设计实现了一套基于 TVM 的 CPU 端动态形状算子优化方案,性能超过现有的静态形状方案,且几乎不需要搜索时间。
关注微信公众号「HyperAI超神经」,后台回复关键字 「TVM 深圳」,即可 Get 嘉宾完整 PPT 。