第二十三课:多维度混合并行自动搜索优化策略丨时间损失模型及改进多维度二分法

951
0
2024-06-03 16:32:01
正在缓冲...
21
2
20
3
在超大规模 AI 模型的训练中,结合多种并行维度的分布式训练是提高模型训练性能的必要手段。而自动搜索最优的多维度混合并行策略是实现AI模型高效训练的难题,现有方法未能同时兼顾质量和效率。 针对这个问题,电子科技大学的研究团队提出了基于昇思MindSpore实现的并行策略自动搜索算法与原型系统。今天由电子科技大学的博士研究生周光耀为大家讲解“多维度混合并行自动搜索优化策略——时间损失模型及改进多维度二分法”
https://www.mindspore.cn
客服
顶部
赛事库 课堂 2021拜年纪