投稿

分布式训练、分布式集群的基础介绍！【分布式集群】第01篇

Name: %E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%AD%E7%BB%83%E3%80%81%E5%88%86%E5%B8%83%E5%BC%8F%E9%9B%86%E7%BE%A4%E7%9A%84%E5%9F%BA%E7%A1%80%E4%BB%8B%E7%BB%8D%EF%BC%81%E3%80%90%E5%88%86%E5%B8%83%E5%BC%8F%E9%9B%86%E7%BE%A4%E3%80%91%E7%AC%AC01%E7%AF%87
Uploaded: 2024-07-16T22:09:35.929Z

1.1万

2022-10-15 12:16:49

AI系统【分布式集群】第01篇：分布式训练、分布式集群的基础介绍！当AI迎来大模型，分布式系统也迎来了重要的革新，如何适应更复杂的计算，更大规模的神经网络参数。那就需要深入研究如何提高整体分布式训练的耗时，提升计算速率，让一切计算都崩腾加速起来！

知识

校园学习

人工智能

MindSpore

昇腾招人，已经毕业的快联系鸭

电脑桌面上养老婆？我也想要！

【AI框架】分布式并行 (1/8)

自动连播

6.4万播放

简介

什么是大模型？什么是分布式训练？什么是AI集群？大模型模型参数量实在太大，需要分布式并行训练能力一起来加速训练过程。分布式并行是在大规模AI集群上工作的，想要加速就需要软硬件协同，不仅仅要解决通信拓扑的问题、集群组网的问题，还要了解上层MOE、Transform等新兴算法。通过对算法的剖析，提出模型并行、数据并行、优化器并行等新的并行模式和通信同步模式，来加速分布式训练的过程。最小的单机执行单元里面，还要针对大模型进行混合精度、梯度累积等算法，进一步压榨集群的算力！

01.分布式集群基础介绍