投稿

AI集群机器间是怎么通信？通信原语是个什么玩意？【分布式集群】系列第04篇

Name: AI%E9%9B%86%E7%BE%A4%E6%9C%BA%E5%99%A8%E9%97%B4%E6%98%AF%E6%80%8E%E4%B9%88%E9%80%9A%E4%BF%A1%EF%BC%9F%E9%80%9A%E4%BF%A1%E5%8E%9F%E8%AF%AD%E6%98%AF%E4%B8%AA%E4%BB%80%E4%B9%88%E7%8E%A9%E6%84%8F%EF%BC%9F%E3%80%90%E5%88%86%E5%B8%83%E5%BC%8F%E9%9B%86%E7%BE%A4%E3%80%91%E7%B3%BB%E5%88%97%E7%AC%AC04%E7%AF%87
Uploaded: 2024-07-16T22:09:43.398Z

6671

2022-10-27 21:26:19

AI系统之【分布式集群】系列第04篇：AI集群机器间是怎么通信的？通信原语是个什么玩意？模型越来越大，就需要对模型进行切分放在不同的机器上，进行分布式并行训练。有分布式不同的机器之间就急需互相通信传输数据，这个时候通信的操作就显得尤为重要。All Reduce、Reduce Scatter等通信原语到底是如何工作？如何辅助跨机器进行通信？

知识

校园学习

人工智能

MindSpore

昇腾招人，已经毕业的快联系鸭

自动连播

6.4万播放

简介

什么是大模型？什么是分布式训练？什么是AI集群？大模型模型参数量实在太大，需要分布式并行训练能力一起来加速训练过程。分布式并行是在大规模AI集群上工作的，想要加速就需要软硬件协同，不仅仅要解决通信拓扑的问题、集群组网的问题，还要了解上层MOE、Transform等新兴算法。通过对算法的剖析，提出模型并行、数据并行、优化器并行等新的并行模式和通信同步模式，来加速分布式训练的过程。最小的单机执行单元里面，还要针对大模型进行混合精度、梯度累积等算法，进一步压榨集群的算力！

01.分布式集群基础介绍