投稿

分布式并行策略基础介绍！【分布式并行】系列第01篇

Name: %E5%88%86%E5%B8%83%E5%BC%8F%E5%B9%B6%E8%A1%8C%E7%AD%96%E7%95%A5%E5%9F%BA%E7%A1%80%E4%BB%8B%E7%BB%8D%EF%BC%81%E3%80%90%E5%88%86%E5%B8%83%E5%BC%8F%E5%B9%B6%E8%A1%8C%E3%80%91%E7%B3%BB%E5%88%97%E7%AC%AC01%E7%AF%87
Uploaded: 2024-07-16T22:09:33.479Z

7291

2022-12-15 20:13:24

【分布式并行】系列第01篇：分布式并行策略基础介绍！分布式训练不只是只有数据并行、模型并行。实际上要训练大模型、要利用分布式训练能力，需要从AI集群开始了解，通过通信把机器跟机器之间建立网络拓扑关系。有了AI集群，而且还可以互相通信，研究大模型算法去咯！但是研究大模型算法，需要AI框架支持分布式系统功能。现在我们来了解下分布式集群都有哪些内容吧！

知识

校园学习

MindSpore

华为昇腾

昇腾招人，已经毕业的快联系鸭

自动连播

4.0万播放

简介

随着深度学习中的数据规模和网络规模越来越大，训练神经网络会耗费越来越多的时间，势必需要从单 GPU 训练向多 GPU 训练甚至多机训练进行扩展。比如在大规模人脸识别中，训练上千万人脸 ID 需要对最后的全连接层做模型并行，而 GPT-3 为代表的大模型更是有 1750 亿参数，需要在多台机器上做流水并行、模型并行、数据并行、张量并行等并行策略才能训起来。

01. 分布式并行内容介绍