投稿

分布式训练总结！【大模型与分布式训练】系列第07篇

Name: %E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%AD%E7%BB%83%E6%80%BB%E7%BB%93%EF%BC%81%E3%80%90%E5%A4%A7%E6%A8%A1%E5%9E%8B%E4%B8%8E%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%AD%E7%BB%83%E3%80%91%E7%B3%BB%E5%88%97%E7%AC%AC07%E7%AF%87
Uploaded: 2024-07-16T22:09:37.161Z

5026

2022-11-11 14:13:40

【大模型与分布式训练】系列第07篇：分布式训练总结分布式训练不只是只有数据并行、模型并行。实际上要训练大模型、要利用分布式训练能力，需要从AI集群开始了解，通过通信把机器跟机器之间建立网络拓扑关系。有了AI集群，而且还可以互相通信，研究大模型算法去咯！但是研究大模型算法，需要AI框架支持分布式系统功能。一切感觉都准备好啦，框架、算法、算力。嗯，可以训练起来啦！太慢了？训练介黑暗料理了解下，数据并行、模型并行、加速优化！都加进来！

知识

校园学习

MindSpore

华为昇腾

昇腾招人，已经毕业的快联系鸭

电脑桌面上养老婆？我也想要！

【AI框架】分布式并行策略 (7/7)

自动连播

4.0万播放

简介

随着深度学习中的数据规模和网络规模越来越大，训练神经网络会耗费越来越多的时间，势必需要从单 GPU 训练向多 GPU 训练甚至多机训练进行扩展。比如在大规模人脸识别中，训练上千万人脸 ID 需要对最后的全连接层做模型并行，而 GPT-3 为代表的大模型更是有 1750 亿参数，需要在多台机器上做流水并行、模型并行、数据并行、张量并行等并行策略才能训起来。

01. 分布式并行内容介绍