投稿

混合并行？多维并行？有多维度混合在一起并行吗？【分布式并行】系列第06篇

Name: %E6%B7%B7%E5%90%88%E5%B9%B6%E8%A1%8C%EF%BC%9F%E5%A4%9A%E7%BB%B4%E5%B9%B6%E8%A1%8C%EF%BC%9F%E6%9C%89%E5%A4%9A%E7%BB%B4%E5%BA%A6%E6%B7%B7%E5%90%88%E5%9C%A8%E4%B8%80%E8%B5%B7%E5%B9%B6%E8%A1%8C%E5%90%97%EF%BC%9F%E3%80%90%E5%88%86%E5%B8%83%E5%BC%8F%E5%B9%B6%E8%A1%8C%E3%80%91%E7%B3%BB%E5%88%97%E7%AC%AC06%E7%AF%87
Uploaded: 2024-07-16T22:09:42.111Z

3054

2022-11-06 17:35:22

【分布式并行】系列第06篇：混合并行？多维并行？有多维度混合在一起并行吗？在第七节的内容里面分享了数据并行、模型并行（张量并行、流水并行），实际在大模型、大规模分布式AI集群中许多训练的场景都需要数据并行、按Tensor切分的模型并行以及pipeline并行一起来进行，才能实现一个很好的训练加速。多维混合并行主要是指把数据并行、张量并行、流水并行混合搭配使用，一起用都不累。那么最经典的用RL推荐大模型、LLM语言大模型来看看如何把多维混合在一起吧！

知识

校园学习

MindSpore

华为昇腾

昇腾招人，已经毕业的快联系鸭

自动连播

4.0万播放

简介

随着深度学习中的数据规模和网络规模越来越大，训练神经网络会耗费越来越多的时间，势必需要从单 GPU 训练向多 GPU 训练甚至多机训练进行扩展。比如在大规模人脸识别中，训练上千万人脸 ID 需要对最后的全连接层做模型并行，而 GPT-3 为代表的大模型更是有 1750 亿参数，需要在多台机器上做流水并行、模型并行、数据并行、张量并行等并行策略才能训起来。

01. 分布式并行内容介绍