投稿

模型并行的流水线并行来啦！了解下GPipe和PipeDream？【分布式并行】系列第05篇

Name: %E6%A8%A1%E5%9E%8B%E5%B9%B6%E8%A1%8C%E7%9A%84%E6%B5%81%E6%B0%B4%E7%BA%BF%E5%B9%B6%E8%A1%8C%E6%9D%A5%E5%95%A6%EF%BC%81%E4%BA%86%E8%A7%A3%E4%B8%8BGPipe%E5%92%8CPipeDream%EF%BC%9F%E3%80%90%E5%88%86%E5%B8%83%E5%BC%8F%E5%B9%B6%E8%A1%8C%E3%80%91%E7%B3%BB%E5%88%97%E7%AC%AC05%E7%AF%87
Uploaded: 2024-07-16T22:09:38.071Z

5249

2022-11-05 23:43:17

【分布式并行】系列第05篇：分布式训练的流水线并行来啦！了解下GPipe和PipeDream？大的模型需要从层（Layer）级别进行进一步的图切分以减少单卡存储的容量需求，同时隐藏卡之间的通信时间，更加充分利用GPU卡的算力，为此业界提出了流水线并行的方式解决上述切分和调度的问题。流水线并行是的大规模分布式并行训练很重要的一个并行方式组成，让我恩一起来了解下什么是流水线并行？GPipe和PipeDream的具体核心算法原理吧！

知识

校园学习

MindSpore

华为昇腾

昇腾招人，已经毕业的快联系鸭

电脑桌面上养老婆？我也想要！

【AI框架】分布式并行策略 (5/7)

自动连播

4.0万播放

简介

随着深度学习中的数据规模和网络规模越来越大，训练神经网络会耗费越来越多的时间，势必需要从单 GPU 训练向多 GPU 训练甚至多机训练进行扩展。比如在大规模人脸识别中，训练上千万人脸 ID 需要对最后的全连接层做模型并行，而 GPT-3 为代表的大模型更是有 1750 亿参数，需要在多台机器上做流水并行、模型并行、数据并行、张量并行等并行策略才能训起来。

01. 分布式并行内容介绍