PyTorch数据并行怎么实现?DP、DDP、FSDP数据并行原理?【分布式并行】系列第02篇

1.0万
22
2022-11-01 23:53:59
191
125
216
37
【分布式并行】系列第02篇:PyTorch数据并行怎么实现?DP、DDP、FSDP数据并行原理! 数据并行不仅仅指对训练的数据并行操作,而是对网络模型梯度、权重参数、优化器状态等数据进行并行。而PyTorch原生支持数据并行DP、分布式数据并行DDP、全切分数据并行FSDP 3种不同的数据并行操作,三种数据并行DP之间有什么不同呢?他们的核心原理又是什么呢?
昇腾招人,已经毕业的快联系鸭

电脑桌面上养老婆?我也想要!

4.0万播放 icon 简介
随着深度学习中的数据规模和网络规模越来越大,训练神经网络会耗费越来越多的时间,势必需要从单 GPU 训练向多 GPU 训练甚至多机训练进行扩展。比如在大规模人脸识别中,训练上千万人脸 ID 需要对最后的全连接层做模型并行,而 GPT-3 为代表的大模型更是有 1750 亿参数,需要在多台机器上做流水并行、模型并行、数据并行、张量并行等并行策略才能训起来。
01. 分布式并行内容介绍
03:31
02.数据并行算法
13:50
03.模型并行之张量并行
16:19
04.张量自动并行
06:12
05.模型并行之流水并行
15:28
06. 混合并行算法
15:33
07.分布式并行策略总结
13:07
客服
顶部
赛事库 课堂 2021拜年纪