投稿

什么是张量并行？张量并行的数学原理是什么？【分布式并行】系列第03篇

Name: %E4%BB%80%E4%B9%88%E6%98%AF%E5%BC%A0%E9%87%8F%E5%B9%B6%E8%A1%8C%EF%BC%9F%E5%BC%A0%E9%87%8F%E5%B9%B6%E8%A1%8C%E7%9A%84%E6%95%B0%E5%AD%A6%E5%8E%9F%E7%90%86%E6%98%AF%E4%BB%80%E4%B9%88%EF%BC%9F%E3%80%90%E5%88%86%E5%B8%83%E5%BC%8F%E5%B9%B6%E8%A1%8C%E3%80%91%E7%B3%BB%E5%88%97%E7%AC%AC03%E7%AF%87
Uploaded: 2024-07-16T22:09:44.957Z

6061

2022-11-05 08:53:32

【分布式并行】系列第03篇：什么是张量并行？张量并行的数学原理是什么？与数据并行在不同设备都有完整的计算图不同，模型并行是不同设备负责单个计算图不同部分的计算。将计算图中的层内的参数切分到不同设备，即层内并行，我们称之为张量模型并行。这次我们一起来分享张量并行从数学原理，到实际网络模型的MatMul、Embedding、MLP、Transformer和Loss是如何进行张量并行的吧！

知识

校园学习

MindSpore

华为昇腾

昇腾招人，已经毕业的快联系鸭

电脑桌面上养老婆？我也想要！

【AI框架】分布式并行策略 (3/7)

自动连播

4.0万播放

简介

随着深度学习中的数据规模和网络规模越来越大，训练神经网络会耗费越来越多的时间，势必需要从单 GPU 训练向多 GPU 训练甚至多机训练进行扩展。比如在大规模人脸识别中，训练上千万人脸 ID 需要对最后的全连接层做模型并行，而 GPT-3 为代表的大模型更是有 1750 亿参数，需要在多台机器上做流水并行、模型并行、数据并行、张量并行等并行策略才能训起来。

01. 分布式并行内容介绍