投稿

AI框架如何实现分布式训练？SISD和SIMT又是什么？【分布式集群】系列第05篇

Name: AI%E6%A1%86%E6%9E%B6%E5%A6%82%E4%BD%95%E5%AE%9E%E7%8E%B0%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%AD%E7%BB%83%EF%BC%9FSISD%E5%92%8CSIMT%E5%8F%88%E6%98%AF%E4%BB%80%E4%B9%88%EF%BC%9F%E3%80%90%E5%88%86%E5%B8%83%E5%BC%8F%E9%9B%86%E7%BE%A4%E3%80%91%E7%B3%BB%E5%88%97%E7%AC%AC05%E7%AF%87
Uploaded: 2024-07-16T22:09:44.757Z

6153

2022-10-25 02:25:54

AI系统之【分布式训练】系列第05篇：AI框架如何实现分布式训练功能的？SISD和SIMT又是什么？这一期内容主要从串行处理的硬件架构SISD，发展到并行处理的三种硬件架构SIMD、MISD、MIMD到GPU常用的SIMT硬件架构，了解分布式并行的单机硬件模式。接着来看看主流AI框架（TensorFlow、PyTorch、MindSpore）中的分布式并行的能力。

Barge Perfect

知识

校园学习

人工智能

MindSpore

昇腾招人，已经毕业的快联系鸭

自动连播

6.4万播放

简介

什么是大模型？什么是分布式训练？什么是AI集群？大模型模型参数量实在太大，需要分布式并行训练能力一起来加速训练过程。分布式并行是在大规模AI集群上工作的，想要加速就需要软硬件协同，不仅仅要解决通信拓扑的问题、集群组网的问题，还要了解上层MOE、Transform等新兴算法。通过对算法的剖析，提出模型并行、数据并行、优化器并行等新的并行模式和通信同步模式，来加速分布式训练的过程。最小的单机执行单元里面，还要针对大模型进行混合精度、梯度累积等算法，进一步压榨集群的算力！

01.分布式集群基础介绍