投稿

大模型是什么？大模型有什么用？训练大模型会遇到哪些挑战？【分布式算法】第01篇

Name: %E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%98%AF%E4%BB%80%E4%B9%88%EF%BC%9F%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%9C%89%E4%BB%80%E4%B9%88%E7%94%A8%EF%BC%9F%E8%AE%AD%E7%BB%83%E5%A4%A7%E6%A8%A1%E5%9E%8B%E4%BC%9A%E9%81%87%E5%88%B0%E5%93%AA%E4%BA%9B%E6%8C%91%E6%88%98%EF%BC%9F%E3%80%90%E5%88%86%E5%B8%83%E5%BC%8F%E7%AE%97%E6%B3%95%E3%80%91%E7%AC%AC01%E7%AF%87
Uploaded: 2024-07-16T22:09:43.259Z

1.1万

2022-10-15 20:30:00

未经作者授权，禁止转载

【分布式算法】系列第01篇！大模型是什么？大模型有什么用？训练大模型会遇到哪些挑战？这一期内容主要宏观层面去看看大模型所谓的大，到底对实际的AI有什么帮助和作用。既然要训练大模型，会遇到四个方面的主要的挑战：内存墙、通信墙、效率墙、调优墙。希望MindSpore可以在大模型引领业界，小菊花们要继续努力。

知识

校园学习

人工智能

MindSpore

昇腾招人，已经毕业的快联系鸭

自动连播

6.4万播放

简介

什么是大模型？什么是分布式训练？什么是AI集群？大模型模型参数量实在太大，需要分布式并行训练能力一起来加速训练过程。分布式并行是在大规模AI集群上工作的，想要加速就需要软硬件协同，不仅仅要解决通信拓扑的问题、集群组网的问题，还要了解上层MOE、Transform等新兴算法。通过对算法的剖析，提出模型并行、数据并行、优化器并行等新的并行模式和通信同步模式，来加速分布式训练的过程。最小的单机执行单元里面，还要针对大模型进行混合精度、梯度累积等算法，进一步压榨集群的算力！

01.分布式集群基础介绍