内容介绍

题目：鹏程·盘古——首个两千亿参数中文预训练语言模型

介绍：

鹏程·盘古是业界首个2000亿超大参数中文预训练模型。由鹏城实验室联合有关单位技术团队组建的「盘古α」联合攻关团队，首次基于“鹏城云脑Ⅱ”和MindSpore框架的自动混合并行模式实现在2048卡算力集群上的大规模分布式训练，训练出业界首个2000亿超大参数中文预训练模型“鹏程·盘古”。模型在16个下游任务中大部分指标优于SOTA模型，其中零样本学习任务11个任务领先，单样本学习任务12个任务领先，小样本学习任务13个任务领先。代码、模型以及在线体验服务已经在OpenI 启智社区全部开源开放。

直播时间：7月28日星期三  18:30-19:30

直播间地址：网页链接​

源代码仓库：https://git.openi.org.cn/PCL-Platform.Intelligence/PanGu-Alpha