【深度解析】AI大模型scaling law 幂律法则:为什么Scaling Laws重要?对大模型数据量 参数量 算力之间的最优分配!大模型训练的重要指导法则

1487
0
2024-08-21 08:30:16
正在缓冲...
11
8
60
5
授课大咖:卢菁博士【北京大学博士后人工智能专家】为什么Scaling Laws重要 一键三连 +助理老师: lujing017 免费领取AI学习资料! 随着模型大小、数据集大小和用于训练的计算浮点数的增加,模型的性能会提高。并且为了获得最佳性能,所有三个因素必须同时放大。当不受其他两个因素的制约时,模型性能与每个单独的因素都有幂律关系
《速通机器学习》《速通深度学习数学基础》作者 加老卢个人V: xhs541 加入学习群,领取学习资料,就业指导,咨询vip课程信息
视频选集
(1/7)
自动连播
大模型训练最优算力分配(1)-Decoder-only的模型计算量
09:33
大模型训练最优算力分配(2)-幂律关系及模型参数制约
13:19
大模型训练最优算力分配(3)-Scaling Law的实操
14:17
大模型训练最优算力分配(4)-最优算力分配
11:02
大模型训练最优算力分配(5)-LLaMA训练举例
10:21
【大模型技术解析】为什么大模型越微调越差
01:14
【大模型技术解析】合成数据,通向AGI的必经之路
02:28
客服
顶部
赛事库 课堂 2021拜年纪