大模型时代必学!商汤大佬一小时精讲大语言模型推理加速实战,高性能LLM推理框架及细节优化全详解!

3472
20
2024-04-13 15:43:35
109
34
270
66
当我们探讨人工智能的众多领域中,大语言模型堪称其中最具前瞻性和挑战性的领域之一。其依赖于海量数据的训练,展现出优越的知识检索能力,在许多领域引起了广泛的关注。然而动辄数十亿,数百亿参数的模型对于推理而言是代价高昂的。为此商汤高性能计算团队设计并实现了 PPL.LLM 框架为大语言模型提供模型推理加速服务,本期视频将就大语言模型推理中的一些常见问题进行解答,并介绍推理服务过程中的许多细节优化问题
欢迎咨询:人工智能基础课程/大模型课程/论文发表
视频选集
(1/4)
大模型时代必学!
01:08:15
多模态大模型·
01:05:01
丹尼尔老师大模型课程
05:22
求三连
00:05

直击2026诺贝尔奖>>

专家&UP主独家解读,上B站看懂诺贝尔奖!
客服
顶部
赛事库 课堂 2021拜年纪