零基础玩转大模型推理：7天工程化入门_哔哩哔哩_bilibili

投稿

收藏

稿件投诉

记笔记

用手机看

零基础玩转大模型推理：7天工程化入门

5702

已完结 · 共27课时

长期有效

零基础玩转大模型推理：7天工程化入门

发布者

关注

先进编译实验室

罗有才：实验室推理部部长，硕士，研究方向为大模型推理引擎、程序移植优化谢景明：实验室副主任，博士，研究方向为大模型训练、大规模并行程序开发

课程概述

评论（0）

课程介绍

课程介绍

课程介绍

课程介绍

课程介绍

常见问题

Q：课程在什么时间更新？

A：课程更新频次以页面前端展示为准。购买成功后，课程更新将通过账号动态提示，方便及时观看。

Q：课程购买后有收看时间限制吗？

A：购买后除不可抗力因素外，本课程长期有效，请您放心购买。

Q：原价购买课程后，如遇到优惠折扣，是否可以退还差价或重新购买？

A：虚拟商品付款后无法返还，请您随时留意各类课程折扣信息，按需购买。

Q：购买课程后是否可以加入老师的粉丝群或者用户群？

A：如老师设置用户群，我们将邀您加入，但我们无法承诺所有老师均提供用户群服务，感谢理解。

购买须知

1. 本内容为付费内容，购买成功后方可观看。

2. 本内容为虚拟服务，已购买内容不支持退款，敬请谅解。

3. 实际购买价格以页面展示的价格及订单结算页显示价格为准。

1499 元/27课时立即购买

课程目录

课程群

章节选择

引言

全集试看

课程介绍

视频课

1分42秒

第一阶段：大模型推理引擎概述

2

全集试看

01 大模型推理挑战

视频课

4分14秒

3

02 主流推理引擎对比

视频课

6分8秒

4

部分试看

03 大模型推理瓶颈分析

视频课

17分46秒

第二阶段：vLLM入门与实践

5

01 vLLM环境搭建

视频课

5分2秒

6

部分试看

02 vLLM使用入门

视频课

11分16秒

7

03 vLLM推理分析

视频课

3分33秒

第三阶段：vLLM扩展模型部署

8

部分试看

01 LoRA模型部署及实操

视频课

18分10秒

9

部分试看

02 多模态模型部署及实操

视频课

13分43秒

第四阶段：vLLM量化部署

10

01 vLLM量化模型支持

视频课

3分44秒

11

部分试看

02 模型量化

视频课

19分6秒

12

03 KV Cache量化

视频课

9分4秒

第五阶段：性能测试与分析

13

部分试看

01 性能测试指标(1)

视频课

15分43秒

14

部分试看

02 性能测试指标(2)

视频课

13分16秒

15

03 性能测试工具

视频课

4分55秒

16

04 性能分析

视频课

8分52秒

第六阶段：算子优化

17

部分试看

01 算子优化

视频课

11分42秒

第七阶段：高级特性

18

部分试看

01 LLM引擎参数(1)

视频课

13分41秒

19

部分试看

02 LLM引擎参数(2)

视频课

11分11秒

20

03 推测解码与PD分离

视频课

8分55秒

实操阶段：DeepSeek可视化部署

21

部分试看

01 DeepSeek可视化部署(1)

视频课

13分25秒

22

部分试看

02 DeepSeek可视化部署(2)

视频课

13分

实操阶段：RAG本地部署

23

部分试看

01 RAG本地部署(1)

视频课

16分47秒

24

部分试看

02 RAG本地部署(2)

视频课

20分33秒

实操阶段：vLLM+Dify构建Agent应用

25

部分试看

01 vLLM+Dify构建Agent应用(1)

视频课

17分42秒

26

部分试看

02 vLLM+Dify构建Agent应用(2)

视频课

13分29秒

27

部分试看

03 vLLM+Dify构建Agent应用(3)

视频课

16分11秒

相关推荐