收藏

稿件投诉

记笔记

  • 用手机看
TRT+TritonServer=模型部署全家桶

1.1万

已完结 · 共40课时

长期有效

全面展示预训练模型基于TensorRT全家桶的部署上线全过程

发布者
关注
up

不归牛顿管的熊猫

UP是英伟达GPU推理加速在职，华科本上交硕，5年前校招进入英特尔，一直从事CPU/GPU上的AI框架/推理引擎开发，公众号AI不止算法作者

课程概述

评论（0）

一、旨在学后达到六大目标： 1.从onnx、TensorRT、triton inference server入手，直观学习到模型部署上线的过程。 2.同时，从YOLO系列模型网络结构角度，清楚我们做AI-infra/AI-HPC/模型部署到底关心模型的什么地方，体会和做AI算法的区别 3.同时，借助CUDA开发前处理、后处理等算子，可以直观感受到CUDA在模型部署中的角色 4.同时，引入性能分析，可以了解到一些优化手段如何带来性能/速度收益 5.同时，从CUDA角度、TensorRT角度、triton inference server角度，可以分别体会它们对模型加速的贡献 6.同时，安排了6个作业以上，供大家练习，各个都可以写上简历，组合在一起是一个非常完整的step-by-step经历，包括 6.1 自己动手注册plugin 6.2 自己动手使用TensorRT部署模型 6.3 自己动手使用triton server部署 & 加速服务 ...... 二、课程适用人群 1.在校生 2.转行或对AI-infra/AI-HPC不了解的职场er 3.找工作缺少完整闭环项目的在校生+职场er 4.对模型部署过程缺乏了解的人 三、包含内容 课件、代码和视频，以及课后答疑服务等等，因平台不能上传课件等资料，所以购买后请通过个人简介处的公粽子=号加我vx发送，或者后台私我
常见问题
Q：课程在什么时间更新？
A：课程更新频次以页面前端展示为准。购买成功后，课程更新将通过账号动态提示，方便及时观看。
Q：课程购买后有收看时间限制吗？
A：购买后除不可抗力因素外，本课程长期有效，请您放心购买。
Q：原价购买课程后，如遇到优惠折扣，是否可以退还差价或重新购买？
A：虚拟商品付款后无法返还，请您随时留意各类课程折扣信息，按需购买。
Q：购买课程后是否可以加入老师的粉丝群或者用户群？
A：如老师设置用户群，我们将邀您加入，但我们无法承诺所有老师均提供用户群服务，感谢理解。

查看更多

购买须知

1. 本内容为付费内容，购买成功后方可观看。

2. 本内容为虚拟服务，已购买内容不支持退款，敬请谅解。

3. 实际购买价格以页面展示的价格及订单结算页显示价格为准。

699 元/40课时 立即购买
课程目录
仅看课时

附赠课件

章节选择

1

前言-windows环境配置

视频课

9分20秒

从onnx开始模型部署之路

2

全集试看

1_onnx概述+模型网络结构+数据结构

视频课

20分1秒

3

2_onnx模型搭建_dump信息_推理

视频课

27分42秒

4

3_onnx_graphsurgeon

视频课

24分35秒

5

4_onnx_simplifier

视频课

21分55秒

TensorRT

6

1_TensorRT 简介

视频课

6分5秒

7

2_TensorRT 引擎构建

视频课

16分20秒

8

3_TensorRT API 基本用法

视频课

9分12秒

9

4_TensorRT Plugin 加速推理

视频课

14分57秒

YOLOv5-11模型特点讲解和plugin开发

10

0_windows和linux上GPU环境配置

视频课

18分

11

1_YOLO系列模型结构分析和推理总览

视频课

19分33秒

12

2_YOLO推理全流程和onnxruntime推理

视频课

25分19秒

13

3_YOLO_onnxruntime推理演示

视频课

2分15秒

14

4_YOLO系列前处理详解和demo演示

视频课

16分38秒

15

4_1_手撕YOLO系列前处理CUDA算子

视频课

16分5秒

16

5_YOLO系列后处理

视频课

21分42秒

实战-TensorRT部署YOLO-detect、OBB、seg

17

1_TensorRT环境安装

视频课

5分51秒

18

2_TensorRT推理流程

视频课

19分42秒

19

3_C++API抽象tensorrt推理流程-上

视频课

6分49秒

20

4_C++API抽象tensorrt推理流程-中

视频课

44分50秒

21

5_C++API抽象tensorrt推理流程-下

视频课

9分7秒

22

6_yolo-detect任务部署代码解析

视频课

16分37秒

23

7_yolo-detect任务演示以及cmakelists讲解

视频课

18分4秒

24

8_yolo-obb任务演示以及旋转角度讲解-上

视频课

11分5秒

25

9_yolo-obb任务演示以及旋转角度讲解-下

视频课

10分17秒

26

10_yolo分割任务可视化代码讲解和演示

视频课

13分59秒

实战-深度优化TRT部署YOLO-detect、OBB、seg

27

1_TensorRT多模型部署

视频课

22分18秒

28

2_TensorRT多模型部署

视频课

11分3秒

29

3_TRT_C++多线程部署_上

视频课

18分36秒

30

4_TRT_C++多线程部署_下

视频课

11分8秒

31

5_CUDAgraph概念和构建方法

视频课

25分31秒

32

6_CUDAgraph的运行本质及能力和收益分析

视频课

13分4秒

33

7_CUDAgraph动态推理和静态推理代码详解

视频课

34分45秒

34

8_CUDAgraph演示

视频课

15分54秒

实战-TritonServer上线YOLO-OBB

35

1_triton_inference_server的概念和能力

视频课

18分26秒

36

2_triton_inference_sever工作流介绍

视频课

12分43秒

37

3_tritonserver实战讲解_单请求_静态批_动态批

视频课

33分36秒

38

4_tritonserver实战演示

视频课

2分20秒

39

5_实战部分的缺陷以及作业

视频课

16分8秒

40

6_面试问题

视频课

21分46秒

相关推荐
课程封面

GPT Image 2 从入门到出图实战

掌握AI视觉创作全流程，解锁高效创意生成技能，从零到视觉大师

3506播放/共42课时

课程封面

大鹏 Claude Code 二开 AI PPT

用 Claude Code 二开开源 AI PPT 实战

156播放/共23课时

课程封面

小白都能学的AI编程实战：从0带你做出产品

主流 AI 编程工具 + 实战项目教程，从想法到变现一条龙

14.8万播放/共85课时

课程封面

于红博AI写作教程（女频年代文）

重磅上线｜用学院派思维，玩转AI写作

8播放/共2课时

课程封面

AI Agent智能体的基础技术原理

学习大模型Agent的技术框架

339播放/共12课时

课程封面

飞书多维表格搭建一人公司记账管理系统

飞书多维表格搭建，详细讲解如何通过多维表格搭建一人公司记账

295播放/共6课时

课程封面

Codex智能体实战：从零系统学习智能体应用

从零开始系统学习Codex智能体，纯实战教学，有辅导群答疑

2822播放/共91课时

课程封面

Codex APP入门与实战｜AI随风

零基础学会用Codex APP做项目、办公与自动化

6780播放/共11课时

课程封面

驾驭AI系统：构建稳定可控Agent

深入理解AI模型外的系统设计，掌握关键技巧以提升Agent的

74播放/共7课时

课程封面

【1对1】Python数据分析AI科研+就业班

系统全面，班级群/答疑/辅导/作业任务批改点评等服务

41.8万播放/共189课时

课程封面

掌握大模型必备知识：上下文工程速览

AI产品经理入门系列课

63播放/共4课时

课程封面

智能办公助手：AI赋能的高效工作术

AI技术在工作场景中的应用探索

173播放/共20课时

课程封面

【驾驭AI】Python数据分析+人工智能直播课

3天真实教学直播+1周全程答疑辅导

1007播放/共9课时

课程封面

AI全流程实践：自动办公提示词+OpenClaw

掌握前沿AI工具，实现AI办公提效自动化，加速企业智能化转型

205播放/共11课时

课程封面

多模型AI提效利器：Cherry Studio

享受DeepSeek单次生成5千到1万字的便利

248播放/共7课时