收藏

稿件投诉

记笔记

  • 用手机看
TRT+TritonServer=模型部署全家桶

1.2万

已完结 · 共40课时

长期有效

全面展示预训练模型基于TensorRT全家桶的部署上线全过程

发布者
关注
up

不归牛顿管的熊猫

UP是英伟达GPU推理加速在职，华科本上交硕，5年前校招进入英特尔，一直从事CPU/GPU上的AI框架/推理引擎开发，公众号AI不止算法作者

课程概述

评论（0）

一、旨在学后达到六大目标： 1.从onnx、TensorRT、triton inference server入手，直观学习到模型部署上线的过程。 2.同时，从YOLO系列模型网络结构角度，清楚我们做AI-infra/AI-HPC/模型部署到底关心模型的什么地方，体会和做AI算法的区别 3.同时，借助CUDA开发前处理、后处理等算子，可以直观感受到CUDA在模型部署中的角色 4.同时，引入性能分析，可以了解到一些优化手段如何带来性能/速度收益 5.同时，从CUDA角度、TensorRT角度、triton inference server角度，可以分别体会它们对模型加速的贡献 6.同时，安排了6个作业以上，供大家练习，各个都可以写上简历，组合在一起是一个非常完整的step-by-step经历，包括 6.1 自己动手注册plugin 6.2 自己动手使用TensorRT部署模型 6.3 自己动手使用triton server部署 & 加速服务 ...... 二、课程适用人群 1.在校生 2.转行或对AI-infra/AI-HPC不了解的职场er 3.找工作缺少完整闭环项目的在校生+职场er 4.对模型部署过程缺乏了解的人 三、包含内容 课件、代码和视频，以及课后答疑服务等等，因平台不能上传课件等资料，所以购买后请通过个人简介处的公粽子=号加我vx发送，或者后台私我
常见问题
Q：课程在什么时间更新？
A：课程更新频次以页面前端展示为准。购买成功后，课程更新将通过账号动态提示，方便及时观看。
Q：课程购买后有收看时间限制吗？
A：购买后除不可抗力因素外，本课程长期有效，请您放心购买。
Q：原价购买课程后，如遇到优惠折扣，是否可以退还差价或重新购买？
A：虚拟商品付款后无法返还，请您随时留意各类课程折扣信息，按需购买。
Q：购买课程后是否可以加入老师的粉丝群或者用户群？
A：如老师设置用户群，我们将邀您加入，但我们无法承诺所有老师均提供用户群服务，感谢理解。

查看更多

购买须知

1. 本内容为付费内容，购买成功后方可观看。

2. 本内容为虚拟服务，已购买内容不支持退款，敬请谅解。

3. 实际购买价格以页面展示的价格及订单结算页显示价格为准。

699 元/40课时 立即购买
课程目录
仅看课时

附赠课件

章节选择

1

前言-windows环境配置

视频课

9分20秒

从onnx开始模型部署之路

2

全集试看

1_onnx概述+模型网络结构+数据结构

视频课

20分1秒

3

2_onnx模型搭建_dump信息_推理

视频课

27分42秒

4

3_onnx_graphsurgeon

视频课

24分35秒

5

4_onnx_simplifier

视频课

21分55秒

TensorRT

6

1_TensorRT 简介

视频课

6分5秒

7

2_TensorRT 引擎构建

视频课

16分20秒

8

3_TensorRT API 基本用法

视频课

9分12秒

9

4_TensorRT Plugin 加速推理

视频课

14分57秒

YOLOv5-11模型特点讲解和plugin开发

10

0_windows和linux上GPU环境配置

视频课

18分

11

1_YOLO系列模型结构分析和推理总览

视频课

19分33秒

12

2_YOLO推理全流程和onnxruntime推理

视频课

25分19秒

13

3_YOLO_onnxruntime推理演示

视频课

2分15秒

14

4_YOLO系列前处理详解和demo演示

视频课

16分38秒

15

4_1_手撕YOLO系列前处理CUDA算子

视频课

16分5秒

16

5_YOLO系列后处理

视频课

21分42秒

实战-TensorRT部署YOLO-detect、OBB、seg

17

1_TensorRT环境安装

视频课

5分51秒

18

2_TensorRT推理流程

视频课

19分42秒

19

3_C++API抽象tensorrt推理流程-上

视频课

6分49秒

20

4_C++API抽象tensorrt推理流程-中

视频课

44分50秒

21

5_C++API抽象tensorrt推理流程-下

视频课

9分7秒

22

6_yolo-detect任务部署代码解析

视频课

16分37秒

23

7_yolo-detect任务演示以及cmakelists讲解

视频课

18分4秒

24

8_yolo-obb任务演示以及旋转角度讲解-上

视频课

11分5秒

25

9_yolo-obb任务演示以及旋转角度讲解-下

视频课

10分17秒

26

10_yolo分割任务可视化代码讲解和演示

视频课

13分59秒

实战-深度优化TRT部署YOLO-detect、OBB、seg

27

1_TensorRT多模型部署

视频课

22分18秒

28

2_TensorRT多模型部署

视频课

11分3秒

29

3_TRT_C++多线程部署_上

视频课

18分36秒

30

4_TRT_C++多线程部署_下

视频课

11分8秒

31

5_CUDAgraph概念和构建方法

视频课

25分31秒

32

6_CUDAgraph的运行本质及能力和收益分析

视频课

13分4秒

33

7_CUDAgraph动态推理和静态推理代码详解

视频课

34分45秒

34

8_CUDAgraph演示

视频课

15分54秒

实战-TritonServer上线YOLO-OBB

35

1_triton_inference_server的概念和能力

视频课

18分26秒

36

2_triton_inference_sever工作流介绍

视频课

12分43秒

37

3_tritonserver实战讲解_单请求_静态批_动态批

视频课

33分36秒

38

4_tritonserver实战演示

视频课

2分20秒

39

5_实战部分的缺陷以及作业

视频课

16分8秒

40

6_面试问题

视频课

21分46秒

相关推荐
课程封面

NLP自然语言处理｜Transformer实战

课程兼顾原理推导与工程编码，不只调用现成接口

2047播放/共177课时

课程封面

现代软件测试深度剖析

拆解从测试策略、用例设计到自动化、性能、可靠性及AI测试核心

52播放/共22课时

课程封面

Cordys CRM 实战训练营

AI CRM 实战演练直播课 + 官方认证

273播放/共4课时

课程封面

于红博AI音乐项目《没有老板没有钱》

重磅上线｜用学院派思维，玩转AI音乐

117播放/共4课时

课程封面

用Coze开发自动化办公AI智能体

本课程介绍用COZE生成自动化办公AI智能体的基本方法。

1074播放/共42课时

课程封面

Linux系统与网络编程+鸿蒙开发

Linux系统与网络编程+鸿蒙开发

182播放/共156课时

课程封面

全网刷屏的 Jev 模型正式开放！保姆级教程

精讲 JEV 决策大模型完整落地实践

139播放/共37课时

课程封面

Hyperframes生成视频教程

使用Hyperframes生成各种视频以及Skill封装

5137播放/共11课时

课程封面

工科机器学习：Python 从代码到案例复现

Python机器学习快速代码实战

429播放/共24课时

课程封面

WorkBuddy企业应用实操

WorkBuddy AI 助手从入门到企业自动化实战

2242播放/共11课时

课程封面

Qlib量化实战-基于可视化页面操作

基于可视化页面操作，提供配套软件源码

176播放/共14课时

课程封面

AI全栈专家·高阶实战营（一）

AI全栈专家：打通数据、算法、RAG与智能体开发全链路（一）

87播放/共722课时

课程封面

大鹏 Codex Go 语言图床项目实战

用 Codex 与 Go 实战开发云盘图床 API

113播放/共26课时

课程封面

如意智影：Codex+ComfyUI 短视频生成

用 Codex 和 ComfyUI 完成 AI 短视频实战

392播放/共15课时

课程封面

MeetingAgent全栈实战(仿腾讯会议)

用Go+Pion搭视频会议，接上实时字幕、翻译和AI纪要

158播放/共18课时