TRT+TritonServer=模型部署全家桶
1.1万
已完结 · 共40课时
长期有效
全面展示预训练模型基于TensorRT全家桶的部署上线全过程
动态
微博
QQ空间
贴吧
将视频贴到博客或论坛
复制视频地址
微信扫一扫分享
- 用手机看
发布者
关注
不归牛顿管的熊猫
UP是英伟达GPU推理加速在职，华科本上交硕，5年前校招进入英特尔，一直从事CPU/GPU上的AI框架/推理引擎开发，公众号AI不止算法作者
课程概述
一、旨在学后达到六大目标：
1.从onnx、TensorRT、triton inference server入手，直观学习到模型部署上线的过程。
2.同时，从YOLO系列模型网络结构角度，清楚我们做AI-infra/AI-HPC/模型部署到底关心模型的什么地方，体会和做AI算法的区别
3.同时，借助CUDA开发前处理、后处理等算子，可以直观感受到CUDA在模型部署中的角色
4.同时，引入性能分析，可以了解到一些优化手段如何带来性能/速度收益
5.同时，从CUDA角度、TensorRT角度、triton inference server角度，可以分别体会它们对模型加速的贡献
6.同时，安排了6个作业以上，供大家练习，各个都可以写上简历，组合在一起是一个非常完整的step-by-step经历，包括
6.1 自己动手注册plugin
6.2 自己动手使用TensorRT部署模型
6.3 自己动手使用triton server部署 & 加速服务
......
二、课程适用人群
1.在校生
2.转行或对AI-infra/AI-HPC不了解的职场er
3.找工作缺少完整闭环项目的在校生+职场er
4.对模型部署过程缺乏了解的人
三、包含内容
课件、代码和视频，以及课后答疑服务等等，因平台不能上传课件等资料，所以购买后请通过个人简介处的公粽子=号加我vx发送，或者后台私我
常见问题
Q：课程在什么时间更新？
A：课程更新频次以页面前端展示为准。购买成功后，课程更新将通过账号动态提示，方便及时观看。
Q：课程购买后有收看时间限制吗？
A：购买后除不可抗力因素外，本课程长期有效，请您放心购买。
Q：原价购买课程后，如遇到优惠折扣，是否可以退还差价或重新购买？
A：虚拟商品付款后无法返还，请您随时留意各类课程折扣信息，按需购买。
Q：购买课程后是否可以加入老师的粉丝群或者用户群？
A：如老师设置用户群，我们将邀您加入，但我们无法承诺所有老师均提供用户群服务，感谢理解。
699 元/40课时 立即购买
课程目录
仅看课时
附赠课件
1
前言-windows环境配置
视频课
9分20秒
从onnx开始模型部署之路
全集试看
1_onnx概述+模型网络结构+数据结构
视频课
20分1秒
3
2_onnx模型搭建_dump信息_推理
视频课
27分42秒
4
3_onnx_graphsurgeon
视频课
24分35秒
5
4_onnx_simplifier
视频课
21分55秒
TensorRT
6
1_TensorRT 简介
视频课
6分5秒
7
2_TensorRT 引擎构建
视频课
16分20秒
8
3_TensorRT API 基本用法
视频课
9分12秒
9
4_TensorRT Plugin 加速推理
视频课
14分57秒
YOLOv5-11模型特点讲解和plugin开发
10
0_windows和linux上GPU环境配置
视频课
18分
11
1_YOLO系列模型结构分析和推理总览
视频课
19分33秒
12
2_YOLO推理全流程和onnxruntime推理
视频课
25分19秒
13
3_YOLO_onnxruntime推理演示
视频课
2分15秒
14
4_YOLO系列前处理详解和demo演示
视频课
16分38秒
15
4_1_手撕YOLO系列前处理CUDA算子
视频课
16分5秒
16
5_YOLO系列后处理
视频课
21分42秒
实战-TensorRT部署YOLO-detect、OBB、seg
17
1_TensorRT环境安装
视频课
5分51秒
18
2_TensorRT推理流程
视频课
19分42秒
19
3_C++API抽象tensorrt推理流程-上
视频课
6分49秒
20
4_C++API抽象tensorrt推理流程-中
视频课
44分50秒
21
5_C++API抽象tensorrt推理流程-下
视频课
9分7秒
22
6_yolo-detect任务部署代码解析
视频课
16分37秒
23
7_yolo-detect任务演示以及cmakelists讲解
视频课
18分4秒
24
8_yolo-obb任务演示以及旋转角度讲解-上
视频课
11分5秒
25
9_yolo-obb任务演示以及旋转角度讲解-下
视频课
10分17秒
26
10_yolo分割任务可视化代码讲解和演示
视频课
13分59秒
实战-深度优化TRT部署YOLO-detect、OBB、seg
27
1_TensorRT多模型部署
视频课
22分18秒
28
2_TensorRT多模型部署
视频课
11分3秒
29
3_TRT_C++多线程部署_上
视频课
18分36秒
30
4_TRT_C++多线程部署_下
视频课
11分8秒
31
5_CUDAgraph概念和构建方法
视频课
25分31秒
32
6_CUDAgraph的运行本质及能力和收益分析
视频课
13分4秒
33
7_CUDAgraph动态推理和静态推理代码详解
视频课
34分45秒
34
8_CUDAgraph演示
视频课
15分54秒
实战-TritonServer上线YOLO-OBB
35
1_triton_inference_server的概念和能力
视频课
18分26秒
36
2_triton_inference_sever工作流介绍
视频课
12分43秒
37
3_tritonserver实战讲解_单请求_静态批_动态批
视频课
33分36秒
38
4_tritonserver实战演示
视频课
2分20秒
39
5_实战部分的缺陷以及作业
视频课
16分8秒
40
6_面试问题
视频课
21分46秒
相关推荐
NLP自然语言处理｜Transformer实战
课程兼顾原理推导与工程编码，不只调用现成接口
933播放/共177课时
手写 Agent Harness：大模型工具调用
从 0 手写一个 Agent Harness
411播放/共53课时
家电从业者AI实战（中级）
家电家居AI实战进阶：智能家居/个性化推荐/售后客服深度应用与岗位落地，适合已入门从业者系统提升AI应用能力。
146播放/共18课时
Cordys CRM 实战训练营
AI CRM 实战演练直播课 + 官方认证
38播放/共4课时
医药从业者AI实战（初级）
医药流通岗位AI进阶：仓储、配送、药店、合规四大实战方向，智能仓储/库存管理/订单履约深入落地，面向在职从业者提升岗位效率。
110播放/共18课时
跨境电商从业者AI实战（入门）
零基础学跨境电商AI：选品、运营、客服、物流四大岗位实战，选品/Listing优化/海外营销全覆盖，无需技术背景，学完即用。
475播放/共18课时
家电从业者AI实战（初级）
家电家居岗位AI进阶：产品、设计、营销、售后四大实战方向，智能家居/个性化推荐/售后客服深入落地，面向在职从业者提升岗位效率。
43播放/共18课时
农业从业者AI实战（入门）
零基础学农业与食品AI：种植、养殖、质检、供应链四大岗位实战，智能种植/精准养殖/食品质检全覆盖，无需技术背景，学完即用。
62播放/共18课时
Hyperframes生成视频教程
使用Hyperframes生成各种视频以及Skill封装
2656播放/共11课时
GPT Image 2 从入门到出图实战
掌握AI视觉创作全流程，解锁高效创意生成技能，从零到视觉大师
7007播放/共42课时
WorkBuddy企业应用实操
WorkBuddy AI 助手从入门到企业自动化实战
702播放/共11课时
医疗从业者AI实战（初级）
医疗健康岗位AI进阶：医生、护理、医技、管理四大实战方向，智能辅助问诊/病历管理/健康服务深入落地，面向在职从业者提升岗位效率。
132播放/共18课时
大鹏 Claude Code 二开 AI PPT
用 Claude Code 二开开源 AI PPT 实战
458播放/共23课时
零售从业者AI实战（初级）
零售与消费岗位AI进阶：选品、营销、运营、门店四大实战方向，选品/动态定价/个性化推荐深入落地，面向在职从业者提升岗位效率。
48播放/共18课时
证券从业者AI实战（中级）
证券AI实战进阶：量化研究、风险监控、研究报告深度应用与岗位落地，适合已入门从业者系统提升AI应用能力。
14播放/共18课时
评论（0）