大模型部署背景：模型部署的定义及大模型的特点

大模型部署的挑战和方案

LMDeploy简介

推理性能对比

量化模型

量化的目的：降低显存，提升推理速度

怎么做weight only量化：AWQ算法

turbomind介绍

api server介绍