内容简介:
大语言模型(LLM)已在对话、内容生成、智能体等任务上取得瞩目成果,但其庞大的参数规模与自回归逐 token 生成的解码方式,导致推理延迟较高,制约了实际部署及用户体验。
近年来,投机解码(Speculative Decoding)作为一类高效的无损推理加速技术,通过引入轻量级草稿模型快速生成候选 token 序列,再由目标模型并行验证,在保证输出分布不变的前提下实现了显著的加速效果。
在本次报告中,将分享三篇投机解码方向的最新研究成果:OnlineSPEC、AdaFlash 和 JetSpec。三项工作分别从在线自适应、扩散模型方差和并行草稿树三个视角推进了投机解码的方法与技术,为大语言模型的高效并行推理提供了新的思路。
嘉宾:
钱宇阳,南京大学人工智能学院博士生,并于 2025 年下半年赴加州大学圣迭戈分校(UCSD)课题组访问。主攻“高效机器学习”研究,聚焦大模型推理加速、投机解码、Agent强化学习、RLHF、扩散语言模型等。他以第一作者身份在 ICML、NeurIPS、KDD 等顶会/顶刊发表论文 10 篇,谷歌学术被引 1700 余次,曾荣获中国大学生程序设计竞赛全国邀请赛金牌、博士生国家奖学金等多项荣誉,并积极服务学术社区,担任 ICML、NeurIPS、ICLR、KDD 等顶级会议审稿人。
主持人:
王一敏,UCLA 计算机系博士生,研究方向是 Agentic AI 和 Trustworthy AI。