内容介绍:
强化学习可验证奖励(RLVR)已成为提升大模型推理能力的重要路径,但其规模化仍受制于高质量、可验证训练题的稀缺。自进化试图让模型自己生成训练数据,却面临两个关键问题:如何让题目扎根于可靠知识,以及如何判断一道题是否真正值得学习。仅以“难度”作为奖励,可能鼓励含糊、错误或与目标能力无关的问题。
本次分享将介绍 INFUSER:让生成器从无标注文档中出题,让求解器持续学习,并用优化器感知的影响力分数判断“训练这道题,是否真的会让当前模型变得更好”,从而把海量文档转化为动态、自适应的推理课程。
嘉宾:
陈思宇(Siyu Chen),耶鲁大学统计与数据科学系博士生。本科毕业于清华大学电子工程系。研究方向包括深度学习、基础模型与强化学习,重点关注大模型推理与自进化、Transformer 的训练动力学及机制理解,致力于从理论、算法和实证三个层面理解并提升模型的推理与泛化能力。相关成果多次以 oral presentation 的形式在国际机器学习会议 NeuriPS, ICLR 以及机器学习理论会议 COLT 发表。个人主页:https://ffishy-git.github.io/。
主持人:
吴昊伦,Mila实验室研究员,博士毕业于Mila和McGill University,在 Stanford 从事访问学者研究。其主要研究方向包括可信 AI / 大模型、信息检索、个性化、AI 对齐以及 AI+教育等。他曾在 Microsoft Research、Google、DeepMind 多次实习,其研究成果被应用于 MSR Alexandria 知识库构建和 Google Shopping 推荐系统。他在多个领域的顶级会议和期刊(如 NeurIPS, ICML, ICLR, EMNLP, SIGIR, WWW, CHI, CSCW, TMLR, TKDE 等)发表工作并担任评审。