邓志杰老师为上海交通大学副教授、博士生导师,主要研究生成模型。
统一模型(UMs)在交错跨模态推理任务中颇具潜力,但现有统一模型在生成和理解视觉内容时使用不同的表示,不仅效率低下,还影响跨模态对齐效果。
本报告围绕隐空间统一模型 Latent UM 展开,将所有模态统一映射至共享语义隐空间,基于自回归Transformer 完成多模态信息的融合与对齐。随后探讨 Latent UM 作为世界模型基座的潜力。最后介绍在统一模型上训练具身动作策略的方法 Mantis,并与现有World Action Model对比,明确其在性能与效率上的优势。