本期解读论文:PhyRubric: Rubric-Grounded Diagnostic Evaluation of Physical Commonsense in Text-to-Video Generation
作者:Huiyi Chen, Weitai Kang, Shicheng Fan, Xinshuo Wang, Yan Yan, Philip S. Yu, Baoxin Li
论文链接:https://arxiv.org/abs/2611.13576
代码库:暂未公开,后续将同步官方开源地址
核心亮点:
1. **首创锚定评分表的文生视频物理常识评估框架**:首次提出PhyRubric体系,在观看任何生成视频前就为每条文本提示定制专属评分表,所有分数完全从可验证的条目判定结果推导得出,彻底解决传统人工主观打分的不一致问题,每个分数都附带明确的违规物理规则与时间戳证据。
2. **覆盖5大物理域的大规模基准数据集PhyRubric-Bench**:突破过往同类基准仅聚焦力学的局限,覆盖力学、光学、热学、电学、声学5大物理领域共34个分类,所有提示均描述完整日常因果事件且明确标注可见结果,全部评分表经过人工校验,评估维度同时覆盖语义贴合度与物理常识合理性。
3. **配套开源自动评测模型PhyRubric-Judge**:基于947条专属提示+对应评分表构建的PhyRubric-Train训练集,生成了3788条来自4款不同文生视频模型的标注视频、总计4.59万条评分表条目判定结果,训练出的开源VLM评测模型无需推理阶段输入评分表,即可输出语义贴合度分数、物理常识分数以及带时间戳的违规诊断结果。
4. **揭示文生视频物理常识现存核心瓶颈**:通过对10款主流文生视频模型的系统性评测发现,即使当前最强的Seedance 2.5模型,同时满足文本语义完全贴合且物理常识合理的视频占比也不足50%,同时发现语义贴合度是当前性能提升的核心瓶颈,大量模型通过完全不描述指定物理事件的“捷径”规避物理错误,这类行为反而被过往传统评测协议错误奖励。
技术要点:
- **分级物理违规 severity 体系**:参考发展心理学中婴儿习得物理知识的先后顺序,将物理违规划分为致命、核心、主要、次要4个严重等级,同时对应10类违规类型,所有判定规则完全可复现,不存在模糊的主观裁量空间。
- **双维度条目化评分规则**:语义贴合度评分拆解为主要条目(核心对象、事件)和次要条目(限定词、初始状态、事件顺序)两类可验证项,物理常识评分基于最严重违规等级叠加额外高严重度违规的惩罚项,最终输出1-5分的标准化结果。
- **智能体辅助标注流水线**:用预先生成的评分表引导智能标注代理自动定位视频中需要校验的时间点与区域,大幅降低人工标注成本的同时保证标注一致性,生成的训练数据让自动评测模型的结果和人类判断的相关性远高于现有同类评测模型,且可以泛化到从未见过的生成器与物理域。
#AI #文生视频 #多模态 #物理常识 #AI评测 #VLM #深度学习 #生成式AI
---
有感兴趣的论文可以在评论区,我们进行详细拆解!