Seedance：多模态双分支扩散transformer+Multi-agent

前者是一个脑子里同时算画面+声音的双核大脑。

后者是一支会推理会分工的导演团队。

前台看是一次生成，后台是一群agent同时开工。

有的负责检索账号和公开库里的素材记忆，有的管音视频识别，有的管运镜和镜头衔接，有的专门做物理合理性校验，

理解你的意图-->检索经验-->协同决策

下面从模型架构，运镜奥秘，空间推理三个方面解析原理。

模型架构

基于flow match的双分支多模态transformer，让画面，声音，参考素材在同一个脑子里同时长出来。而不是各玩各的，然后强行拼接

运镜奥秘

Seeddance多智能体协同的硬核体现，使用了一种称为3D MM-RoPE的视觉导航技术。给每一帧打上：我在哪一帧，什么位置，什么时间的三维坐标。让模型指导：这一帧是上一镜头的延续，还是下一镜头的开始。

同时有一个运镜agent，从大量电影镜头里学到了摄像机语言，再通过物理约束agent，在时空上捏紧逻辑。

用混合上下文：mixture of contexts技术。决定当下该参考哪一段历史。

这是被电影语法和因果顺序约束过的结果，不是单一的模型简单生成，而是把电影创作中的摄影师导演的运镜技巧，创作经验进行建模和AI化。

再炫的镜头切换，其实都是多智能体协同推理下的合同展现，

空间推理

seedance的实时知识库能够通过推理检索抓出来，同时背后有专门做背景分析的智能体，结合空间建模技术完成画面生成，推断出3D布局。