最近Stability公司发布了新的视频生成模型Stable Video Diffusion 1.1，能够把用户提供的静态图片转化为2-4秒的视频。根据Stability的描述，这个模型达到了state-of-the-art(SOTA，当前最优)，并且生成的视频质量比先前的Pika和Runway都要好。

图源: https://stability.ai/news/stable-video-diffusion-open-ai-video-model

下面记录一下我随手测试的结果。先说结论：SVD1.1和SVD1.0相比没有明显变化，在真实图片上的表现更好，但是art和anime的表现就有点幽默了。并且，生成结果和图片本身是否具有“运动趋势”有直接关系。

这是下面排版的顺序

测试1：插画组

图源：Stable Diffusion

SVD1.0 场景景深和空间运动表现合理，人物没有动作

SVD1.1 镜头轨迹更加大胆

图源: Stable Diffusion

SVD1.0 肖像人物生成动作抽搐

SVD1.1 画面中引入了新的随机色块

测试2：赛璐珞

图源: 记忆管理局@火药方糖

SVD1.0 无法正确生成动作

SVD1.1 无法正确生成动作

图源: Nekopara

能够实现follow pan，新入镜的枫有点古神

SVD1.1 镜头还是follow pan, 但是人物存在明显闪烁

测试3：现实照片

图源: 我

SVD1.0 具有运动趋势的照片效果往往比较不错

SVD1.1 布料的褶皱细节变好了

图源: 我

SVD1.0 合成了一段延时摄影

SVD1.1 和1.0没有显著区别

快速总结一下：

1. 可以使用SVD生成GIF，生成手绘动画有些不太现实

2. SVD大部分情况下仅模拟镜头运动，难以对画面中的主体生成动作。

3 SVD的生成效果取决于画面的运动趋势和主体，如果画面本身呈现静态，生成的视频往往效果也不好。

4. SVD在精度、生成长度、可控性上还存在不足。

期待Sora的表现。