二月，我们在SORA上推出了我们的第一个故事；OpenAI刚刚发布了SORA的第一个剪辑，我们把它描述为视频的DALL·E。SORA是一种扩散模型，其生成的视频比任何竞争对手都长得多，且具有更高的凝聚力。通过一次为模型提供多帧的前瞻性，他们解决了一个具有挑战性的问题，即确保主体即使暂时不在视野范围内也保持一致。SORA可以生成完整的视频，一次生成长达一分钟的视频。当时，OpenAI还发布了技术说明，指出它可以（在未来）扩展生成的视频，使其更长或无缝融合两个视频。

帕特里克·塞德伯格

在过去的几周里，几个选定的制作团队获得了有限的机会进入SORA。其中最引人注目的是 害羞的孩子 团队，他们制作了 SORA 短片《 空气的头》。 Sidney Leeder 制作了这部电影。Walter Woodman是编剧和导演，Patrick Cederberg负责后期制作。多伦多团队被戏称为“朋克摇滚皮克斯”，而他们的作品获得了艾美奖提名，并入围了奥斯卡的长名单。本周，我们与帕特里克就SORA的现状进行了长时间的交谈。

https://www.youtube.com/watch?v=9oryIMNVtto&t=1s

Shy Kids是一家加拿大制作公司，以其不拘一格和创新的媒体制作方法而闻名。作为一个来自电影、音乐和电视等不同学科的创意团队，Shy Kids以其独特的叙事风格和引人入胜的内容获得了广泛的认可。该公司经常探索青春期，社交焦虑和现代生活的复杂性，同时保持一个独特的异想天开和衷心的基调。他们的作品展示了他们对视觉叙事的敏锐眼光，并经常以原创音乐的强烈融合为特色，使他们的作品引起共鸣并令人难忘。Shy Kids通过拥抱新的人工智能技术和创造力，成功地开拓了一个利基市场，推动了什么是可能的。

24年4月中旬。

SORA 正在开发中，通过 Shy Kids 等团队的反馈，正在积极改进，但以下是它 目前 的工作方式。重要的是要认识到SORA是有效的几乎前阿尔法。还没有发布，也不是在测试阶段。

“和它一起玩非常有趣，”帕特里克评论道。“这是一个非常，非常强大的工具，我们已经梦想的所有方式，它可以插槽到我们现有的进程。但我认为对于任何生成式人工智能工具来说，控制仍然是最令人向往的，同时也是目前最难以捉摸的。”

https://www.youtube.com/watch?v=KFzXwBZgB88&t=99s

用户界面

用户界面允许艺术家输入文本提示；OpenAI的ChatGPT然后将其转换为更长的字符串，从而触发剪辑生成。目前，没有其他投入；它还有待于多式联运。这一点很重要，因为虽然SORA在一次拍摄中因其物体一致性而得到正确的称赞，但在第二次拍摄中没有任何帮助使第一次拍摄匹配任何东西。即使您第二次运行相同的提示符，结果也会不同。“我们能得到的最接近的就是在我们的提示中过度描述，”帕特里克解释道。“解释角色的服装，以及气球的类型，是我们解决一致性问题的方式，因为从一个镜头到另一个镜头/从一代到一代，还没有一套功能来完全控制一致性。”

每一个剪辑都是非凡的，它们所代表的技术令人瞠目结舌，但剪辑的使用取决于你对隐式或显式镜头生成的理解。假设你向SORA要一张在厨房桌子上放着香蕉的长镜头。在这种情况下，它将依靠它对“香蕉性”的隐含理解来生成一个展示香蕉的视频。通过训练数据，它“学习”了香蕉的隐性特征：如“黄色”、“弯曲”、“有黑边”等。它没有香蕉的实际记录图像。它没有“香蕉库存图书馆”数据库；它有一个更小的压缩的隐藏空间或“隐藏空间”，说明香蕉是什么。每运行一次，它就显示出对那个潜在空间的另一种解释。你的及时回复暗示了对香蕉的理解。

促使桑尼做出正确的选择

对于 空气头 ，场景是通过一个近似脚本生成多个片段来制作的，但是没有明确的方法让实际的黄色气球头从一个镜头到另一个镜头保持相同。有时，当团队提示一个黄色气球时，它甚至不会是黄色的。其他时候，它有一张脸嵌入其中或一张脸似乎画在气球的前面。很多气球都有绳子，通常是 空气头 的字符绰号桑尼，气球家伙，会有一个字符的衬衫前面的字符串。因为它隐式地将字符串与气球链接起来，因此这些将需要在post中删除。

气球上不需要的面，来自原始SORA输出。

解决

Air Head仅使用 SORA 生成的镜头，但大部分都经过分级、处理和稳定，所有的都被升级或升级。该团队使用的剪辑是以较低的分辨率生成的，然后使用SORA或OpenAI之外的AI工具进行更新。Patrick解释说:"您可以执行高达720P（分辨率）的操作。"“我相信有一个1080功能是出来的，但它需要一段时间（渲染）。我们做了所有空头480 的速度和然后直立借助Topaz。"

提示“时间”：老虎机。

原始提示会自动展开，但也会显示在时间线上。“你可以进入那些较大的关键帧，根据你想要生成的变化开始调整信息。”帕里克解释说，“对于这些不同的动作在实际生成中发生的位置有一点临时控制，但并不精确...这是一种在黑暗中拍摄-就像一个老虎机-至于它是否实际上完成这些事情在这一点上。”当然，Shy Kids正在研究最早的原型，SORA仍然在不断地研究。

除了选择分辨率外，SORA还允许用户选择宽高比，例如纵向或横向（或正方形）。这在拍摄从桑尼的牛仔裤到他的气球头的镜头时派上了用场。不幸的是，SORA不会自然地呈现这样一个动作，总是希望镜头的主要焦点——气球头——在镜头中。所以团队在人像模式下渲染了这张照片，然后手动地，通过裁剪，在后期创建了全景图。

提示摄像机方向

对于许多genAI工具，一个有价值的信息来源是训练数据附带的元数据，如相机元数据。例如，如果您在静止照片上训练，相机元数据将提供镜头尺寸、f-stop和许多其他用于训练模型的关键信息。在电影镜头中，“跟踪”、“平移”、“倾斜”或“推进”等概念都不是元数据捕捉到的术语或概念。正如物体恒存性对镜头制作至关重要一样，能够描述一个镜头也是如此，Patrick注意到SORA最初并没有做到这一点。“九个不同的人会有九个不同的想法，如何描述一个在片场的镜头。而（OpenAI）的研究人员，在他们接触艺术家使用这个工具之前，并没有真正像电影制片人那样思考。”Shy Kids知道他们很早就开始接触了，但“最初关于摄像机角度的版本是随机的。”至于SORA是否真的会注册这个提示请求或理解它，我们不得而知，因为研究人员刚刚把注意力集中在了图像生成上。害羞的孩子们几乎被OpenAI对这个请求的惊讶程度所震惊。“但我想，当你在筒仓里只是作为研究人员，而不考虑如何讲故事的人将使用它......SORA正在改善，但我仍然要说的控制是不完全有。你可以放一个“相机镜头”，我想10次中有6次你会得到它。”这不是一个独特的问题，几乎所有主要的视频genAI公司都面临着同样的问题。 跑道人工智能 也许是最先进的，在提供一

个用户界面来描述相机的运动，但跑道的质量和长度渲染剪辑不如 SORA 。

渲染时间

剪辑可以在不同的时间段中呈现，例如3秒、5秒、10秒、20秒，最多一分钟。渲染时间取决于一天中的时间和对云使用的需求。“一般来说，每次渲染大约需要10到20分钟，”帕特里克回忆道。“根据我的经验，我选择渲染的持续时间对渲染时间有很小的影响。如果是3到20秒，渲染时间往往不会在10到20分钟之间变化太大。我们通常会这样做，因为如果你有完整的20秒，你希望你有更多的机会切片/编辑的东西出来，增加你的机会，得到一些看起来不错的东西。”

罗托

虽然所有的图像都是在SORA中生成的，但气球仍然需要大量的后期工作。除了分离气球，使它可以重新着色，它有时会有一个桑尼的脸，就像他的脸是用马克笔画上的，这将在AfterEffects中删除。类似的其他文物经常被移走。

SORA原创片段

编辑300:1的拍摄比例

《害羞的孩子》的方法是像纪录片一样进行后期制作和编辑，有大量的镜头，你可以从这些素材中编织一个故事，而不是严格地按照剧本拍摄。短片是有剧本的，但团队需要敏捷和适应。帕特里克回忆说：“这只是拍了一大堆照片，并试图以一种有趣的方式把它剪成VO。”

对于最终出现在电影中的一分半钟的镜头，Patrick估计他们“以10到20秒一段的速度产生了数百代”。他补充说，“我的数学不好，但我猜原始材料和最终进入决赛的材料的比例大概是300:1。”

合并多次拍摄和重新计时

在 空气头 上，团队没有完成多个拍摄。例如，气球在赛车场上空飘过的镜头都是在一个镜头中产生的，几乎和所看到的一样。然而，他们正在研究一种新的电影，混合和复合多个镜头到一个剪辑。

有趣的是，许多 空气头 剪辑都是以慢动作拍摄的方式生成的，而在提示中却没有要求这样做。这种情况发生的原因不明，所以许多剪辑不得不重新计时，以显示已经实时拍摄。显然，这比减慢快速运动的反向操作更容易做到，但是，从训练数据中推断出来似乎是一个奇怪的方面。“我不知道为什么，但它确实看起来像很多剪辑在50%至75%的速度，”他补充说。“所以有相当多的时间调整，以避免让人觉得这是一个大型的慢动作项目。”

照明和分级

Shy Kids 在他们的提示中使用了“ 35 毫米胶片 ”这个词作为关键词，他们发现 35 毫米 的提示提供了他们所寻求的一致性。“如果我们需要一个高对比度，我们可以说 高对比 ，说 关键照明 通常会给我们一些接近的东西，”帕特里克说。“我们仍然需要通过一个完整的颜色等级，我们做了我们自己的数字电影的外观，在那里我们应用颗粒和闪烁只是某种程度上融合在一起。”没有附加通道的选项，如遮罩或深度通道。

版权

OpenAI试图保持尊重，不允许出现侵犯版权的材料，也不允许出现假冒他人的图像。例如，如果你提示 未来宇宙飞船中的 35mm 胶片、一个人手持光剑向前走， SORA 就不允许生成剪辑，因为它太接近 星球大战 了。但是害羞的孩子们在早期测试时不小心碰到了这个。帕特里克回忆说，当他们最初坐下来，只是想测试SORA时，“我们在角色背后拍了一个镜头；有点像阿罗诺夫斯基的后续镜头。我想这只是我愚蠢的大脑，因为我很累，但是我投了“阿罗诺夫斯基式的子弹”，结果被打了一个 不能这样做 的。”他回忆说。 Hitchcock Zoom 是另一件事，它现在是通过渗透，一个技术术语出现的，但是SORA会拒绝版权提示。

声音

害羞的孩子除了视觉技能外，还以他们的音频技能而闻名。短片中的音乐是他们自己的。“这是一首我们几乎马上就决定选的歌，因为这首歌叫《 风》， ”帕特里克说。“我们都只是喜欢而已。”

帕特里克本人就是桑尼的代言人。“有时候我们会觉得这部电影需要再拍一次。所以我会写另一行，记录它，然后想出更多的SORA代，这是文章中对这个工具的另一种强有力的使用：当你在角落里，你需要填补一个空白，这是一个很好的方式开始头脑风暴，只是吐出剪辑，看看你可以用什么来解决节奏问题。”

总结

SORA 是非凡的；害羞的孩子团队制作了 空头 和一支 3 人的团队在1.5到 2 周内完成。该团队已经在制作一部精彩的、有自知之明的、或许还带有讽刺意味的续集。“接下来是对气球人桑尼的一种新闻处理方式，以及他对成名的反应，以及随后与世界的关系。”帕特里克说。“我们正在探索新的技术！”该团队希望在他们的实验中有更多的技术，将SORA元素的AE合成到真实的实景镜头中，并使用SORA作为补充的VFX工具。

SORA是非常新的，甚至OpenAI为SORA勾画和演示的基本框架也还没有供早期测试使用。目前形式的SORA能否在短期内发布是值得怀疑的，但在特定类型的隐式图像生成方面，这是一个令人难以置信的进步。对于高端项目，它可能是一段时间之前，它允许的具体水平，一个导演要求。 空气头牌 仍然需要大量的编辑和人力指导来制作这个引人入胜和有趣的故事电影。“我只是觉得人们必须把SORA作为他们过程中真实的一部分；然而，如果他们不想参与任何类似的事情，那也没关系。”