整体上,它不是单纯“点一下生成”,而是一个 准备环境 → 选择工作流 → 参数设置 → 生成视频 → 后处理优化 → 多段拼接复用 的流程。原文明确提到 ComfyUI 模板里有两条主线:文生视频(Text to Video) 和 图生视频(Image to Video),且作者更推荐后者,因为一致性更强、漂移更少。
先确保可以运行 ComfyUI。若本地没有装好,可以先完成 ComfyUI 安装;如果本地部署麻烦,也可以直接用在线版。进入 ComfyUI 后,在模板浏览里搜索 LTX 2.3,会看到两个官方工作流模板:
Text to Video
Image to Video
第一次打开时,需要先下载缺失模型。
这里有两个分支:
A. 文生视频路线
适合直接从文字描述生成视频
但模板里依然要求上传一张图片,即使这张图和目标内容无关也可以
B. 图生视频路线
先准备一张输入图,再让模型把静态图扩展成动态视频
作者更偏向这条路线,因为它给模型一个更稳的起点,主体更稳定,场景不容易漂移,文字内容也更不容易崩坏。
文中提到可选两类模型:
FP8 版本:默认选择,较轻,适合多数本地显卡
主模型(更大):质量更高,但更吃显存
原文给出的经验是:高质量版本大致需要 至少 32GB 显存;作者使用 RTX 5090 32GB,可跑 1080p 甚至 4K 的 FP8 版本。若追求速度,更建议先跑 720p 或更低分辨率,再用 Topaz Video 之类工具做后期放大。
默认帧数为 121 帧,在 24fps 下约等于 5 秒。
作者实测可做到大约 481 帧,即约 20 秒 视频。
这条流程可以整理成:
打开 Text to Video 模板 → 下载缺失模型 → 上传任意图片 → 选模型版本 → 设定帧数/分辨率 → 填写提示词 → 点击运行 → 检查视频与音频结果
其中提示词不只是写画面内容,还可以写:
主体
场景环境
动作运动
对白
音效
环境声
音乐
因为 LTX 2.3 支持 内置音频生成,这是它相对早期版本比较重要的升级点。文中还提到,生成速度很快,单条视频可在几分钟内完成。
虽然模型可以直接生成人声和音频,但有一个明显短板:
声音是随机生成的
不能直接上传自己的声音进行控制
所以原文给出的补充流程是:
LTX 生成视频 → 导入 Higgsfield Audio → 替换成预设音色或自定义音色 → 保留原对白内容 → 输出统一声音版本
这样做的作用有三点:
多个片段之间保持人物声音一致
可将声音替换成自己的角色音色
可做多语言配音或旁白补充
所以,严格来说,LTX 2.3 的“音频能力”更适合做 初稿生成,而不是最终声音定稿。
这是文中更推荐的主流程,可以整理为:
准备高质量参考图 → 打开 Image to Video 模板 → 下载缺失模型 → 上传输入图 → 选择模型版本与分辨率/帧数 → 输入运动/镜头/氛围提示词 → 生成视频 → 检查主体一致性 → 必要时做声音替换与分辨率增强
这条流程的优势在于:
因为模型不是凭空起视频,而是基于一张已有图像延展,所以人物、产品、场景更容易保持一致。
文中明确指出,图生视频有更强的“基础约束”,整体画面不会像纯文生那样更容易跑偏。
例如产品包装、标签、UGC 内容中的固定元素,图生视频更容易维持,不容易几秒后就崩掉。
原文不只是讲单条视频生成,也隐含了一套 短片/连续镜头制作流程:
可先准备多张角色统一、风格一致的关键帧图。
每张图单独生成一个镜头片段。
例如:
推拉摇移
光线氛围
角色动作
情绪变化
这样可以构建更 coherent 的故事流,而不是指望一条长视频一次性完美产出。
结合全文,作者实际推荐的不是“直接文生一个最终成片”,而是下面这条更稳的链路:
高质量参考图准备 → Image to Video 生成动态片段 → Higgsfield Audio 替换/统一声音 → Topaz 等工具做分辨率增强 → 多镜头剪辑成片
也就是说,LTX 2.3 更适合放在一个组合式工作流中,承担:
快速视频生成
带音频初稿生成
镜头级别片段生产
而不是独立包办所有最终成片工作。
文中也明确点出几个实际问题:
并不是每次都能一次生成完美结果,仍然会出现奇怪的姿态或不符合物理规律的变形。
虽然比以前有改进,但画面里的文字依旧可能拼错、扭曲、崩坏。
可生成人声,但不能直接指定固定角色音色,需要后处理弥补。
可以概括为:
在 ComfyUI 中调用 LTX 2.3 模板,优先采用图生视频流程,以参考图稳定主体与场景;通过文字提示控制动作、镜头、对白与音效,生成带音频的视频初稿;再结合外部工具完成声音统一、画质增强和多镜头拼接,最终形成可用成片。