2026最佳AI视频模型 LTX 2.3 ComfyUI使用教程
王走运lucky
2026年03月23日 22:23

整体上,它不是单纯“点一下生成”,而是一个 准备环境 → 选择工作流 → 参数设置 → 生成视频 → 后处理优化 → 多段拼接复用 的流程。原文明确提到 ComfyUI 模板里有两条主线:文生视频(Text to Video)图生视频(Image to Video),且作者更推荐后者,因为一致性更强、漂移更少。

一、整体流程框架

1)环境准备

先确保可以运行 ComfyUI。若本地没有装好,可以先完成 ComfyUI 安装;如果本地部署麻烦,也可以直接用在线版。进入 ComfyUI 后,在模板浏览里搜索 LTX 2.3,会看到两个官方工作流模板:

  • Text to Video

  • Image to Video

第一次打开时,需要先下载缺失模型。

2)选择生成路线

这里有两个分支:

A. 文生视频路线

  • 适合直接从文字描述生成视频

  • 但模板里依然要求上传一张图片,即使这张图和目标内容无关也可以

B. 图生视频路线

  • 先准备一张输入图,再让模型把静态图扩展成动态视频

  • 作者更偏向这条路线,因为它给模型一个更稳的起点,主体更稳定,场景不容易漂移,文字内容也更不容易崩坏。

二、参数与资源配置流程

1)模型版本选择

文中提到可选两类模型:

  • FP8 版本:默认选择,较轻,适合多数本地显卡

  • 主模型(更大):质量更高,但更吃显存

原文给出的经验是:高质量版本大致需要 至少 32GB 显存;作者使用 RTX 5090 32GB,可跑 1080p 甚至 4K 的 FP8 版本。若追求速度,更建议先跑 720p 或更低分辨率,再用 Topaz Video 之类工具做后期放大。

2)时长与帧数设置

默认帧数为 121 帧,在 24fps 下约等于 5 秒

作者实测可做到大约 481 帧,即约 20 秒 视频。

三、文生视频工作流程

这条流程可以整理成:

打开 Text to Video 模板 → 下载缺失模型 → 上传任意图片 → 选模型版本 → 设定帧数/分辨率 → 填写提示词 → 点击运行 → 检查视频与音频结果

其中提示词不只是写画面内容,还可以写:

  • 主体

  • 场景环境

  • 动作运动

  • 对白

  • 音效

  • 环境声

  • 音乐

因为 LTX 2.3 支持 内置音频生成,这是它相对早期版本比较重要的升级点。文中还提到,生成速度很快,单条视频可在几分钟内完成。

四、音频后处理流程

虽然模型可以直接生成人声和音频,但有一个明显短板:

  • 声音是随机生成的

  • 不能直接上传自己的声音进行控制

所以原文给出的补充流程是:

LTX 生成视频 → 导入 Higgsfield Audio → 替换成预设音色或自定义音色 → 保留原对白内容 → 输出统一声音版本

这样做的作用有三点:

  1. 多个片段之间保持人物声音一致

  2. 可将声音替换成自己的角色音色

  3. 可做多语言配音或旁白补充

所以,严格来说,LTX 2.3 的“音频能力”更适合做 初稿生成,而不是最终声音定稿。

五、图生视频工作流程

这是文中更推荐的主流程,可以整理为:

准备高质量参考图 → 打开 Image to Video 模板 → 下载缺失模型 → 上传输入图 → 选择模型版本与分辨率/帧数 → 输入运动/镜头/氛围提示词 → 生成视频 → 检查主体一致性 → 必要时做声音替换与分辨率增强

这条流程的优势在于:

1)主体更稳定

因为模型不是凭空起视频,而是基于一张已有图像延展,所以人物、产品、场景更容易保持一致。

2)场景漂移更少

文中明确指出,图生视频有更强的“基础约束”,整体画面不会像纯文生那样更容易跑偏。

3)带文字内容时更可靠

例如产品包装、标签、UGC 内容中的固定元素,图生视频更容易维持,不容易几秒后就崩掉。

六、扩展成完整项目的生产流程

原文不只是讲单条视频生成,也隐含了一套 短片/连续镜头制作流程

1)先生成多张一致性角色图

可先准备多张角色统一、风格一致的关键帧图。

2)逐张送入 Image to Video

每张图单独生成一个镜头片段。

3)用提示词控制镜头语言

例如:

  • 推拉摇移

  • 光线氛围

  • 角色动作

  • 情绪变化

4)多片段拼接成完整叙事

这样可以构建更 coherent 的故事流,而不是指望一条长视频一次性完美产出。

七、作者隐含的推荐工作法

结合全文,作者实际推荐的不是“直接文生一个最终成片”,而是下面这条更稳的链路:

高质量参考图准备 → Image to Video 生成动态片段 → Higgsfield Audio 替换/统一声音 → Topaz 等工具做分辨率增强 → 多镜头剪辑成片

也就是说,LTX 2.3 更适合放在一个组合式工作流中,承担:

  • 快速视频生成

  • 带音频初稿生成

  • 镜头级别片段生产

而不是独立包办所有最终成片工作。

八、流程中的关键限制点

文中也明确点出几个实际问题:

1)首轮命中率不稳定

并不是每次都能一次生成完美结果,仍然会出现奇怪的姿态或不符合物理规律的变形。

2)文字生成仍不完美

虽然比以前有改进,但画面里的文字依旧可能拼错、扭曲、崩坏。

3)声音可控性不足

可生成人声,但不能直接指定固定角色音色,需要后处理弥补。

九、整理成一句话的工作流程

可以概括为:

在 ComfyUI 中调用 LTX 2.3 模板,优先采用图生视频流程,以参考图稳定主体与场景;通过文字提示控制动作、镜头、对白与音效,生成带音频的视频初稿;再结合外部工具完成声音统一、画质增强和多镜头拼接,最终形成可用成片。