上两篇是在ComfyUI里进行摄像头实时风格化,优点是画面效果调节方便,缺点是LCM速率差一些。
本篇测试StreamDiffusion。

用的是StreamDiffusion原版,安装过程follow它Github上的指引即可。
https://github.com/cumulo-autumn/StreamDiffusion


市面上也有几个集成入ComfyUI的版本:
https://github.com/jesenzhang/ComfyUI_StreamDiffusion
https://github.com/Limitex/ComfyUI-Diffusers
本篇效果:
https://www.bilibili.com/video/BV1WJ4m1n72A/
本篇要点:
StreamDiffusion原版
https://github.com/cumulo-autumn/StreamDiffusion
安装过程需要耐心。
模型、参数的设置,原版用的是Diffusers接口。
模型使用SD Turbo
https://huggingface.co/stabilityai/sd-turbo
StreamDiffusion(SD Turbo)的方案,明显比之前LCM的更要高效,看起来实时性已经堪用了。
后续可以做的:
把文件存取的方式,换成直接读取视频流。
ComfyUI搭建好工作流后,启用API模式。
改用StreamDiffusion。
尝试StreamDiffusion方案下的模型参数优化。
改用Spout等方式,脱离ComfyUI环境。
更多本系列: