AI交互之SD03-摄像头实时风格化StreamDiffusion版
实验编程
编辑于 2024年05月05日 21:05
收录于文集
共5篇
实验编程AI与交互

上两篇是在ComfyUI里进行摄像头实时风格化,优点是画面效果调节方便,缺点是LCM速率差一些。

AI实时交互之Stable Diffusion开坑​

AI交互之SD 02 - 摄像头实时风格化​

本篇测试StreamDiffusion。

用的是StreamDiffusion原版,安装过程follow它Github上的指引即可。

https://github.com/cumulo-autumn/StreamDiffusion

市面上也有几个集成入ComfyUI的版本:

  • https://github.com/jesenzhang/ComfyUI_StreamDiffusion

  • https://github.com/Limitex/ComfyUI-Diffusers

本篇效果:

https://www.bilibili.com/video/BV1WJ4m1n72A/​

本篇要点:

  • StreamDiffusion原版

    • https://github.com/cumulo-autumn/StreamDiffusion

    • 安装过程需要耐心。

    • 模型、参数的设置,原版用的是Diffusers接口。

  • 模型使用SD Turbo

    • https://huggingface.co/stabilityai/sd-turbo

StreamDiffusion(SD Turbo)的方案,明显比之前LCM的更要高效,看起来实时性已经堪用了。

后续可以做的:

  • 把文件存取的方式,换成直接读取视频流。

  • ComfyUI搭建好工作流后,启用API模式。

  • 改用StreamDiffusion。

  • 尝试StreamDiffusion方案下的模型参数优化。

  • 改用Spout等方式,脱离ComfyUI环境。

更多本系列:

AI实时交互之Stable Diffusion开坑​

AI交互之SD 02 - 摄像头实时风格化​