AI交互之SD 02 - 摄像头实时风格化
实验编程
2024年04月22日 22:55
收录于文集
共5篇
实验编程AI与交互

上一篇 AI实时交互之Stable Diffusion开坑​ 是在ComfyUI里进行摄像头实时风格化,用的是低效的通过摄像头存截屏文件,然后以SD图生图的模式不停的生成。

本篇测试,直接把camera捕捉到的像素送给采样器:

要点:

  • LCM LoRA模型

  • https://civitai.com/models/195519

  • 插件:ComfyUI_toyxyz_test_nodes

  • https://github.com/toyxyz/ComfyUI_toyxyz_test_nodes

  • 摄像头像素直接送给采样器

效果:

AI交互之SD 02 - 摄像头实时风格化​

在ComfyUI预览窗口看不出明显的帧率提升。

后续可以做的:

  • 把文件存取的方式,换成直接读取视频流。

  • ComfyUI搭建好工作流后,启用API模式。

  • 改用StreamDiffusion。

  • 改用Spout等方式,脱离ComfyUI环境。

源文件获取:

在实验编程社群资源圈子、或Discord里公开分享。详见公众号文章。