
上一篇 AI实时交互之Stable Diffusion开坑 是在ComfyUI里进行摄像头实时风格化,用的是低效的通过摄像头存截屏文件,然后以SD图生图的模式不停的生成。
本篇测试,直接把camera捕捉到的像素送给采样器:

要点:
LCM LoRA模型
https://civitai.com/models/195519
插件:ComfyUI_toyxyz_test_nodes
https://github.com/toyxyz/ComfyUI_toyxyz_test_nodes
摄像头像素直接送给采样器
效果:
在ComfyUI预览窗口看不出明显的帧率提升。
后续可以做的:
把文件存取的方式,换成直接读取视频流。
ComfyUI搭建好工作流后,启用API模式。
改用StreamDiffusion。
改用Spout等方式,脱离ComfyUI环境。
源文件获取:
在实验编程社群资源圈子、或Discord里公开分享。详见公众号文章。