我们可以使用Stable-Diffusion-WebUI中的EasyPhto插件实现换脸,整体结果是比较稳定的。
原理
参考github项目的介绍 aigc-apps/sd-webui-EasyPhoto: 📷 EasyPhoto | Your Smart AI Photo Generator. (github.com)
训练
数据:需要准备10张以上的图片
参数:选择合适的模型,亚洲人脸一般是Chilloutmix; batchsize设8或者16; 其他参数默认即可
训练时长:在3090单卡训练小于15分钟
推理
图生图:一张大概需要1.5min, 批次推理没有优化,是序列进行
文生图:原理是先文生图,然后再图生图进行换脸
视频生视频:对视频的每一帧进行换脸,中间用到了animatediff,32帧的视频大概需要10min
例子(杨幂)
数据
换脸结果
例子(詹妮弗·康纳利)
数据
换脸结果