EchoMimic 介绍

EchoMimic 是由阿里巴巴蚂蚁集团推出的一款开源 AI 数字人项目，它通过先进的深度学习技术，将静态图像转化为具有动态语音和表情的数字人像。

这项技术的核心在于它能够根据音频输入，实时生成与语音同步的口型和面部表情，从而创造出逼真的动态肖像视频。

传统的数字人像生成技术存在诸多限制，如对音频或面部关键点的过度依赖，导致生成的动画不够自然或稳定性不足。

EchoMimic 的诞生正是为了解决这些问题，通过创新的技术手段，提供一种更为自然、流畅的数字人像生成方案。

EchoMimic 用途

EchoMimic 与传统数字人技术的主要区别在于其多模态学习策略和创新的训练方法。

EchoMimic 不仅能够独立使用音频或面部标志点生成动画，还能将两者结合起来，通过音频和面部关键点的双重训练，生成更加逼真和自然的动态肖像。

此外，EchoMimic 还支持多语言，具有跨语言能力和风格多样性，使其能够适应不同的应用场景和用户需求。

EchoMimic 使用（以 SD-WebUI+CosyVoice 为例）

EchoMimic 预训练模型说明

EchoMimic 的必需模型：denoising_unet.pth / reference_unet.pth / motion_module.pth / face_locator.pth 这4个底模及其变种模型

EchoMimic 的扩展模型：sd-vae-ft-mse / sd-image-variations-diffusers / audio_processor

命令行调用（运行 EchoMimic 的 Python 文件）

请自行观看github的官方文档，指路->BadToBest/EchoMimic

图形化界面（启动 EchoMimic 的 WebUI 服务）

无论是自己本地部署的 EchoMimic，还是通过算力平台镜像部署的 EchoMimic，或者其他各种各样方式部署的 EchoMimic。只要最终执行的是 webgui.py 这个 python 文件，那么就会进入这样的界面。

接下来我会依据使用步骤由先到后对此界面进行详细说明：

Step-1：提供 Reference Image，即参考图像，可以点击上传或者拖放。说到图像，欸~☝️🤓，既然我之前已经写过 ComfyUI专栏​，那么这里就用一下 Stable-Diffusion-WebUI 来生成图像

Step-1-1：进入 Stable-Diffusion-WebUI 的 GUI 界面

Step-1-2：随便选择一个 checkpoint，我这里选择的是 AnythingV5

Step-1-3：在文生图选项卡中填写正向提示词、反向提示词

Step-1-4：在 Generation 选项卡中按需调整各参数

Step-1-5：点击生成按钮，等待图像生成

Step-1-6：保存生成的图像或继续生成图像，我这里就直接使用这张了

Step-2：回到 EchoMimic，提供 Input Audio，即数字人的驱动音频，可以点击上传或者拖放。说到音频，欸~☝️🤓，既然刚才用了专栏没写过的，这里就参考我写过的 CosyVoice专栏​ 来生成音频

Step-2-1：进入 CosyVoice 的 GUI 界面

Step-2-2：输入合成文本并选择语速，我这里的文本是为了原创声明

Step-2-3：选择推理模式和预训练音色，我这里选择了预训练音色的推理模式，音色选择中文女

Step-2-4：点击生成音频按钮，等待音频生成

Step-2-5：保存生成的音频或者继续生成音频，我这里就直接使用这段音频了

Step-3：回到 EchoMimic，上传 Stable-Diffusion-WebUI 生成的图像和 CosyVoice 生成的音频

Step-4：在 Configuration 选项卡设置生成参数，我这里保持默认

Step-5：点击 Generate Video 按钮，等待视频生成

生成效果示意图

EchoMimic 视频教程

还没录制，视频估计要迟到一会