【AI音乐保姆级教程】从零到一,小白也能做出媲美真人的 AI 翻唱!
瓦瓦变声器RVC
2026年03月06日 22:16

【RVC 保姆级教程】从零到一,小白也能做出媲美真人的 AI 翻唱!

你是否刷到过懒羊羊唱情歌、蜡笔小新飙 Rap、孙悟空演绎流行曲的 AI 翻唱视频?看似复杂的技术,其实核心都离不开RVC这套工具。

很多小白觉得 AI 翻唱门槛高、要懂代码、需要顶配电脑,实则不然。这篇保姆级教程会把全流程拆解得明明白白,哪怕你是零基础,只要跟着步骤一步步操作,也能做出还原度拉满、媲美真人的 AI 翻唱作品,甚至还能实现游戏直播实时变声。

一、先搞懂:RVC 到底是什么?

RVC 全称Retrieval-based-Voice-Conversion-WebUI,是一款基于 VITS 的开源语音转换框架,也是目前 AI 翻唱、实时变声领域最主流、上手门槛最低的工具。

Retrieval-based-Voice-Conversion-WebUI 目录

它的核心逻辑很简单:通过深度学习学习目标音色的声线特征,再把任意歌曲的原唱人声,无损转换成这个目标音色,同时保留原唱的唱法、节奏和情感。

  • 优势 1:还原度极高,能精准复刻动漫角色、明星、甚至你自己的声线,呼吸感和情感细节都能保留;

  • 优势 2:门槛极低,全程可视化界面操作,不用敲一行代码;

  • 优势 3:玩法丰富,既能做歌曲 AI 翻唱,也能搭配虚拟声卡实现游戏、直播的实时变声;

  • 优势 4:资源丰富,网上有大量现成的高质量模型,不用自己训练也能直接上手。

二、前期准备:硬件、软件、素材一次配齐

(一)硬件要求(小白也能满足)

不用迷信顶配电脑,主流配置就能跑,核心门槛在显卡:

  • 优先推荐:NVIDIA 英伟达显卡(10 系及以上,显存≥4G,推荐 8G 及以上),支持 CUDA 加速,训练和推理速度最快;

  • 兼容方案:AMD 显卡 / 英特尔核显,也能运行,只是速度会慢一些;

  • 系统要求:Windows 10/11,所有软件和文件路径绝对不能有中文、空格和特殊符号,这是小白 90% 报错的根源;

  • 其他:至少 20G 空闲硬盘空间,存放软件、模型和音频素材。

(二)必备软件(3 个核心工具,全流程覆盖)

(三)目标音色数据集准备(训练专属模型的最重要的部分)

如果你想训练自己 / 动漫角色 / 明星的专属音色,就需要准备纯净干声数据集,这直接决定了最终模型的还原度。

  1. 时长要求:总时长 10-15 分钟即可,无需几小时的素材,小白推荐 12 分钟左右;

  2. 内容要求:覆盖目标音色的不同情绪(开心、生气、平静)、不同发音,训练唱歌模型建议加入少量清唱片段;

  1. 质量要求绝对纯净的干声,无背景音乐、无混响、无杂音、无空白片段,单个人声,不能多人声音混在一起;

  1. 获取方式

    • 自己的声音:在安静环境用麦克风录制,朗读 + 清唱,避免喷麦、环境音;

    • 动漫 / 影视角色:从动画、影视片段中剪辑台词,再用 UVR 去除背景音和混响;

  2. 切片要求:把长音频切成 3-10 秒的短片段,保存为 WAV 格式、48000Hz 采样率、单声道,避免过长片段导致训练报错。

三、第一步:用 UVR5.6 搞定人声分离与干声提纯

不管是处理要翻唱的歌曲,还是提纯训练用的数据集,这一步都是重中之重 ——不干净的干声,永远练不出好模型,也做不出好翻唱

软件下载访问模型工坊 mxgf.cc 百款RVC模型,有配套全部工具是免费下载的

(一)UVR 安装与模型配置

  1. 先安装 UVR_v5.5.0_setup.exe 主程序,全程默认路径即可;

  2. 安装 UVR Patch 升级包,升级到 5.6 版本;

  3. 把核心模型文件放入对应文件夹:

    • UVR_MDXNET_Main.onnx → 放入Ultimate Vocal Remover\models\MDX Net Models文件夹;

    • UVR-De-Echo-Aggressive.pth → 放入Ultimate Vocal Remover\models\VR Models文件夹。

(二)歌曲人声 & 伴奏分离(翻唱必备)

我们要翻唱一首歌,首先要把原唱的人声和伴奏完全分开,步骤如下:

  1. 打开 UVR 软件,点击「Select Input」选择你要翻唱的歌曲文件(支持 MP3/FLAC/WAV,不支持加密音乐格式);

  2. 点击「Select Output」选择文件保存路径,建议和原歌曲放在同一个文件夹;

  3. 核心参数设置:

    • 处理方式选择「MDX-Net」,SEGMENT SIZE 填 2144,OVERLAP 填 0.75;

    • 勾选「GPU Conversion」(有独显必勾,速度翻倍);

    • 模型选择「UVR-MDX-NET Main」;

  4. 点击「Start Processing」开始处理,完成后会得到两个文件:

    • 后缀_(Vocals):原唱人声干声,后续用于 RVC 转换;

    • 后缀_(Instrumental):纯伴奏,最终合成用。

(三)干声去混响 & 去噪(训练模型必做)

刚分离的人声、剪辑的角色台词,往往带有混响和环境音,必须进一步提纯:

  1. 重新选择输入音频为上一步得到的人声干声;

  2. 处理方式选择「VR Architecture」,WINDOW SIZE 填 512,AGGRESSION SETTING 填 5;

  3. 模型选择「UVR-De-Echo-Aggressive」,勾选「No Echo Only」;

  4. 点击「Start Processing」,处理后得到的音频,就是无混响、无杂音的纯净干声,可直接用于模型训练。

四、第二步:RVC 模型训练,炼出你的专属音色模型

如果现成模型里没有你想要的音色,就可以自己训练专属模型。全程跟着界面操作,不用懂代码,小白也能轻松完成。

(一)启动 RVC 程序

  1. 解压 RVC 整合包,确保解压路径全英文(比如D:\RVC,不能是D:\AI翻唱\RVC);

  2. N 卡用户双击根目录下的go-web.bat,A 卡用户双击go-web-dml.bat;

  3. 等待黑色命令框运行,不要关闭它!程序会自动弹出浏览器的 WebUI 操作界面,出现Running on local URL就代表启动成功。

(二)训练参数设置(小白照着填,零出错)

点击界面顶部的「训练」选项卡,我们分 4 步完成所有设置。

Step1:填写实验配置

  • 实验名:只能用英文 + 数字,比如SunWukong001、Lanyangyang_v2,绝对不能用中文;

  • 目标采样率:选 48k,和你的数据集采样率保持一致;

  • 模型是否带音高指导必须选 true(唱歌模型一定要开,纯语音可以选 false);

  • 版本:选 v2,效果更好;

  • CPU 线程数:默认即可,和你的 CPU 核心数匹配就行。

Step2a:数据预处理

  • 把准备好的纯净干声数据集,全部放到一个全英文路径的文件夹里(比如D:\RVC\dataset);

  • 复制这个文件夹的路径,粘贴到「输入训练文件夹路径」框里;

  • 其他参数默认,点击「处理数据」;

  • 等待命令框里出现end preprocess,就代表预处理完成,中途不要关闭界面和命令框。

Step2b:特征提取

  • 选择音高提取算法:小白直接选rmvpe,效果最好、速度快,抗噪能力强,是目前的最优解;

  • 显卡卡号:单张显卡填 0,多张显卡按 0-1-2 格式填写;

  • 其他参数默认,点击「特征提取」;

  • 等待命令框里出现all-feature-done,就代表特征提取完成。

Step3:训练设置 & 一键训练

  • 保存频率(save_every_epoch):小白填 20,即每训练 20 轮自动保存一次模型,防止意外中断丢失进度;

  • 总训练轮数(total_epoch):推荐 300 轮,对于小白来说,300 轮完全能出效果,无需盲目增加轮数;

  • 每张显卡的 batch_size:核心参数,直接影响显存占用。8G 显存填 8,6G 填 6,4G 填 2,填太大会直接爆显存报错;

  • 是否仅保存最新的 ckpt 文件:选 “否”,方便中途测试不同轮数的模型效果;

  • 预训练底模路径:整合包会自动填充,小白不用修改;

  • 先点击「训练模型」,等待命令框开始跑训练进度,再点击「训练特征索引」,一键训练就正式启动了。

(三)训练完成 & 模型获取

当命令框里的训练进度达到你设置的总轮数,就代表训练完成了。

  • 你的核心模型文件有两个:.pth模型文件和.index索引文件;

  • 保存路径:RVC根目录\logs\你的实验名文件夹,以及RVC根目录\assets\weights文件夹;

  • 把这两个文件保存好,后续推理、分享都要用到。

五、第三步:歌曲推理,一键生成目标音色翻唱

模型训练好了,或者你下载了现成的模型,这一步就能见证奇迹,把原唱人声转换成你想要的目标音色。

(一)模型加载

  1. 点击 RVC 界面顶部的「模型推理」选项卡;

  2. 点击「刷新音色列表和索引路径」,在下拉菜单里选择你训练好的模型,或者下载的现成模型;

  3. 等待几秒,界面提示模型加载成功即可。

小贴士:不想自己训练的小白,直接去模型工坊(mxgf.cc)下载现成模型,涵盖懒羊羊、蜡笔小新、原神、三国、赛马娘等 600 + 热门角色,把模型文件放到assets\weights文件夹,刷新就能直接用。

(二)核心参数设置(小白照着填,效果拉满)

  1. 输入待处理音频文件路径:粘贴之前用 UVR 分离好的原唱纯净干声路径,也可以直接点击上传文件;

  2. 变调(整数,半音数量):最关键的参数,错了声音会完全失真!

    • 男声转男声 / 女声转女声:填 0;

    • 男声转女声 / 幼态音(懒羊羊、蜡笔小新):填 + 12(升高一个八度);

    • 女声转男声:填 - 12(降低一个八度);

    • 听感不合适,可 ±2 微调,找到最贴合的数值;

  3. 检索特征占比:推荐 0.75,数值越接近 1,音色越像目标人物,太高可能导致咬字不清,0.75 是还原度和清晰度的最佳平衡点;

  4. 保护清辅音和呼吸声:填 0.33,能有效防止电音、声音撕裂,小白不要拉满 0.5,也不要设为 0;

  5. 选择音高提取算法:和训练时保持一致,选rmvpe;

  6. 其他参数:全部默认即可,无需修改。

(三)转换生成 & 效果优化

  1. 所有参数设置好后,点击「转换」按钮,等待进度条跑完;

  2. 转换完成后,点击播放按钮试听效果,不满意就微调参数重新转换:

    • 音色不像目标:提高检索特征占比(0.75→0.85);

    • 有轻微电音:提高保护清辅音数值,重新用 UVR 提纯干声;

    • 声音太闷 / 太尖:微调变调数值,±2 逐步测试;

  3. 效果满意后,点击音频右下角的下载按钮,把转换后的目标音色干声保存到本地。

六、第四步:后期合成,做出最终成品翻唱

转换好的干声,搭配原版伴奏,做简单的后期融合,就是一首完整的 AI 翻唱作品了,小白用剪映就能轻松完成。

简易版(剪映 / 必剪,零门槛)

  1. 打开剪映,新建音频项目,导入原版伴奏和转换后的干声;

  2. 把两个音轨的开头对齐,确保人声和伴奏的节奏完全匹配;

  3. 调整音量比例:推荐人声音量 60%,伴奏音量 50%,避免人声盖过伴奏,或伴奏盖过人声;

  4. 简单优化:给人声轨加一点点「混响」(数值 5-10 即可,不要太大),加轻微的「均衡器」,让人声和伴奏更融合;

  5. 直接导出音频,或搭配画面导出视频,你的 AI 翻唱作品就完成了。

专业版(AU,进阶优化)

  1. 打开 AU,新建多轨会话,把干声和伴奏分别拖入不同轨道,对齐时间轴;

  2. 做人声响度匹配,让人声和伴奏的响度统一;

  3. 加压缩、EQ、混响、延迟等效果器,优化人声的质感和空间感,去除底噪;

  4. 最终做母带处理,导出无损 WAV 格式的成品音频。

七、小白常见问题避坑 & 进阶玩法

(一)90% 小白都会遇到的问题 & 解决办法

  1. 转换后有严重电音、杂音、底噪

    • 原因:数据集 / 原唱干声不干净,有混响、背景音;变调设置错误;保护清辅音数值为 0;

    • 解决:用 UVR 重新提纯干声,修正变调数值,保护值设为 0.33。

  2. 转换后的音色完全不像目标人物

    • 原因:训练轮数太少;检索特征占比太低;数据集质量差 / 数量不足;

    • 解决:增加训练轮数,检索占比调到 0.75-0.85,重新制作纯净的数据集。

  3. 训练时提示 “爆显存”

    • 原因:batch_size 设置太大,其他软件占用了大量显存;

    • 解决:调小 batch_size 数值,关闭电脑里其他占用显存的软件(游戏、剪辑软件、浏览器视频页面)。

  4. 程序启动报错 / 找不到文件

    • 99% 的原因是:软件路径有中文、空格、特殊符号;

    • 解决:把 RVC 和 UVR 重新解压到全英文路径的文件夹里。

(二)进阶玩法拓展

  1. 实时变声:搭配 w-okada 变声器 + VoiceMeeter Banana 虚拟声卡,就能实现游戏、直播的低延迟实时变声,N 卡延迟能压到 100ms 以内,A 卡 300ms 左右;

  2. 多音色融合:用 So-VITS-SVC 4.1 的静态声线融合功能,把多个音色模型合二为一,创造出独一无二的专属声线;

  3. 批量制作:用 RVC 的批量转换功能,一次性转换多首歌曲,高效制作系列翻唱作品。