

最近 AI 翻唱在 B 站太火了。
随便刷几条,播放量轻松破百万。评论区永远有两拨人在对峙:一拨说"这技术真的成熟了",另一拨说"AI 味太冲一耳朵就听出来"。
我属于第三种——听完以后,手痒了。
这篇文章记录我从完全不懂到整出第一首 AI 翻唱的全过程。不讲玄学,只讲流程,以及每一步我实际踩过的坑。

正式动手之前,花两分钟把最核心的概念理清楚,后面的操作才不会一头雾水:
干声(Dry Vocal):一首歌里只有人声,没有任何乐器、没有任何混响后期,干净得像录音棚里对着麦克风唱的那条音轨
伴奏(Instrumental):去掉人声之后剩下的音乐部分,没有唱,只有编曲和节奏
混音(Remix):把拆开的轨道重新组合,可以调整音量、加效果、改变音色
整个 AI 翻唱的技术链路:
原曲MP3
↓ 人声分离 → 干声 + 伴奏
↓ 声音转换 → AI音色干声
↓ 混音合并 → 成品AI翻唱
工具我选 MSST-WebUI
不是什么名字新就用什么,而是它现在确实更稳。GitHub 1k stars,2026年3月23日还有更新,支持 BS-Roformer、BS-HyperACE v2 等新模型,对复杂编曲的分离效果比传统方案好很多。
如果只是想快速试一下流程不想配环境,UVR 下载 exe 双击就能跑,上手最简单。
我的操作顺序(供参考):
先准备原始音频文件,优先用正式发行版,不建议用现场版或手机录屏
打开 MSST-WebUI,选 BS-HyperACE v2,设置输出目录
先跑默认参数,不要一上来乱改设置
跑完先单独试听两条输出:人声听有没有残留伴奏,伴奏听主唱有没有幽灵残留
如果不理想,有针对性地换模型重跑,不要直接推翻重来
我自己踩过的坑:
BS-HyperACE 效果确实好,但速度比 Demucs 慢,3060 跑一首4分钟的歌大约1-2分钟
分离出来的人声带一点残留伴奏是正常的,只要不明显影响主唱辨识度,后面还能修
不要一上来追求"绝对纯净",先确认流程能跑通比卡在人声分离这一步反复微调更重要
最终输出: 原曲_vocals.wav(干声)和 原曲_instrumental.wav(伴奏)
这一步是整个流程里最费时间、也最不能省的。
参考音频的质量直接决定后面转换出来的"像不像"。标准:
尽量干净,少混响少噪音少背景音乐
时长3-5分钟,信息量够
同一人的多种情绪状态比单一片段更有用
连续的30秒到1分钟,比东拼西凑的十几段3秒短片有用得多
不要做的事:
今天想做歌手A,导到一半又换歌手B,结果素材收了一堆没一份真正能用
找"最像"的片段而不是"最干净"的片段,模型不需要你帮它找重点
把原始下载素材和裁剪后的版本混在一起,后面自己把自己搞乱
我自己这次偷懒,用的是自己清唱录的几段,足够干净,也方便对比"AI学我的声音到底学到了多少"。
这是最核心的一步。前两步做完,你手里有干声和目标声音参考,现在让模型把干声"唱"成目标音色的声音。
主推:HQ-SVC
AAAI 2026 论文开源实现,零样本技术,不需要为每个目标声音单独训练模型,给一段参考音频就能直接转换。对于先跑通流程的我来说,门槛最低。
我的操作顺序:
先把输入文件整理好,源干声和目标参考各放一个文件夹,文件名写清楚
先用一条最稳的参考音频跑首版,不要一上来就混很多素材
先跑默认或推荐参数,重点听"方向对不对",不是"参数对不对"
重点检查:主歌低音区是否发虚、副歌高音区是否发尖、换气处有没有机械感
如果结果"不像",先检查参考素材,不要第一反应怪工具
3060上跑一首4分钟的歌大约2-3分钟。首版出来方向通常已经对了,但气口自然度和细节层次距离商用方案还有差距——这是目前所有开源路线的共性。
遇到困难怎么办
HQ-SVC 需要 Linux 或 WSL,Windows 用户有已知的 segfault workaround。如果部署卡住了,或者你更想训练自己的专属声音模型,备用方案是 voice-changer(19.9k stars)或 Applio(3.1k stars),RVC 路线,更成熟,教程更多。
另外,So-VITS-SVC 已在2026年归档,不再推荐使用。
前三步做完,你有一条新的AI干声和原来的伴奏。最后一步是让它们听起来像一首完整的歌,而不是一条孤零零贴在伴奏上的音频。
工具:Audacity,免费,够用。
我的处理顺序:
先把AI干声和伴奏同时导入,第一件事是确认两条音轨从头到尾对齐
先调音量关系,再加效果——歌词能听清,但人声不要整个压在伴奏脸上
给AI干声加一个克制的混响,让它别显得像贴在你耳边干唱
用 EQ 稍微切低频让声音更干净;如果齿音刺耳再针对高频做修整
整首从头听到尾,只挑问题段落修,不要全程来回盯着波形看
全套下来大约10分钟。不是因为我调得多专业,而是前面几步如果做得扎实,这一步真的不需要过度神化。
整条流程跑完大约花了5分钟出核心素材,加上10分钟左右做后期。
零样本模式下,音色方向已经挺接近目标参考了,只是气口自然度和情感层次距离成熟商用方案还有差距。这个落差要提前有预期,这样你第一次做出来时反而更容易判断问题到底出在哪一步。
真正让我上头的不是"这首歌有多好",而是亲手跑通之后一下子看清了流程的感觉。
做到这里很多人会想更进一步:不只是换声音,而是换风格。
中文歌改 R&B 之所以常见,是因为反差够大,容易出圈。R&B 的转音、滑音、切分节奏、反拍重音嫁接到熟悉的中文旋律里,会形成"既熟又陌生"的听感。
核心工具不变,只是在第四步混音时往 R&B 的方向调:节奏往反拍移动,加 Bassline 层次,用 EQ 做出温暖感。
唱腔适配是难点,中文咬字是单音节,英文 R&B 的转音技巧直接套用会奇怪,保留旋律骨架、在换气位置手动调整是目前的常见做法,没有工具能完全自动完成。
AI 翻唱的版权问题目前仍在法律灰色地带。B站相对宽松,但前提是不以盈利为目的;抖音、快手管控更严,直接发 AI 翻唱有被限流或下架的风险。
建议仅供个人娱乐和研究使用,发出去之前自己评估。
你们做 AI 翻唱时,最头疼的是哪一步?评论区聊聊。