1.可以省去重复挑选音节的时间,也避免了不同人听出来的发音差异,人力容易融入个人的发声习惯。
2.训练出来的模型可重复利用和迭代升级。
3.可以避免音频素材缺少相关音节的问题,虽然可以通过元辅音构成的方式进行拼字,但是像ARounder_的人力教程还是太吃熟练度了。
4.打破utau无相关声库的限制,这个我会在下面工作流解说部分,详细说明原因。跨语种0难度。
5.可以以原唱/翻唱为母本进行ai翻唱以适应一些需要唱歌无机械感的创作环境。
6.比较展望的角度来说,ai目前还在发展,未来可期。
1.存在一定程度上的创作道德质疑,这个是一个主观的问题。
2.比较吃硬盘空间,打军体拳(各种软件形成工作流的意思)的情况很严重,需要按照实际情况使用不同的模型和软件。
3.相对于传统拼字来说,工作强度并没有减少很多,相比于找音节,处理训练样本所需要的精力一点不比传统拼字方法要低,特别是新推出的HiFiShifter集成了Vages拼字和vhs调音的工作流,拼字的难度大大降低。比麦乐迪适用性更广。
4.生成的音频结果不一致,这个是ai生成的通病了,遇到两段生成的音频,好的前半段和好的后半段通常往往无法直接接合,因为发声的音调和响度都不相同,甚至还有音色不同的问题。
5.十分依赖样本效果,训练样本音频时长,人声纯净度对模型效果有影响,翻唱目标音频如果无法很好去除混响也是极易造成哑音,撕裂音乐的情况。
6.无法拼出特色台词,就按哲学为例,boy next door这些特色人力基本很难和ai人力结合。
7.一些仍需探索发现的问题。
比较下来,总体来说,除了能唱出人味和跨语种0难度之外,ai人力并没有多大优点,目前来看只是多提供了一种制作人力的方式。个人看来ai人力是有发展潜力的,不过仍需等待更好的模型。
所用到的模型和软件:
1.RVC1006Nvidia (翻唱)
2.MSST 干声分离模型 (主要用于去混响)
3.UVR (用于提取纯人声)
4.Vegas (排布训练样本)
5.fl (输出结果的后处理)
6.SV5 (制作翻唱样本,可有可无)
第一步,收集你所需要的音频素材,在Vages进行编排,时长最好超过15分钟(素材量太少会导致后续训练模型失败)
第二步,将编排导出之后的音频拖进UVR进行人声提取,要注意有没有没清除干净的伴奏,如果有就重新提取,人声如果有混响则进入第三步,没有则跳过。
第三步,在MSST模型进行去混响处理。
第四步,在RVC进行模型训练,低精度模型一般设置100个训练回,一般够用。
第五步,制作翻唱目标,如果是自己填词则需要用到SV5选取合适的声库进行调教,SV5有特殊算法,歌词效果比utau好。(回答前面的问题,因为这一个步骤,sv5等软件可以作为翻唱目标,所以突破了声库限制,你只需找出最契合自己相关的声库调教好进行ai翻唱即可)
有配布可以选择使用,省去调教时间。通过让声库有一定的嘶哑声,可以后续让模型拟合出有拼字效果的人声。
我的制作的2026铃宵宴合作结尾,东方素材的白虎野の娘,似是故人来就是用了这种方法。
当然如果你想ai翻唱人声,则需要重复上面第一、二、三的步骤进行被翻唱的人声处理。
第六步,就是导入翻唱目标让训练好的模型进行拟合,挑选出最满意的几段音频。
第七步,在fl进行后处理。
我目前翻唱的工作流就是这样。
当初的midi争论就很适合作为比喻,只要你能产出有自己心血的作品,没人会指责你用什么方法表达,大家都不喜欢低质且没有灵魂的内容。创作道德谴责的目标永远是视频背后的作者干了些什么,而不是谴责最表层的被使用的工具。更何况我个人使用ai翻唱的工作量并没有因此减少太多。
总体上我收获的反响还不错,更具体的反响可以翻看2026铃宵宴合作结尾单品的评论区,有些人跟我表达了这方面的想法,在稀神灵梦发的铃宵宴合作创作谈里,作者之间也有进行简单讨论。
进一步说,按照实用性来说,目前我其实觉得HiFiShifter更胜一筹,ai人力只能在一些地方突出自己的优势。
目前是我对于自己现阶段的ai人力翻唱的总结,欢迎大家进行后续的补充或分享不同于我的工作流。
2026.05.24
叫我fatcat