关于初音未来新ai声库的一些思考
速动VK
2024年09月08日 23:34

近期,vocaloid宣布要在今年发布初音未来v6ai,由此,我想向大家关于新技术提出几个问题;

1.ai声库是什么;

不管是vocaloid1到4还是cevio,sv,ace,vocaloid6的ai之类,我们都可以叫它svs(歌唱语音合成,指可以用输入的声音与歌词曲谱来制作完整音乐的技术)下文将分为两个来讲

1)ai声库;从严格意义上来讲,其实与其说它是声库,不如说它是一个ai模型,早期的这类svs运用hmm模型(例如以前cevio的一些),这样的模型可以分为训练与合成两个阶段,首先是训练阶段,分析输入的声库的声学特征(音长音强之类)进行训练建模。而在合成阶段,它将依据输入的歌词与曲谱和已构建好的模型进行预测,合成歌声。然而这样的技术有一定的缺陷,一是由声音转换为统计信息会使其变模糊,而是过度平滑致使真实度下降的问题(此处摘自bilibili上的文章《从华智冰演唱出发的歌声合成技术综述》)。因此现如今的这类svs开始运用了dnn等模型,dnn模型相较于hmm的预测更加准确,合成效果更好,这得益于它的工作模式,dnn模型分为输入层,隐藏层,输出层,其中的隐藏层每一层都有上百个“神经元”,进行多点而又相互联系的分析,从而建立声学特征与文本,曲谱之间的关系,得到更好的效果,然而,这也需要强大的算力支持(目前主流的cevio ai与sv ai均基于此模型,v6看发布时间应该也是,当然,彼此之间有技术上的不同)

2)传统vocaloid;传统v的原理是人声采样的拼接(所以被称为声库),会根据曲调以及长度之类的调教来处理人声,与ai训练生成完全不是一回事

2ai声库哪家强

目前来看,sv的性能与音质是最好的,但它要在本地运算,正如我们前文所说,这会对设备性能要求高一点,但同时优点是可以离线使用

Ace的音色有些同质化和平淡,它是将数据传出运算,所以不需要设备性能很好

Cevio技术相较于sv略逊,不过在同类daw中算特别好的了

Vocaloid6是最具有机械音的,也是性能最差的(请看gumi)(不过对于miku他们也许会上心一点)

3传统v与ai的各自优缺

Ai优点;1自动音高带来的方便2编辑器的优秀3更易被圈外人接受的拟人声,拟真度更高(不一定更好,比如gumi的sv唱不出马赛克卷原版效果)4参数变化比v更直观

Ai缺点;1调参如同摸黑箱子,难以控制,最终表现难以预期(它更注重音源的选择,例如tetosv与gumisv,区别相当大)2唱快歌容易吞字3更高的精调成本4表意抒情更难

v优点;1更多的可调参,易于形成个人的调音风格(你不可能分不出哪个是春卷饭的niku,哪个是匹的miku)2更易被圈内人接受,更适合一些特殊曲风,更脆的机械音3发展多年的社区文化与更高的知名度

v缺点:1反人类的编辑器2繁琐的调教过程3机械音注定不会太大众

3ai声库可能会对社群产生的影响

好:降低门槛,投稿量增多,圈子扩大

坏;可能大量出现不用心或者无参作品,梗曲梗小鬼增多

4我的看法;我们可以不用,但你一定要搞,这是态度问题,没有了向前的心态与对产品用心的态度,v家必然被后来者取代,只是时间问题。至于会不会名p全用ai去了,抑或v曲在ai中隐没,但总有像我一样的人热爱术力口独有的机械音,也总有追求自己独特风格的p主,v曲有供有求,很难被隐没,我相信它一定会存续下去的

最后,引用ilem和伞村的两段话:

这个圈子当然不会因你给的原因衰落。有人要听歌而这里有,只要这个供需关系还在,文化圈就在。如果其中流行的那种文化不合你的口味,那这个时刻是你个人落魄的时刻,对其他人没有影响。

延伸:“是否像人”和“是否好听”是两条相交的线。历史和市场都可以证明“是否好听”这一条线会决定音乐的价值。创作时当然可以追求“远离人”,但这意味着如果一个声音好听而且像是人类的声音,你就要舍弃它。而当你开始舍弃“好听”的时候你就在背离音乐,转而去追求一些拓展边界的因素或者别的附加价值了。你不觉得当一个歌姬放弃了音乐也背离了听众的时候,才是她在落魄吗?—ilem

因为CeVIO太过高性能,「我家的孩子」这种概念也很难产生了。一定程度上无论是谁使用声库都感觉不出差异。虽然也有好的地方。总之是只要调好参数就能唱的程度。

但是啊,既然来了傘村家可不可以带一点自己家的感觉啊 —傘村トータ