「歌声制作」技术预览:使用 RLHF 改进音高生成模型 (2023) - Synthesizer V AI「Dreamtonics」
1.5万
22
2023-07-18 15:00:00
未经作者授权,禁止转载
847
173
316
258
课程总结
收起全部章节
关闭课程总结
暂无课程总结
Dreamtonics 今日面向全世界音乐创作者介绍 Synthesizer V AI 歌声合成技术的最新进展——使用人类反馈强化学习技术(Reinforcement Learning with Human Feedback,RLHF)改进音高生成模型。
通过在歌声合成模型中引入人类反馈信息,神经网络能够更加深入地理解录音数据中不同歌声表现的差异,从而能够合成更加符合歌曲需求的演唱效果。Dreamtonics 通过搜集来自真实人类听众的反馈数据,为歌声合成模型构建起“合成—反馈”的良好循环,最终在三种演唱语言中都取得了显著的合成效果改进。
在一场长达一个月的听力测试中,Dreamtonics 搜集了大量来自真实人类听众的反馈数据,并基于此指导模型进行优化,在三种演唱语言中都取得了显著改进。
人类反馈强化音高合成模型(RLHF 强化模型)将随 Synthesizer V Studio 下一次产品更新一同发布。在未来,Dreamtonics 还计划将 RLHF 技术扩展到说唱歌声合成与歌声音色合成领域,带来更优秀的歌声合成效果。
有关人类反馈强化音高合成模型,以及 Synthesizer V Studio 与歌声数据库版本更新的更多信息将在未来陆续发布,敬请期待。
* 产品仍在开发中,演示不代表最终效果
本视频使用的歌声软件是 Synthesizer V Studio Pro。
本视频使用的歌声数据库是 Kevin、Ryo AI、沨漪。
——
想要获取 Synthesizer V Studio 与歌声数据库,请访问:
https://www.bilibili.com/read/cv17082866
——
关于 Dreamtonics
Dreamtonics 是一家为全球创意工作者而生的科技创新企业。我们致力于将负责任的人工智能融入艺术创作,打造界面直观、功能强大且开箱即用的专业歌声与语音技术软件。我们携手全球创意团队,共同推出风格多样、品质优异且合乎道德标准的智能歌声与语音产品。
Dreamtonics 的研发由一支深耕领域的国际团队驱动,并通过设立于上海的运营中心,为中国大陆本地及全球用户提供全面的市场销售与技术服务。同时,我们也为企业客户提供声音定制与技术集成等商业服务。