分享一个最近用AI做的UTAU人力音源制作工具
__凯旋__
编辑于 2026年11月11日 19:34

读前警告:本项目基本可以称作为许愿式编程,实际真人写了0行代码,项目较臃肿,半AI Slop属性,但是可以使用,仅作分享

软件主界面

效果demo:(使用hifisampler)

八目鳗穴​

3个声库分别使用了从游戏解包的对应的约10-30min的单说话人干声

(软件下载链接在文末)


原理:使用whisper识别语音,VAD检测语音区间,VAD分段并用TIFA进行强制对齐后截取

相关项目:

openvpi/TIFA​

SYSTRAN/faster-whisper​

snakers4/silero-vad​


介绍&使用指南

1. 基本的软件界面

主页
素材与切分页
主要功能页
导出页
拼接音频页

2. 一次基本的音源制作操作流程

解压便携包后双击 VoiceBankGen.exe 启动

之前创建过的工程都会在这里显示 右键可删除记录

点击 新建说话人工程 并根据需要选择

可以先创建CV格式再补加CVVC格式,此处以CV格式为例

点击后会弹出文件夹选择窗口,来选择工程保存位置,此位置会保存原语音/切片/参数等有关文件

选择文件夹后会再次弹出另一个文件选择窗口,选择同说话人的音频(可选择多个)

窗口示例

选择完成后点击右边的开始自动切片

程序会自动执行识别、切片的过程,过程阶段会在左下角显示,点击右下角任务详情可以查看详细信息

此步骤对于某些设备可能会执行较长时间,请耐心等待

执行完成后会自动跳转到校对选音窗口,窗口分三个部分:

  • 左边的窗口是所有音素的标签

  • 中间的窗口是当前标签下所识别到的所有音

  • 右侧的窗口是当前所选音的频谱图和oto参数

可以通过拖动分界线调整窗口大小/隐藏窗口


左侧窗口:

新增音按钮

可以新增一个自定义的音标签,方便在openutau中直接使用

搜索/筛选框

可以直接搜索对应的音

辅助筛选分类

只看缺音

勾选后只显示缺失音的音节

部分音节有候选但是也显示缺音的原因是:程序无法识别到稳定的元音部分,因此无法确定可用,但是自动生成的oto参数依旧存在,只是当前被禁用了

可以一个一个自己校对,选择合适的音,需要使用“初始化手动标线”功能,下文会讲

如果想省劲,可以选择校对-强制标注 oto来强制程序无视这个限制,直接进行强制标注

右键菜单

窗口内右键可以选择新增音(与最顶上的按钮功能相同)或者为所选的音导入新的自定义音,适用于自己切了个比较好的音想加进来的

中间窗口:

音频选单

此处会显示当前在左侧窗口选中的,程序识别并切出的所有可用的音,同时显示来源/时长/主要问题(这个主要问题好像没啥意义)

单击的时候或者点击空格可以播放当前音,选中一个其他的音,点击下面的使用这个音更换切片的使用

右键菜单

右键任意一个备选项会弹出菜单

单独导出当前候选可以导出当前选择的切片,适用于想拿这个音去干别的事情

新增备选音可以在左侧窗口新增同音名的一个备选项,适用于有多个理想的可用音 或者 想在OpenUTAU中快速使用多个不同音色的同名音

导入音可以从外界导入一个切片,跟左侧窗口的同名功能一致

候选操作

单击即可展开一个功能菜单

其中移除备选音可以删除上述“新增备选音”功能所生成的备选音

其他功能就像它描述的一样 不再多赘述


右侧窗口:

右侧窗口会显示当前使用的切片来源,句子原话,oto参数等信息

此处拖动标线即可调整oto参数,每次改动自动保存,ctrl+z或者单击左上角按钮即可撤销修改,最多可撤销8步(所有更改都能撤销而并不是只有右侧窗口)

右上角的标线操作菜单属于功能比较混乱的(

标线操作

实际能用到/常用到的其实只有初始化手动标线功能

对于未找到稳定元音区的切片,想要使用/调整oto参数 需要先点击初始化手动标线

初始化前
初始化后

此时会解锁并应用软件自动识别到的oto参数

其余功能不太常用,略过


拼接工作台:

对于缺失的,没有候选音的音,可选的方法是直接使用内置的拼接工具拼接

在工具-拼接工作台打开

操作仿了一下reaper(
  • 左侧可以搜索切片,双击添加到右侧时间轴

  • S键可以在光标处切割

  • 在音频块上半部分拖动可以调节淡入淡出 也支持重叠的自动交叉淡化

  • 空格键试听

满意后可在下方选择保存到指定音名的候选,可以直接选用


安装声库/导出:

目前为止,你的所有修改只是被保存在了工程文件夹中

点击顶部的同步与导出打开对应界面

  • 如果是要安装为声库,则点击安装到目录(推荐)

点击后:在OpenUTAU的Singers文件夹下新建一个文件夹并选择

即可自动创建声库

创建成功

此时打开OpenUTAU即可看到已经安装好的声库

这种声库安装方式可以绑定到工程,以后在软件中的改动可以一键同步到openutau中

也可以在导出-导出zip中导出声库zip包

  • 如果是要导出为切片,则点击导出-导出切片

此时可以选择两种模式

根据需要自己选择

导出后会提示导出成功以及导出到的指定文件夹,可以自行使用


后续更改:

选择安装到目录后,后续的所有更改只需点击一下右下角的同步修改按钮即可一键同步到openutau

同步修改

可以结合 OpenUTAU 实时修改/试听


制作CVVC版本声库:

单击右上角的版本设置

选择新增CV/CVVC版本即可

注意:

  • CV和CVVC版本的两个声库,音名重合部分(如a i u e o等)的修改会被同步

  • 新增音源版本后,相当于新增了另一个版本的声库,需要重新安装到文件夹


杂项&下载

其实还有几个功能没被介绍,因为完全没有实现 或者是效果完全没有达到预期,这里就直接省略了

总之,这就是这个VoiceBankGen(

由于AI的石山和项目需要,这个便携包非常占空间:

  • 纯CPU版本 3.01G

  • CUDA版本 6.42G

  • DirectML版本 2.95G

我去我也不知道为啥DirectML版本比CPU版本还小

本教程使用CUDA版本完成,DirectML版本没有经过大量测试,可能效果会不及预期

下载地址:https://www.alipan.com/s/UgZSiyKBQTW 提取码: l9m4

神秘阿里云盘传不了 7z 所以又套了一层自解压程序

开源仓库:网页链接​


好久没这么码字了(其实也没写多少

就这样吧,希望能帮到大家