2026年3月30日 —— 微软近日在GitHub上开源了其前沿的语音AI模型家族“VibeVoice”，该项目迅速引爆开发者社区，上线仅一天便斩获约27,000个Star，成为当前最受瞩目的开源项目之一。

VibeVoice并非单一模型，而是一套完整的语音AI解决方案，涵盖了自动语音识别（ASR）和文本转语音（TTS）两大核心能力。该项目采用宽松的MIT许可协议，支持开发者在本地进行部署，无需支付云端订阅费用，极大地降低了高性能语音AI的使用门槛。

🎯 三大核心模型，各显神通

VibeVoice项目主要包含三个核心模型，分别针对不同的应用场景进行了深度优化：

1.        VibeVoice-ASR-7B：长音频结构化转录利器

2.        这是一个强大的自动语音识别（ASR）模型，能够一次性处理长达60分钟的音频文件。它不仅能将语音转换为文本，还能生成包含“谁在说话”（说话人识别）、“何时说话”（精确时间戳）和“说了什么”（详细内容）的结构化转录结果。此外，该模型支持超过50种语言，并允许用户通过自定义热词来提升专有名词或技术术语的识别准确率，非常适用于长篇会议记录、播客转录等复杂场景。

3.        VibeVoice-TTS-1.5B：多说话人长音频生成

4.        这是专注于文本转语音（TTS）的核心模型，其最大亮点在于能够单次生成长达90分钟的连续、自然的音频。它支持在一次对话中模拟最多4个不同的说话人，生成的语音富有表现力，能够模仿真实对话中的停顿、强调和情感转折，非常适合用于制作播客、有声书或多角色对话内容。

5.        VibeVoice-Realtime-0.5B：低延迟实时语音合成

6.        该模型专为实时交互场景设计，支持流式文本输入，首段音频输出的延迟仅为300毫秒左右。同时，它也能生成约10分钟的长篇语音，在实时语音助手、直播配音等需要即时回应的应用中表现出色。

🚀 社区反响热烈，应用生态初现

VibeVoice的开源迅速激发了开发者的创造力。目前，已有开发者基于VibeVoice-ASR-7B模型开发了一款名为“Vibing”的语音输入法，支持macOS和Windows平台。根据早期用户反馈，该输入法的识别速度和准确率表现良好，能够有效提升日常语音输入的效率。

微软此次开源VibeVoice，不仅展示了其在语音AI领域的技术实力，也通过开放、免费的模式推动了整个生态的创新与发展。随着更多开发者的加入，未来必将涌现出更多基于VibeVoice的创新应用。

感兴趣的开发者可以前往GitHub项目页面获取模型权重和更多技术细节。

github 地址：https://github.com/microsoft/VibeVoice