后日谈:AI音乐技术除模型外我们还在乎什么?
老二次元_Official
编辑于 2026年03月21日 20:35

本文翻译于该期节目嘉宾逸霄发布的文章《On AI Music Generation — March 2026》。公众号标题为译者所加。

英语原文地址:https://www.linkedin.com/pulse/ai-music-generation-march-2026-yixiao-zhang-fmlh

作者 Yixiao Zhang

最近我和三位朋友一起上了档中文播客叫《老二次元》,聊了大约两个小时的 AI 音乐生成。参与讨论的有曾任游戏作曲、如今在东京大学研究语音的朋友,从事 CV 研究的 MIDI 制作人,以及我们的主持人,她的研究方向是 AI 歌词。我们聊到了技术版图、版权问题、“民主化”之争,以及音乐人对这一切的真实感受。

与其总结整期内容完整,我更想分享自己的立场,以及那些我发现自己还无法充分回答的问题。

我的看法

音频范式赢了,这很好。当前这代音乐生成模型,包括 Suno、Udio,以及现在的 Lyria 3 [1],都源自音频和语音研究,而非音乐信息检索。MusicLM 和 MusicGen 都由音频研究者开发。这些开发者意识到音乐归根结底也是音频信号,所以他们采用基于频谱图的流水线,扩大数据和参数规模,结果证明这条路可行。如今音乐理论在模型架构中的作用相当有限。这和 Rich Sutton 所说的 “The Bitter Lesson” 是一致的:归纳偏置在小数据场景中有帮助,但数据足够多时,反而成为瓶颈。话虽如此,音乐知识在数据层面依然重要:梅尔频谱、BPM/调性/和弦标签,以及结构化元数据,都会提升可控性,即便这些信息并没有直接体现在模型架构里。

数据是所有方向上的核心约束。Suno 在小众风格上的薄弱,本质上直接反映了训练数据的分布:如果你的数据里有 50% 是流行和摇滚,那模型最擅长的自然就是这些风格。描述模型的质量决定文本到音乐控制能力的上限。假如你的自动标注器分不清细分流派,那么生成器同样也做不到。至于版权问题,虽然情况有所改善,但远谈不上解决。三大唱片公司在 2024 年中起诉了 Suno 和 Udio;此后,华纳已经与 Suno 签署了授权协议 [2],Spotify 也已经从三大公司获得了训练权利。但独立音乐人仍然几乎没有受到保护。记忆化是真实存在的问题:研究表明,只要轻微修改歌词,就可能诱导模型几乎逐字逐句复现受版权保护的音频,简单的变调也可以绕过 Suno 的内容过滤器。

可控性是 AI 工具与专业工作流之间真正的差距。历史上,音乐人可以几乎控制作品中的每个元素,从 MIDI 音符的摆放到总线压缩的参数。当前的端到端模型无法提供这种控制。文本在音乐领域作为控制接口,能力极其有限:你无法用语言精确描述某种音色设计、演奏法模式,或者混音平衡。用户已经发展出“抽卡式”的迭代工作流,也就是生成、评估、重写提示、再生成,不断重复,但这种方式成本高且不精确。更深层的问题在于,许多音乐决策根本无法用文本模态来表达。

五年比一百年更重要。我不愿推测 2125 年会怎样。技术发展是非线性的,而且“太空歌剧问题”在这里同样适用。但未来五年内,我预计两件事会发生。第一,音质和音乐性会提升到大多数听众都无法分辨 AI 输出的程度,这类似于 AI 图像生成的发展轨迹。第二,协作范式将会出现:AI 工具会嵌入 DAW,基于 agent 的混音助手会出现,神经音频合成插件也会让专业人士把生成模型作为严肃工作流中的一个组件来使用,而不只是把它当作一个端到端黑盒。相关拼图其实已经开始移动了。Suno 收购了 WavTool,并推出了具备 stem separation 功能的 Suno Studio [2]。Google 收购了 ProducerAI(前身为 Riffusion),并将其与 Lyria 3 一起并入 Google Labs [3]。Spotify 的联席 CEO 在 2025 年第四季度财报电话会上表示,面向粉丝 remix 和翻唱的 AI 技术已经准备就绪,目前只差与版权方达成授权协议 [4]。方向已经很清楚了:生成模型会逐步融入现有创作工具链。

我没能完全回答的问题

这期播客提出几个问题,让我意识到,单纯从技术框架出发不够。我想坦率地标出这些问题,因为我觉得于任何正在这个领域里创业、研究或投资的人来说,它们都很重要。

创作过程本身是不是意义所在?我们的主持人是一位作词,她谈及写作的痛苦:往往要写出 4000 到 5000 字的草稿,最后才能得到 300 字的成稿。她认为,这种“挖掘”的过程并不是低效,而是自我认知;她担心 AI 工具让用户完全跳过这个过程。她拿 AI 绘画作类比:“那不是你的图像,只是模型给了你一种它属于你的幻觉。” 我回应了“民主化”的论点,而且我仍然认同那个观点。但我并没有真正回应她更深层的主张:创作中的挣扎不是需要被优化掉的 bug,而是能为创作者生产意义的 feature。这关乎人类心理,不是模型架构的问题,而我没有干净利落的答案。

端到端生成会不会抹去个体性?我们那位作曲家朋友指出,音乐人的即兴演奏会展示出他们的训练、影响来源,以及“手上的习惯”。你能从中听出这个人是谁。AI 的输出则是其训练分布的统计平均,它没有个人签名。像 Suno 这样的工具在生成音乐时,往往产出的是合格但泛化的内容,因为 RLHF 调优优化的是广泛偏好,会把结果往审美的中心推。我从技术角度讨论了这一点,比如数据分布、向热门风格收缩的 mode collapse,但我没有真正回应其中的审美和文化含义:当生产“符合中位数审美”的音乐的边际成本趋近于零时,音乐多样性会发生什么?

“落后感”问题。播客中提出了这样的情景:一个年轻人用 Suno 做出了一段听起来很 polished 的 demo,因此对音乐产生了热情;但当他打开 DAW 时,却发现自己既听不出和弦进行,也不会写鼓型,更不明白为什么某些声音会成立。AI 辅助输出与个人实际能力之间的差距,不但不会形成激励,反而会让人感到挫败。这其实就是创造性技能领域里的“延迟满足”问题,在编程中也有直接对应物,也就是对 vibe coding 的依赖。我承认了这个问题,但没有给出解决方案。

劳动问题。当公司内部用 AI 来处理音乐创作时,原本外包给自由音乐人的工作,变成了一种内部的提示工程任务。这个提示工程师同时继承了创意劳动,以及“给 AI 擦屁股”的职责。主持人提出这一点时,强调的是 AI 如何改变雇佣关系的结构,而不只是改变创作本身。对此我几乎没有太多可说的,因为这已经更接近劳动经济学,而不是我的专业领域。

我为什么要分享这些

我的职业是研究音乐生成。我对技术版图本身很熟悉。但这次对话提醒了我:关于 AI 音乐最重要的问题,并不是模型架构的问题,而是音乐对于创作者和听众究竟意味着什么。技术社群,包括我自己在内,往往会把这些问题当成“软性关切”。但它们并不软。它们决定了采用路径、监管方向,以及最终我们造出来的工具究竟是在创造价值,还是在抽取价值。

整期播客是中文的,时长大约两小时。如果你也在这个领域,并想讨论以上任何一点,欢迎私信我。

参考文献

[1] Google launched Lyria 3 in the Gemini app on Feb 18, 2026, enabling 30-second track generation for 750M+ Gemini MAU, with SynthID watermarking. Lyria 3 also powers YouTube's Dream Track for Shorts, now expanding globally.

[2] Suno raised a $250M Series C at $2.45B valuation (Nov 2025, led by Menlo Ventures and NVentures), reaching 2M paid subscribers and $300M ARR by Feb 2026. Warner Music Group signed a licensing deal with Suno in Nov 2025, the first major label to do so. Suno also acquired WavTool (browser-based DAW) and, as part of the WMG deal, acquired Songkick.

[3] Google acquired ProducerAI (formerly Riffusion) on Feb 24, 2026. The entire team joined Google Labs and Google DeepMind. ProducerAI now runs on Lyria 3, Gemini, Veo, and Nano Banana, with a focus on "creative control for artists" including natural-language instrument and effect creation.

[4] On Spotify's Q4 2025 earnings call (Feb 10, 2026), Co-CEO Gustav Söderström described AI-powered "derivatives," meaning fan-created remixes and covers of existing songs, as "an untapped opportunity for artists to make money off of their existing IP," stating that Spotify's technology is ready and calling on rights holders to finalize licensing frameworks.