育碧科研网络Ubisoft La Forge 很高兴向业界开源其论文 CHORD: Chain of Rendering Decomposition for PBR Material Estimation from Generated Texture Images（https://ubisoft-laforge.github.io/world/chord/）（CHORD：基于生成纹理图像的 PBR 材质估计渲染分解链）中所研发的材质估计模型的权重。这篇论文已被SIGGRAPH Asia 2025接收。
什么是基础材质？
基础材质是模块化的、可复用的资产，它们赋予游戏世界中物体的外观。它们不影响物体的形状，可以无缝平铺在表面上，也可以通过组合生成更为复杂的纹理。
开放世界游戏通常需要使用数百种基础材质，这些材质的制作不仅耗时，而且需要深厚的 3D 软件专业技能。纹理美术师使用多种技术来制作材质，如摄影测量、扫描，或使用 Adobe Substance 3D 等程序化工具。虽然这些技术的有效性都得到了验证，但图像生成的最新进步使我们能够通过文本提示生成图像，这为材质创作工具提供了新的可能性。因此，La Forge 与游戏开发团队的材质美术师和技术美术师紧密合作，推出“生成式基础材质”研发原型，为美术师的工作流中提供辅助。
“制作高质量的 PBR 材质需要兼具艺术视野与技术精度，这种技能组合既稀缺又难以规模化。AI 辅助的前景令人振奋，因为它能让这一管线更易于实现，并赋能团队专注于创意。最终，它将帮助我们更好地实现游戏的视觉愿景。”
— Gilles Fleury，高级技术美术总监
示例：传统技术制作的岩石表面基础材质，其材质贴图包括（从左到右）：基础颜色、法线、高度和粗糙度。
原型概览
我们的目标是创建一个方便实用的管线，能够通过文本或图像输入生成基于物理渲染（PBR） 的基础材质。我们专注于帮助创作者加速工作流，同时尽可能提供对结果的控制。为此，我们设计了由 3个AI模型组成的多阶段流程：
阶段1：纹理图像生成
输入文本提示词，并可选参考条件图像，如线稿、草图或高度图，我们的第一个AI模型生成无缝平铺的二维纹理，表示固定光照下的纹理图像。该模型是一款基于内部资产训练的定制扩散模型，支持美术师通过现有工具和技术灵活控制纹理图像的生成，如文本生成图像、图像到图像、ControlNet、Adapters 等。
阶段2：材质估计
在第二阶段，我们的原型将生成的纹理图像解耦为多张PBR材质贴图。这一步我们使用自研的模型 CHORD，通过链式分解渲染方程结合生成式扩散模型的方式来实现。更多细节将在后文介绍。
阶段3：材质放大
由于游戏资产通常需要2K或4K分辨率纹理，我们的第三个AI模型支持材质贴图的 2倍或4倍放大。
模型总览
CHORD如何推动PBR材质领域的发展
CHORD 是一个基于扩散的模型，能够基于单张RGB图像生成材质贴图。输入纹理图像后，输出标准 svBRDF 通道，如基础颜色、法线、高度、粗糙度和金属度。模型架构包含以下创新：
链式分解： CHORD将解耦渲染图的多模态预测任务拆解为多步子任务，用链式结构连接这些子任务。先预测基础颜色，再通过去除输入图像的颜色信息计算近似辐照度图，用于预测法线贴图。高度图可以通过经典积分方法由法线贴图获得。随后将已有预测贴图以及参数化的粗糙度金属度贴图输入渲染器生成合成图像。将合成图像与输入图像比较，进行最优参数搜索。搜索结果作为最后一步的模型输入并进行粗糙度和金属参数的预测。
LEGO模块化输入条件：为了解决多模态预测中的权重冲突，在链式预测的每一步中共享骨干网络权重实现空间对齐，同时不同模态有独立权重模块的特殊处理。受(Zeng et al., 2024)关于RGB↔X（https://zheng95z.github.io/publications/rgbx24） 研究工作的启发，CHORD使用关键词 Basecolor、Normal、Roughness、metalness的CLIP文本嵌入作为开关，在统一框架中处理不同模态。
单步训练：通过扩散模型单步训练的方式提高效率和输出质量，并且避免多步去噪
训练过程分为两阶段：预训练阶段在低维隐空间中优化损失，单步阶段直接在图像空间计算损失，省略输入噪声项以提升效果。
CHORD的架构
训练数据集
我们模型的开放权重版本是基于MatSynth（https://huggingface.co/datasets/gvecchio/MatSynth）训练的 ，该数据集是一个包含约 5,700 个 PBR 材质的大型开源数据集，在计算机图形学社区中被广泛使用。
在数据准备阶段，我们通过将材质从 4 个不同角度旋转来扩充训练数据集，最终得到 22,800 个样本。在训练过程中，我们还通过随机裁剪和缩放材质进行实时数据增强。
借助开源资源实现落地
由于原型涉及多阶段流程，ComfyUI 为我们提供了高效的集成框架，支持纹理图像合成、材质估算和材质放大。同时，它让我们能够充分利用前沿的生成式模型，并借助 ComfyUI 的强大功能，为创作者提供精细化控制，如 ControlNet、图像引导、修复（inpainting）以及更多选项。
开源技术不仅帮助我们构建并拓展原型的潜力，也让我们深感应当回馈社区。因此，除了开放模型权重，我们还很高兴开源一组自定义节点（https://github.com/ubisoft/ComfyUI-Chord），可直接在 ComfyUI 中运行 CHORD。你可以在ComfyOrg博客中了解它们的使用方法，并查看工作流示例：
https://blog.comfy.org/p/ubisoft-open-sources-the-chord-model
结果
定量基准测试显示，CHORD在大多数材质贴图上优于其他方法（PSNR和LPIPS指标）。更多细节和消融实验请参阅论文。
从质量上看，CHORD 在多模态 PBR 贴图生成模型领域表现出色，如下方可视化所示。不过，美术师的普遍反馈认为，结果尚未达到生产级别，但这已是迈向赋能创作者的重要第一步。
青酱意面纹理：第一步通过文本生成图像，第二步通过图像生成材质。
牡丹花浮雕大理石纹理：粗糙度贴图被丢弃并替换为固定值以提升3D渲染质量。
石板屋顶瓦片纹理：第一步使用ControlNet和线稿图引导瓦片图案。
狼毛纹理：使用ControlNet和动物毛发高度图引导生成，并在3D渲染中复用该高度图。
局限性
尽管原型结果令人振奋，但输出质量仍有提升空间。
“尽管其质量尚未达到 3A 级游戏材质的要求，但它展现出巨大的潜力，我相信它迟早能实现预期效果。”
— Greg Baran，资深材质美术师
CHORD模型针对1024分辨率优化，而高质量游戏纹理通常为2048或4096分辨率。后期放大虽有效，但会在流程中累积误差。
测试显示该模型在有机材质上表现良好，但在如金属这样具有强镜面属性图像的svBRDF贴图估计上存在局限性。金属贴图预测难度较高。
总结
“生成式基础材质”是否能成为实际生产工具仍需进一步研究，但当前原型已显示出在多种场景中辅助创作者的潜力——无论是在概念阶段生成纹理参考或概念资产，还是在生产阶段提供占位材质。
多阶段流程提供了极大的灵活性和控制力。美术师可以使用完整流程快速制作材质并布置场景，也可以单独使用每个AI模型，将生成结果整合到传统工作流中。
“模块化方法能够很好地融入现有的材质制作工作流，通过将 AI 定位为现有流程中的辅助工具，而非颠覆性变革，从而降低采用难度。这对于那些对新技术持谨慎态度的艺术家来说，是一种令人安心的方式。”
— Gilles Fleury，高级技术美术总监
随着我们将 CHORD 发布给研究和生成式AI社区，我们期待看到创作者们用我们的模型创造出更多精彩作品。欢迎通过laforge@ubisoft.com联系我们
欢迎使用 CHORD来进行材质估计：
项目主页
https://ubisoft-laforge.github.io/world/chord/
Arxiv 页面
https://arxiv.org/abs/2509.09952
代码仓库
https://github.com/ubisoft/ubisoft-laforge-chord
模型权重
https://huggingface.co/Ubisoft/ubisoft-laforge-chord
ComfyUI 自定义节点
https://github.com/ubisoft/ComfyUI-Chord
