今天，我们来聊聊多模态领域的新工作：EMMA,全称是“Efficient Multimodal Understanding, Generation, and Editing with a Unified Architecture”，即一个集成了高效多模态理解、生成和编辑的统一架构。简单来说，华为的研究者们想用一个模型，同时搞定看懂图、根据文字画图、以及修改图这三件事，而且还要做得又快又好。从结果来看，性能确实不俗！
论文标题: EMMA: Efficient Multimodal Understanding, Generation, and Editing with a Unified Architecture
作者团队: Xin He, Longhui Wei, Jianbo Ouyang, Minghui Liao, Lingxi Xie, Qi Tian
所属机构: 华为
论文地址: https://arxiv.org/abs/2512.04810
项目主页: https://emma-umm.github.io/emma/
代码仓库: https://github.com/umm-emma/emma
统一多模态的“效率”难题
近来，统一多模态架构可以说是遍地开花，比如我们熟悉的BAGEL、Janus-Pro等。这些模型试图将图像理解和生成等多种能力“塞”进一个模型里，希望通过端到端的训练，让模型变得更智能，甚至涌现出新的能力。
但这种“大一统”的思路也带来了新的挑战。最核心的问题之一就是效率。图像数据转成模型能理解的tokens（可以看作是信息的最小单元）后，数量非常庞大，这不仅让训练和推理变得非常耗时耗资源，还可能导致不同任务之间“打架”。比如，图像理解任务和图像生成任务对信息的关注点不同，硬把它们放在一起，很容易出现训练不平衡的问题。
之前的方法，像BAGEL，虽然也是统一架构，但在处理视觉信息时token数量依然很多。EMMA要解决的，正是这个“历史遗留问题”。
EMMA如何做到“高效”与“强大”？
为了解决上述痛点，EMMA的设计可以说是“有的放矢”，提出了四项关键改进。我们可以通过它的整体架构图来直观感受一下。
极致的视觉压缩：32倍压缩自编码器
EMMA的第一个杀手锏，是采用了一个压缩比高达32倍的自编码器（Autoencoder）。这意味着，一张1024x1024像素的图片，可以被压缩成仅仅1024个视觉tokens。
这有什么好处呢？
大幅减少计算量：tokens数量少了，模型处理起来自然就快了，无论训练还是推理，效率都大大提升。
平衡不同任务：更妙的是，EMMA在图像理解和生成分支上使用了相同的压缩比。这就好比给两个不同部门的员工发了同样规格的工具，让他们能更好地协同工作，避免了因为处理信息量不一致导致的训练失衡。
节省Tokens的新技巧：通道级拼接
当模型既要理解图像内容（比如识别图里有什么），又要在此基础上进行编辑或生成时，需要融合来自不同视觉分支的信息。传统的做法是“Token级拼接”（Token-wise Concatenation），简单说就是把两组tokens头尾相连，这样总长度就变长了。
而EMMA则另辟蹊径，采用了**“通道级拼接”（Channel-wise Concatenation）。受益于理解和生成分支相同的压缩率和token数量，EMMA可以直接在特征维度（Channel）上进行拼接。这样做最大的好处是，在融合信息的同时，token的总数没有增加，进一步降低了计算负担。论文提到，在图像编辑任务中，这种方式相比BAGEL等模型，视觉tokens数量减少了5倍**之多！
和而不同：共享且解耦的网络设计
统一模型常常面临一个两难选择：参数共享多了，任务之间会互相干扰；参数独立吧，又失去了跨任务学习带来的增益。
EMMA采用了一种非常聪明的“共享且解耦”（Shared-and-Decoupled）策略。
在模型的浅层网络，参数是共享的。因为这些层主要负责提取通用的基础特征，比如边缘、纹理等，这些特征对于理解和生成任务都是有益的。
在模型的深层网络，参数则是独立的（解耦的）。因为深层更关注任务的特定需求，比如理解任务需要高度抽象的语义，而生成任务则要关注逼真的细节和高频信息。
这种设计，既促进了不同任务之间的“互相学习、共同进步”，又保证了各自的“专业性”，可以说是把“团队合作”和“个人发展”都照顾到了。
增强感知：视觉编码器引入混合专家（MoE）
为了让模型“看”得更准，EMMA还在其视觉理解编码器中集成了“混合专家”（Mixture-of-Experts, MoE）机制。你可以把它想象成一个专家团队，每个专家擅长处理不同类型的图像。当一张图片输入时，模型会智能地选择最合适的几个专家来处理，而不是让一个通用模型去应对所有情况。
这样做的好处是，只用增加很少的参数，就能大幅提升模型的感知能力，让它在面对各种复杂场景时都能应付自如。
实验效果：不仅高效，而且能打
说了这么多设计，最终还是要看效果。EMMA的实验结果确实没让人失望。研究者们在多模态理解、文生图（T2I）和图像编辑三大主流任务上，把EMMA和当前最先进的模型们拉出来“遛了遛”。
从上面这个总览表就能看出，EMMA-4B（40亿参数版本）在各项基准测试中，相比参数量更大的BAGEL-7B（70亿参数）展现了明显的优势。
多模态理解能力
在MMBench、MMMU、MMVet等多个权威的多模态理解榜单上，EMMA-4B全面超越了BAGEL-7B，甚至和一些专门为理解任务设计的专家模型（如Qwen3-VL）相比也毫不逊色，在部分指标上还有所领先。比如，在MMVet上取得了73.0的高分，而BAGEL是67.2。
文生图（T2I）生成质量
在文生图领域，EMMA同样表现惊人。在评估生成质量的GenEval基准上，EMMA在不使用任何“提示词重写”这种的情况下，拿到了0.91分，超过了BAGEL（0.82）和强大的文生图专家模型Qwen-Image（0.87）。论文作者特别强调，这是首次有模型在不依赖提示词魔法和强化学习的情况下，在该基准上达到0.91的分数。
我们可以看一些EMMA生成的图片，无论是物体细节、光影效果还是构图，质量都相当高。
图像编辑能力与有趣的“涌现”
在更复杂的图像编辑任务上，EMMA也略微优于BAGEL。尽管领先幅度不大（研究者认为这和训练数据量以及任务本身复杂度有关），但考虑到EMMA在编辑时使用的视觉tokens只有BAGEL的五分之一，这个成绩的含金量就非常高了。
更有意思的是，研究者在测试中发现了一些“意外之喜”——能力的涌现。
跨语言能力：尽管训练数据几乎全是英文指令，EMMA却能直接听懂中文指令进行图像生成和编辑。
复杂指令理解：虽然只用单条指令的数据进行训练，但EMMA竟然能理解并执行由多个步骤组成的复杂编辑指令，比如“去掉耳机，把头发换成蓝色，再戴上墨镜”。
这些涌现能力说明，统一架构的“跨任务学习”确实能让模型变得更“聪明”，学会了举一反三。
一点思考
总而言之，EMMA模型为统一多模态架构的发展提供了一个清晰且高效的范本。它通过一系列巧妙的设计，尤其是在视觉token的压缩和处理上，用更小的模型（4B vs 7B），在多项任务上击败了之前的SOTA模型。
当然，模型还没有开源代码，我们期待能早日上手体验。但无论如何，EMMA为未来的多模态研究铺下了一块坚实的基石，让人不禁好奇，下一个突破又会在哪里发生呢？
