VL-JEPA
搓面团法师
2025年12月16日 14:52

论文:《VL-JEPA:JointEmbeddingPredictiveArchitecturefor Vision-language》

VL-JEPA 训练全流程图

JEPA vs JEA

JEA:联合嵌入架构,如:CLIP / SigLIP2 / Perception Encoder。训练目标:通过对比学习,拉近匹配图文对的嵌入,推远不匹配的。经过前向传播,计算相似度,输出:图像/文本的静态嵌入向量。适用于:零样本分类、图文检索。简单高效,对齐能力强,零样本迁移好。

JEPA:联合嵌入预测架构,本文VL-JEPA(视觉→文本语义预测) ,通过学习一个预测函数,从一个上下文(Context)的嵌入,预测目标(Target)的嵌入。

VL-JEPA vs JEA

虽然架构不同,但这些模型在零样本图像分类和图文检索这两个核心评估任务上,扮演着完全相同的角色:它们都是一个视觉-语言联合表示系统,其核心产出是一个能够对齐图像和文本语义的共享嵌入空间。

  • CLIP等模型:通过对比学习(JEA范式),直接优化图像和文本嵌入的相似度。

  • VL-JEPA:通过预测学习(JEPA范式),让模型从视觉输入预测文本的语义嵌入。在评估时,它同样会产出图像嵌入和文本嵌入(分别来自X-Encoder和Y-Encoder),并用这些嵌入计算相似度来完成分类和检索。

因此,在下游应用层面(零样本迁移能力),它们是直接可比的竞争对手。

通过比较,凸显“预测”相对于“对齐”的潜在优势: 论文通过实验发现,在同等条件(相同数据、视觉编码器) 下,VL-JEPA的性能优于传统VLM,也优于或媲美顶级的JEA模型。这暗示了预测目标可能比对比目标更具引导性。

  • 对比学习(JEA) 的目标是区分“这个文本是不是这张图的标题”,模型可能会学习到一些取巧的、表面的统计关联。

  • 预测学习(JEPA) 的目标是“从这张图预测出它的描述语义”,这迫使模型必须更深入地理解视觉场景中的实体、属性、关系,才能生成一个正确的语义摘要。这种目标可能引导模型学习到更本质、泛化能力更强的跨模态表示。

通过比较,展示统一架构的优越性(一石二鸟): CLIP等模型是专才,设计目标就是做嵌入对齐,擅长分类/检索,但无法直接生成文本。 VL-JEPA是通才,它的核心是预测,但自然衍生出了强大的嵌入(用于比较),同时还能通过解码器做生成任务。 论文的对比显示:VL-JEPA这个“通才”模型,在JEA的“专才”模型最擅长的赛道上,效果不差,甚至更强。 这极大地凸显了VL-JEPA架构的统一性和效率优势。

VL-JEPA vs VLM

VLM:生成式架构 (自回归解码),自回归下一个token预测(交叉熵损失)。输出离散的token序列(文本)。

VL-JEPA:相比VLM,基于向量进行学习和推理,而非VLM的基于token。输出的是连续的语义嵌入向量(可选择性解码为文本(token))。

VL-JEPA通过嵌入空间预测:

  • 图像语义测度:X-Encoder输出的 S_V,是视觉内容的抽象语义向量。

  • 文本语义测度:Y-Encoder输出的 S_Y,是文本目标的抽象语义向量。关键就在这里:S_Y 不是关于token的,而是关于整个文本片段所表达的完整语义概念的单一、稠密的向量表示。

  • 对齐/预测过程:这不是传统意义上的“对齐”,而是预测。Predictor的目标是,给定视觉输入和查询,直接预测出目标文本应有的那个抽象语义向量 Ŝ_Y。训练时,通过对比损失(如InfoNCE)让 Ŝ_Y 靠近真实的 S_Y。

VL-JEPA仍然在进行跨模态的语义关联学习(从视觉+查询到文本语义),但它避免了跨数据形式(连续视觉 vs. 离散符号序列)的对齐。

这种【语义-形式】上的解耦带来了根本性优势:

  • 学习目标更纯净:Predictor只需关心“预测正确的语义”,无需操心这个语义该用“熄灭”、“关掉”还是“关闭”来表达。所有语义相近的正确回答在向量空间中都彼此靠近,形成了一个平滑的、连续的目标分布,模型更容易学习。

  • 解决了“一对多”映射的难题:对于同一个视觉场景,多个语义正确但表述不同的文本,在token空间中是多个离散的峰值点,模型需要拟合一个复杂的多模态分布。而在VL-JEPA的语义嵌入空间,这些文本被映射到同一个点附近,多峰分布坍缩成了单峰分布,大大简化了学习任务。这正是论文所说的“抽象掉表面语言变化”。

因此,VL-JEPA可以被看作是在语义层面而非符号层面进行视觉-语言联合建模。它先抓住“意思”,再考虑“说法”,这使得它在学习效率、对语言表述变化的鲁棒性,以及支持选择性解码等实时应用方面,具有天然的理论优势。这也解释了为什么在论文的硬负例测试(如SugarCrepe++)中,VL-JEPA的Y-Encoder能更好地区分语义细微差别,因为它的训练目标本身就是学习更纯净、更判别性的语义向量。

另外:它通过解耦语义理解(嵌入预测)和文本生成(解码),在保持强大多任务能力的同时,显著提升了训练和推理效率,特别适合实时、流式的视频应用。即:其输出的一个连续的语义向量。只有在需要时,才通过一个独立的、轻量的Y解码器将这个向量“翻译”回文本。

对比总结:

  • 传统VLM(Token级预测):

    • 输入:视觉特征和文本查询的token嵌入。

    • 学习/预测目标:在离散的词汇表上,自回归地预测下一个token的ID。这是一个分类问题(从3万或更多个可能的token中选择一个)。

    • 输出:一个token序列(如“一只”、“猫”、“在”、“沙发”、“上”)。

  • VL-JEPA(嵌入空间预测):

    • 输入:视觉特征和文本查询的token嵌入(与VLM类似)。

    • 学习/预测目标:直接预测整个目标文本(如“一只猫在沙发上”)所对应的一个连续的、高维的语义嵌入向量 S_Y。这是一个回归问题(预测一个向量)。

    • 输出:一个连续的语义向量。只有在需要时,才通过一个独立的、轻量的Y解码器将这个向量“翻译”回文本。

VL-JEPA模型架构

VL-JEPA包含四个核心组件:

  1. X-编码器:将视觉输入(图像/视频帧)映射为视觉嵌入 S_V。

  2. Y-编码器:将文本目标(答案)映射为目标嵌入 S_Y。

  3. 预测器:核心组件。以视觉嵌入 S_V 和文本查询 X_Q 为条件,预测目标嵌入 Ŝ_Y。

  4. Y-解码器:仅在推理时使用,将预测的嵌入 Ŝ_Y 解码为人类可读文本。

训练目标是在嵌入空间中最小化预测嵌入 Ŝ_Y 与真实目标嵌入 S_Y 之间的距离(如使用InfoNCE损失),而非在token空间中计算交叉熵损失。

关键优势与贡献

高效学习:在抽象的嵌入空间中学习,模型专注于任务语义,避免了建模表面语言变化的冗余计算。在严格控制(相同视觉编码器、训练数据等)的对比实验中,VL-JEPA性能更强,且可训练参数减少50%。

灵活推理与选择性解码:由于预测是非自回归的,模型能通过单次前向传播产生连续的语义嵌入流。这使其天然支持选择性解码:仅在检测到语义发生显著变化(如通过嵌入方差阈值)时才调用轻量级解码器生成文本。实验表明,这能将解码操作减少约2.85倍,同时保持性能。

统一的多任务支持:同一架构无需修改即可支持多种任务:

  • 生成任务(如描述、VQA):预测嵌入后解码。

  • 判别任务(如开放词汇分类、检索、判别式VQA):直接比较预测嵌入与候选标签嵌入的相似度。

卓越性能:

  • 零样本分类与检索:VL-JEPA_BASE 在8个分类和8个检索数据集上的平均性能超越了CLIP、SigLIP2和Perception Encoder。

  • VQA能力:经过监督微调后的VL-JEPA_SFT(仅16亿参数,1.6B)在GQA、TallyQA、POPE等VQA数据集上,与参数量大得多的经典VLM(如InstructBLIP、QwenVL)性能相当。

  • 世界建模:在WORLDPREDICTION-WM基准测试中取得了新的SOTA(65.7%准确率),甚至超过了GPT-4o等前沿大语言模型。