在AIGC的快速发展中，多模态大语言模型（MLLMs）逐渐成为研究的焦点。这些模型不仅能处理文本，还能理解和生成图像、声音等多种类型的数据。然而，当前的MLLMs通常针对特定任务进行训练，这就像是你拥有一个专门用来解数学题的AI，但当你问它天气如何时，它可能就无从下手了。这种局限性使得这些模型在应对更广泛、多样化的任务时显得力不从心。

挑战与创新 : 如何让AI更聪明 ?

研究者们意识到，如果要让AI能够适应各种任务和复杂场景，仅仅依赖于特定任务的训练已经不够。当前的模型通常需要明确的指令和预设的任务类别，缺乏对隐含指令的理解能力。这就好比你对AI说“帮我处理这件事”，如果你不明确说明是要写邮件还是设计图像，AI可能就无所适从。

为了应对这一挑战，研究人员提出了一种名为UnifiedMLLM的全新模型。这个模型的核心在于，它能够通过一个统一的表示方法来处理各种任务，不再局限于某一特定领域或任务类型。简单来说，无论你是要AI帮你写一篇文章还是处理一张图片，UnifiedMLLM都能明白你的意图，并调用合适的“专家”模型来完成任务。

UnifiedMLLM的工作原理：让AI真正“听得懂”你的需求

UnifiedMLLM的独特之处在于它引入了“任务标记”和“定位标记”。任务标记告诉模型它现在要做什么，而定位标记则帮助它找出任务涉及的具体区域。这种设计让模型在处理不同任务时，有了统一的语言，避免了过去那种针对每个任务单独设置的复杂过程。

更为重要的是，UnifiedMLLM还配备了一个“任务路由器”。这个路由器可以根据任务的不同，将请求分配给最合适的专家模型。这就好比在一家医院里，有一个超级智能的前台，它不仅知道你生病了，还能立刻判断出你需要看哪个科室的专家，快速帮你安排好一切。

接下来，我们深入探讨这个模型的核心方法。

模型架构：让AI理解多模态世界

在UnifiedMLLM中，不同模态的数据（如图像、视频、音频）各有专门的编码器来提取特征。这就像是给每种类型的输入找一个最合适的翻译官，将这些不同的数据转换成AI可以理解的“语言”。

• 图像处理：使用了CLIP模型的视觉编码器ViT-L/14，这是目前在视觉任务中表现优异的工具。

• 视频处理：采用Q-Former结构，这个结构类似于BLIP-2，可以有效地聚合视频中的信息。

• 音频处理：通过Imagebind的音频编码器处理音频片段，结合Q-Former提取特征。

这些模态特定的适配器不仅提取信息，还会将它们映射到语言模型（LLMs）的嵌入空间中，从而实现与语言模型的无缝连接。

AI处理多模态任务的一个难点在于，不同任务的输入输出格式可能千差万别。UnifiedMLLM通过扩展LLM的词汇表和引入任务特定标记，成功实现了对这些多样化任务的统一表示。这种方法让AI可以用一种通用的“语言”来理解和处理不同的任务，避免了为每种任务单独开发解决方案的繁琐。

专家集成：让AI找到最合适的工具

UnifiedMLLM引入了一个“任务路由器”，这个组件类似于一个聪明的调度员，它可以根据任务的具体需求，自动激活不同的专家模块来执行任务。这些外部模块包括一些目前最先进的模型，如Stable Diffusion、GLIGEN、SEEM、FRESCO和ModelScopeT2V等。通过这个机制，AI可以无缝地集成各种任务处理能力，无论是生成图像还是进行视频分析，都能从容应对。

LoRA MoE：高效处理多任务的秘诀

为了在多任务处理上进一步提升效率，UnifiedMLLM采用了一种叫做LoRA（Low-Rank Adaptation）的专家模型混合策略（MoE）。这个策略的核心思想是在训练过程中引入大量的指令数据，同时尽量保留AI已有的知识。

• 模型骨干冻结：通过冻结模型的骨干部分，确保AI在学习新任务时不会丢失之前积累的知识。

• LoRA的应用：在处理下游任务时，使用多个专家模型来增强训练和推理效率。这些专家模型由LoRA结构构建，能够在保证性能的前提下显著减少计算量。

数据与训练：让AI在复杂环境中也能游刃有余

为了让UnifiedMLLM具备强大的能力，研究团队专门构建了一个包含多种复杂场景的10万项多任务数据集。并且，模型的训练分为三个阶段，以确保它既能处理具体任务，又保留足够的泛化能力——换句话说，它不仅能做得好，还能学得快、记得牢。

（1）数据集构建

任务特定数据集：为训练模型处理不同任务，构建了专门的数据集，并将其转换为对话格式，帮助模型理解并执行复杂推理任务，如图像分割、编辑和布局生成。

多轮多任务数据集：通过模型生成和扩展，创建了一个包含10万个多回合、多任务对话实例的数据集，覆盖复杂场景中的多模态任务。

（2）三阶段训练策略

模态感知预训练：模型首先学习理解不同模态的输入，建立基本知识基础。此阶段冻结大模型和编码器，只训练适配器。

任务适应调优：进一步训练模型，使其能够处理多种具体任务，重点提高对人类意图的理解。

多任务LoRAMoE调优：最后阶段专注于复杂场景下的多任务处理，保持高效训练，除LoRAMOE外其他参数全部冻结。

UnifiedMLLM通过专门的数据集和三阶段训练策略，成功打造了一个能够处理多模态任务的智能模型。这使得AI在面对复杂任务时表现出色，既能理解多种输入，又能高效完成各种任务。

实验：探索UnifiedMLLM的表现

这项实验主要集中在评估模型在多个任务中的表现，包括图像分割、图像编辑、图像生成以及多模态生成。研究人员用 Vicuna-v1.5 模型进行实验，并在强大的 GPU 上训练。训练时，所有图像都被调整到 336 x 336 像素大小，视频和音频也被处理成特定的格式。

图像分割：模型在找到并分割图像中指定的物体时表现很棒。

图像编辑：它能根据指令准确编辑图像中的特定区域，效果优于其他模型。研究人员使用 Reason-Edit 数据集来测试这一任务，评估指标包括 PSNR 和 SSIM（主要用于评估背景编辑效果），以及 CLIP Score（用于评估前景编辑区域）。

图像生成：研究人员使用了 NSR-1K 数据集，并通过 GLIP 方法来评估生成图像中的边界框。实验表明，Vicuna-v1.5 能生成布局合理的图像，比起其他方法，它生成的图像更一致、更准确。

多模态生成：研究团队分别使用了 COCO-caption、MSR-VTT 和 AudioCaps 这几个数据集来评估模型的表现。实验表明，模型还能根据文字生成图像、视频和音频，内容质量很高，和文字的匹配度也很不错。

通过一系列的视觉展示，模型不仅在多模态理解、分割、生成和编辑等任务中表现优异，还展现了很强的泛化能力。这意味着它不仅能在训练中见过的任务上表现出色，还能成功应对一些在训练中未遇到的新任务，比如从图像和音频生成视频。

结论

UnifiedMLLM是一种新型的模型，它能够处理多种不同类型的数据任务，统称为多模态任务。简单来说，多模态任务是指涉及多种信息来源（如图像、文字等）的任务。而UnifiedMLLM的特别之处在于它通过一种统一的表示方法来处理这些多模态任务，打破了过去针对每种任务都需要专门设计模型的局限。

尽管UnifiedMLLM已经展示了强大的能力，但它也有一些明显的局限性：

(1) 依赖外部模型：当前版本的UnifiedMLLM在处理多模态任务时，仍然依赖外部的专家模型。这意味着它的能力在一定程度上受限于这些外部模型的表现。

(2) 处理多模态信息的挑战：现阶段，UnifiedMLLM在处理单一模态（如只有图像或文字）时表现很好，但在同时处理交织的多模态信息时，仍然存在挑战。

参考文献

本文章基于以下论文内容整理和总结：

论文名称: SEED-Story: Multimodal Long Story Generation with Large Language Model

论文作者: 香港科技大学

发表日期: 2024.07.11

原文链接: https://arxiv.org/abs/2407.08683

github: https://github.com/TencentARC/SEED-Story

我是唐国梁Tommy，专注于分享AI前沿技术。

我将每天整理最新的前沿AI技术论文，总结最新的研究成果和技术趋势，希望这些内容能在不断变化的技术领域中为你带来新的机遇和突破。

关注我，每天学习新知识。