本Up专注于更新现有关于持续学习/终身学习/增量学习（Continual Learning/Lifelong Learning/Incremental Learning）的顶会顶刊论文，您的点赞、收藏、投币、转发或者任何反馈是思齐君更新的最大动力！！！

WX：wxk779963184、E-mail：xiangkunwang18@gmail.com （随时欢迎学术“骚扰”）

Unlocking the power of function vectors for characterizing and mitigating catastrophic forgetting in continual instruction tuning（Oral）

论文出处：https://arxiv.org/pdf/2502.11019

论文作者信息：

主要研究内容：

这篇文章的核心内容是研究如何在持续学习（Continual Learning）的场景下，通过函数向量（Function Vector, FV）来表征和缓解大型语言模型（Large Language Models, LLMs）中的灾难性遗忘（Catastrophic Forgetting, CF）问题。文章通过理论分析和实验验证，提出了一种基于函数向量引导的训练方法（Function Vector Guided Training），以减少模型在学习新任务时对旧知识的遗忘。

背景知识

持续学习是指模型在不断学习新任务的过程中，需要保持对之前学习任务的记忆，避免灾难性遗忘。灾难性遗忘是指模型在学习新任务时，会遗忘之前已经学习到的知识。这对于大型语言模型来说是一个重要的挑战，因为它们需要不断地适应新的任务和领域。

研究方法

文章首先通过实验发现，模型的遗忘行为受到训练任务的性质、模型的状态以及模型本身的特性的影响。为了深入理解遗忘现象，作者引入了函数向量（FV）的概念。函数向量是一种紧凑的向量表示，能够捕捉模型在特定任务上的输入-输出函数。通过分析函数向量的变化，作者试图揭示模型遗忘的内在机制。

函数向量的提取和分析

函数向量是通过激活修补（activation patching）技术从模型的隐藏状态中提取的。具体来说，通过在上下文学习（in-context learning, ICL）的输入上进行因果分析，确定了与任务相关的注意力头（attention heads），并将这些头的激活值相加得到函数向量。文章通过理论和实证分析发现，遗忘主要是由于输入到潜在概念变量的映射发生偏移，而不是因为之前学习的任务处理函数被覆盖。

函数向量引导的训练方法

基于上述分析，作者提出了一种新的训练方法，通过在训练过程中引入正则化技术来稳定函数向量，从而减轻遗忘。具体来说，这种方法包括两个主要的正则化项：

1. **函数向量一致性损失（FV consistency loss）**：限制与训练任务相关的函数向量的变化，保持模型对输入到函数向量的映射不变。

2. **函数向量引导的KL散度损失（FV-guided KL divergence loss）**：通过最小化零样本输入和经过函数向量干预后的输出之间的差异，确保微调后的模型与内部任务函数保持一致。

实验

作者在四个不同的语言模型（Llama2-7b-chat、Llama2-13B-chat、Llama3-8B-chat、Mistral-7B-instruct-v2.0）上进行了实验，使用了SuperNI和TRACE两个基准测试集。实验结果表明，函数向量引导的训练方法在减轻遗忘方面非常有效，显著提高了模型在一般任务和上下文学习任务上的性能。

关键结论

- 函数向量的变化与遗忘行为之间存在强烈的关联。

- 通过添加源函数向量（source FV）或减去目标函数向量（target FV），可以显著减轻遗忘。

- 函数向量引导的训练方法在多个数据集和模型上都显示出良好的效果，能够有效减轻遗忘，同时保持对新任务的学习能力。

研究意义

这项研究不仅提供了一种新的视角来理解和分析大型语言模型中的遗忘现象，还提出了一种有效的训练方法来缓解这一问题。这对于开发能够持续学习新知识而不遗忘旧知识的智能系统具有重要意义。通过这种方法，可以更好地利用大型语言模型的潜力，使其在不断变化的任务和环境中保持性能。

S-LoRA: Scalable Low-Rank Adaptation for Class Incremental Learning（Oral）

论文出处：https://arxiv.org/pdf/2501.13198

论文作者信息：

主要研究内容：

这篇文章提出了一种名为S-LoRA（Scalable Low-Rank Adaptation）的持续学习（Continual Learning, CL）方法，旨在解决在连续学习新任务时如何有效利用预训练模型（foundation models）的问题。S-LoRA通过增量地解耦LoRA参数的方向和幅度学习，实现了在测试阶段无需选择过程的高效推理，同时在持续学习过程中保持了模型的稳定性和可塑性。

背景知识

持续学习是指模型在不断学习新任务的过程中，需要保持对之前学习任务的记忆，避免灾难性遗忘（Catastrophic Forgetting）。预训练模型（如大型语言模型或视觉Transformer）在持续学习中显示出减少灾难性遗忘的潜力。然而，现有的基于提示（prompt-based）的方法依赖于精确的提示选择机制，这不仅增加了计算开销，而且随着任务数量的增加，其可扩展性也受到限制。

研究方法

S-LoRA的核心思想是增量地解耦LoRA参数的方向和幅度学习。具体来说，S-LoRA在训练每个新任务时，不仅学习当前任务的LoRA参数，还保留之前任务学习到的方向，并通过可学习的缩放因子α来调整这些方向的幅度。这种方法允许模型在测试阶段直接使用最后阶段训练的模型进行推理，而无需选择过程，从而提高了推理效率。

S-LoRA算法

S-LoRA算法的核心是将LoRA参数的更新分解为方向和幅度两部分。在训练当前任务时，模型会学习一个新的LoRA方向和对应的幅度，同时保留之前任务学习到的方向。通过这种方式，S-LoRA能够有效地利用之前学习到的知识，减少对新任务的遗忘。

理论分析

文章通过理论分析证明了S-LoRA学习过程中的一个重要现象：随着训练的进行，新学习的方向与之前学习的方向逐渐对齐，但随着训练的深入，新方向开始偏离旧方向，引入细微的变化。此外，文章还证明了S-LoRA通过调整幅度来寻找低损失路径，最终收敛到一个共享的低损失区域，从而实现了不同任务之间的平衡。

高效版本

基于上述分析，文章提出了两个高效的S-LoRA变体：ES-LoRA1（动态秩）和ES-LoRA2（知识蒸馏）。ES-LoRA1通过在训练过程中逐步降低新学习方向的秩来减少参数数量；ES-LoRA2则通过最小二乘拟合来检查新学习的方向是否可以用之前学习的方向来替代，从而进一步减少参数。

实验

文章在多个持续学习基准测试（如ImageNet-R、ImageNet-A、DomainNet等）上进行了广泛的实验，验证了S-LoRA及其高效变体的有效性。实验结果表明，S-LoRA在所有基准测试中均优于现有的方法，包括L2P、Dual-Prompt、Coda-Prompt、Hide-Prompt和InfLoRA。此外，S-LoRA不需要存储样本特征，这使得它在实际应用中更加可持续。

关键结论

- S-LoRA通过解耦LoRA参数的方向和幅度学习，实现了在测试阶段无需选择过程的高效推理。

- S-LoRA能够自动学习低损失路径，最终收敛到一个共享的低损失区域，从而在不同任务之间实现平衡。

- S-LoRA及其高效变体在多个持续学习基准测试中均取得了优异的性能，证明了其在减少灾难性遗忘方面的有效性。

研究意义

S-LoRA的提出为持续学习领域提供了一种新的视角，即通过解耦参数的方向和幅度学习来提高模型的稳定性和可塑性。这种方法不仅提高了推理效率，还减少了对存储样本特征的需求，使得持续学习更加可持续。通过S-LoRA及其高效变体，文章展示了在预训练模型上进行持续学习的潜力，为未来的研究提供了新的方向。

Theory on mixture-of-experts in continual learning

论文出处：https://arxiv.org/pdf/2406.16437

论文作者信息：

主要研究内容：

这篇文章的核心内容是研究混合专家模型（Mixture-of-Experts, MoE）在持续学习（Continual Learning, CL）中的表现和理论特性。文章通过理论分析和实验验证，探讨了MoE模型如何有效缓解持续学习中的灾难性遗忘（Catastrophic Forgetting）问题，并提出了相关的训练策略和理论结果。

背景知识

持续学习是指模型在不断学习新任务的过程中，需要保持对之前学习任务的记忆，避免灾难性遗忘。MoE模型通过一个门控网络（gating network）将不同的任务分配给多个专家（experts），每个专家可以专注于学习特定的任务或任务簇。这种方法在处理新任务时能够减少对旧任务的遗忘，但目前对于MoE在持续学习中的理论分析还相对较少。

研究方法

文章通过理论分析和实验验证来研究MoE在持续学习中的表现。具体方法如下：

1. **理论分析**：文章首次提供了MoE在持续学习中的理论结果，通过过参数化线性回归任务来表征MoE的影响。研究发现，MoE模型能够通过门控网络将专家多样化，使每个专家专注于不同的任务，同时路由器学会为每个任务选择正确的专家，并在所有专家之间平衡负载。

2. **训练策略**：文章提出了一个关键的设计，即在持续学习中，需要在足够的训练轮次后终止门控网络的更新，以实现系统的收敛。这一策略与现有的MoE研究不同，后者通常不需要考虑任务的连续到达。

3. **性能评估**：文章提供了预期遗忘和整体泛化误差的显式表达式，以表征MoE在持续学习中的学习性能。这些表达式表明，与单个专家相比，MoE模型显著提高了学习性能，尤其是在任务数据分布变化较大时。

实验

文章在合成数据和真实数据集上进行了广泛的实验，以验证理论分析。实验结果表明，MoE模型在持续学习中确实能够有效减少遗忘，并且在任务数据分布变化较大时表现更好。此外，实验还表明，添加更多的专家并不一定能提高学习性能，反而可能延迟收敛。

关键结论

1. **MoE的优势**：MoE模型通过将专家多样化并专注于不同任务，显著提高了持续学习中的学习性能，尤其是在任务数据分布变化较大时。

2. **门控网络的更新策略**：在持续学习中，MoE模型需要在足够的训练轮次后终止门控网络的更新，以实现系统的收敛。

3. **性能评估**：文章提供了预期遗忘和整体泛化误差的显式表达式，这些表达式表明MoE模型在持续学习中能够有效减少遗忘和提高泛化性能。

4. **实验验证**：实验结果支持了理论分析，表明MoE模型在持续学习中能够有效减少遗忘，并且在任务数据分布变化较大时表现更好。

研究意义

这篇文章为理解MoE在持续学习中的作用提供了新的理论视角，并提出了有效的训练策略。这些发现不仅有助于设计更有效的持续学习算法，还为未来的研究提供了新的方向。通过MoE模型，可以在不断变化的任务环境中更好地保持模型的性能，这对于开发能够适应新任务的智能系统具有重要意义。

Budgeted online continual learning by adaptive layer freezing and frequency-based sampling

论文出处：https://arxiv.org/pdf/2410.15143

论文作者信息：

主要研究内容：

本文提出了一种在线持续学习（Online Continual Learning, CL）方法，名为**aL-SAR（adaptive Layer freezing and Similarity-Aware Retrieval）**，旨在在有限的计算和存储预算下提高模型的学习效率和性能。文章的核心贡献包括：

1. **计算和存储预算的统一衡量标准**：文章提出使用**浮点运算次数（FLOPs）**和**总内存大小（以字节为单位）**作为衡量计算和存储预算的统一标准，以公平地比较不同持续学习算法在相同的“总资源预算”下的性能。

2. **自适应层冻结（Adaptive Layer Freezing）**：为了减少计算成本，文章提出了一种自适应层冻结策略。该策略根据每个小批次（mini-batch）的信息量来选择性地冻结网络的某些层，从而在不显著损失准确率的情况下减少计算量。具体来说，通过最大化每层的**费舍尔信息（Fisher Information, FI）**来选择最优的冻结层。

3. **基于频率的样本检索策略（Similarity-Aware Retrieval）**：为了提高模型的学习效率，文章提出了一种新的样本检索方法。该方法根据样本的**使用频率**和**类别间梯度相似性**来选择训练样本，优先选择那些模型尚未充分学习的样本，从而减少训练迭代次数。

研究背景

在现实场景中，数据以流的形式到达，持续学习算法需要在有限的计算和存储资源下有效地学习新知识，同时避免对旧知识的灾难性遗忘（Catastrophic Forgetting）。然而，大多数现有的在线持续学习方法都限制了训练的迭代次数（通常为单次迭代）和重放记忆（replay memory）的大小，这使得不同算法之间的比较不够公平。因此，文章提出了一种新的方法，通过统一的计算和存储预算来衡量和比较不同的持续学习算法。

研究方法

自适应层冻结（Adaptive Layer Freezing）

- **费舍尔信息（Fisher Information, FI）**：用于衡量每层从输入数据中获得的信息量。通过计算每层的FI，文章提出了一种动态选择冻结层的方法，以最大化每单位计算量所获得的信息量。

- **批量冻结准则（Batch-wise Freezing Criterion, BFC）**：通过比较冻结某些层所损失的信息量和通过节省计算量所获得的未来信息量，动态地决定是否冻结某些层。

基于频率的样本检索策略（Similarity-Aware Retrieval）

- **使用频率（Use Frequency）**：记录每个样本在训练中被使用的次数，以衡量样本对模型的贡献。

- **有效使用频率（Effective Use Frequency）**：考虑了样本之间的梯度相似性，通过类间梯度相似性调整样本的使用频率，从而更准确地反映样本对模型学习的贡献。

- **检索概率（Retrieval Probability）**：根据有效使用频率计算样本的检索概率，优先选择那些模型尚未充分学习的样本进行训练。

实验验证

文章在多个标准数据集（CIFAR-10/100、CLEAR-10/100、ImageNet-1K）上进行了广泛的实验，验证了aL-SAR方法的有效性。实验结果表明，aL-SAR在相同的计算和存储预算下，显著优于现有的多种在线持续学习方法。具体来说：

- 在CIFAR-10和CIFAR-100的高斯任务设置和离散任务设置中，aL-SAR在不同的计算预算下均表现出色，尤其是在低计算预算下，其性能提升更为显著。

- 在ImageNet-1K和CLEAR-10/100数据集上，aL-SAR不仅在有限的计算和存储预算下表现出色，还在处理大规模数据集和时间域偏移时展现了良好的适应性。

关键结论

文章通过引入自适应层冻结和基于频率的样本检索策略，有效地提高了在线持续学习算法在有限资源预算下的性能。通过统一的计算和存储预算衡量标准，aL-SAR在多个基准测试中均优于现有的先进方法，证明了其在实际应用中的潜力和优势。

A second-order perspective on model compositionality and incremental learning

论文出处：https://arxiv.org/pdf/2405.16350

论文作者信息：

主要研究内容：

本文的核心内容是关于**汽车电子控制单元（ECU）的网络安全防护技术**，特别是针对**远程无钥匙进入系统（RKE）**和**胎压监测系统（TPMS）**的潜在网络攻击及其防护措施。文章详细分析了这些系统可能面临的网络攻击类型，并提出了相应的安全防护策略，以确保汽车电子系统的安全性和可靠性。

背景知识

随着汽车电子技术的快速发展，汽车中的电子控制单元（ECU）数量不断增加，这些ECU通过各种通信协议相互连接，形成了复杂的汽车网络。这种网络化的发展虽然提高了汽车的智能化和自动化水平，但也带来了网络安全风险。特别是远程无钥匙进入系统（RKE）和胎压监测系统（TPMS）等关键系统，由于其无线通信特性，更容易受到网络攻击。

研究方法

文章首先对RKE和TPMS系统的通信协议进行了详细分析，识别了可能的攻击点。然后，通过模拟攻击场景，验证了这些系统在面对网络攻击时的脆弱性。基于这些分析，文章提出了多种安全防护措施，包括加密技术、认证机制和异常检测系统。

实验与关键结论

1. **RKE系统攻击与防护**

  - **攻击类型**：文章分析了RKE系统可能面临的攻击类型，包括重放攻击、中间人攻击和干扰攻击等。

  - **防护措施**：提出了基于时间戳和随机数的加密认证机制，以及使用滚动代码（rolling code）技术来防止重放攻击。

  - **实验结果**：通过实验验证了这些防护措施的有效性，表明加密认证机制能够有效防止未经授权的访问，而滚动代码技术可以显著提高系统的抗重放攻击能力。

2. **TPMS系统攻击与防护**

  - **攻击类型**：TPMS系统可能面临的攻击包括数据篡改、信号干扰和伪造信号等。

  - **防护措施**：提出了使用加密技术对TPMS数据进行加密，以及通过认证机制确保数据的完整性和真实性。

  - **实验结果**：实验结果表明，加密和认证机制能够有效防止数据篡改和伪造信号攻击，提高了系统的安全性。

关键数值结果

- **RKE系统**：在实验中，使用加密认证机制后，系统的安全性显著提高，未经授权的访问尝试被有效阻止，重放攻击的成功率从100%降低到0%。

- **TPMS系统**：通过加密和认证机制，数据篡改和伪造信号攻击的成功率从100%降低到0%，系统的安全性和可靠性得到了显著提升。

结论

文章通过详细的分析和实验验证，展示了RKE和TPMS系统在面对网络攻击时的脆弱性，并提出了有效的安全防护措施。这些措施能够显著提高系统的安全性，防止未经授权的访问和数据篡改，确保汽车电子系统的正常运行。文章强调了在汽车电子系统设计中考虑网络安全的重要性，并为未来的汽车网络安全研究提供了有价值的参考。

未来工作

文章建议未来的研究可以进一步探索更先进的加密技术和认证机制，以应对日益复杂的网络攻击。此外，还可以研究如何将这些安全措施集成到现有的汽车电子系统中，以实现更广泛的商业化应用。

Learning continually by spectral regularization

论文出处：https://arxiv.org/pdf/2405.16350

论文作者信息：

主要研究内容：

本文的核心内容是关于**持续学习（Continual Learning）**中的一个重要问题：**神经网络的可训练性（trainability）**在学习过程中逐渐丧失的现象，以及如何通过**谱正则化（spectral regularization）**来改善这一问题。文章提出了一种新的技术，通过维持神经网络参数的谱特性来增强持续学习中的可训练性，并在多个数据集和模型架构上验证了其有效性。

背景知识

持续学习的目标是让机器学习算法能够持续地学习新知识，同时适应数据分布的动态变化。然而，现有的学习算法在面对数据分布的非平稳性时，往往会遇到**可训练性丧失（loss of plasticity）**的问题，即神经网络在学习新任务时变得越来越难以训练。这种现象在持续学习中尤为突出，因为网络需要不断地适应新的数据分布。

研究方法

文章从神经网络参数的谱特性入手，观察到在训练初期，参数的奇异值（singular values）对于可训练性至关重要。特别是，保持每一层的最大奇异值接近1，可以有效维持网络的可训练性。基于这一观察，文章提出了**谱正则化（spectral regularization）**，通过正则化每一层的谱范数（spectral norm），确保其不偏离1太远，从而直接维持训练初期的有益特性。

实验与关键结论

文章通过一系列实验验证了谱正则化的效果，实验涵盖了多种数据集（如tiny-ImageNet、CIFAR10、CIFAR100等）、不同的非平稳性类型（如随机标签分配、像素排列、标签翻转等）以及多种模型架构（如ResNet-18和Vision Transformer）。实验结果表明：

1. **谱正则化在多种设置下均能有效维持可训练性**，即使在面对大量任务和长时间训练时，也能保持较高的性能。

2. **谱正则化对超参数不敏感**，在不同的正则化强度下都能保持较好的性能，这使得它在实际应用中更加鲁棒。

3. **谱正则化在持续学习中表现出色**，不仅在监督学习任务中有效，还在强化学习任务中展示了其优势，特别是在高重放比率（replay ratio）的设置下，能够有效避免早期可塑性丧失。

关键数值结果

- 在**tiny-ImageNet**上，使用ResNet-18和Vision Transformer进行实验，谱正则化在所有非平稳性类型下均表现最佳，尤其是在类别增量学习（class-incremental learning）中。

- 在**SVHN2、CIFAR10和CIFAR100**上，谱正则化在像素排列任务中保持了较高的测试精度，而其他基线方法则随着任务数量的增加而性能下降。

- 在**强化学习**中，谱正则化在DMC基准测试中显著提高了策略的性能，尤其是在有限的重放缓冲区大小下，谱正则化优于仅使用LayerNorm的基线。

结论

文章提出了一种新的谱正则化方法，通过维持神经网络参数的谱特性来增强持续学习中的可训练性。实验结果表明，这种方法在多种数据集、非平稳性和模型架构上都能有效维持可训练性，并且对超参数不敏感。此外，谱正则化在强化学习中也展示了其优势，表明其具有广泛的应用潜力。

Self-Normalized Resets for Plasticity in Continual Learning

论文出处：https://arxiv.org/pdf/2410.20098

论文作者信息：

主要研究内容：

这篇文章的主要研究内容是关于持续学习（Continual Learning）中的一个现象——**可塑性损失（Plasticity Loss）**，以及提出一种新的方法——**自归一化重置（Self-Normalized Resets, SNR）**，用于缓解这一现象。以下是文章的核心内容和贡献的详细介绍：

1. 研究背景

持续学习是指神经网络在连续的任务序列上进行训练时，能够不断适应新任务的能力。然而，在持续学习过程中，网络的可塑性（即适应新任务的能力）会随着时间推移而逐渐下降，这种现象被称为**可塑性损失**。文章指出，可塑性损失与灾难性遗忘（Catastrophic Forgetting）不同，但它在实际应用中同样重要，例如在预训练语言模型和强化学习中。

2. 研究动机

文章提出，可塑性损失的一个重要原因是随着训练的进行，网络中越来越多的神经元变得不活跃（即“死亡”神经元）。这些不活跃的神经元减少了网络的有效容量，从而降低了网络对新任务的适应能力。因此，文章提出了一种新的方法——**自归一化重置（SNR）**，通过在检测到神经元的激活率接近零时重置其权重，从而缓解可塑性损失。

3. 自归一化重置（SNR）算法

SNR算法的核心思想是基于假设检验来决定是否重置神经元。具体来说，算法通过跟踪神经元的激活间隔时间，并使用这些间隔时间的直方图来估计神经元的激活率。如果神经元的激活率显著低于某个阈值（即假设检验拒绝了神经元以正率激活的假设），则重置该神经元的权重。这种方法的关键在于：

- **自归一化**：通过使用神经元自身的激活间隔时间分布来设定重置阈值，而不是使用固定的阈值。

- **动态调整**：重置阈值会根据神经元的激活频率动态调整，频繁激活的神经元需要更长时间的不活跃才会被重置，而不频繁激活的神经元则需要较短时间。

4. 实验设计与结果

文章通过一系列实验验证了SNR算法的有效性。实验包括以下几种持续学习问题：

- **Permuted MNIST**：对MNIST数据集的图像进行随机排列的任务序列。

- **Random Label MNIST**：随机分配标签的任务序列。

- **Random Label CIFAR**：在CIFAR-10数据集上随机分配标签的任务序列。

- **Continual ImageNet**：使用ImageNet数据集的二分类任务序列。

- **Permuted Shakespeare**：对莎士比亚文本进行随机排列的任务序列，用于测试Transformer架构。

实验结果表明：

- **性能提升**：SNR在所有实验问题中均优于或至少与现有方法相当，特别是在处理大规模语言模型时。

- **鲁棒性**：SNR对超参数（如重置阈值）的选择非常鲁棒，而其他方法则对超参数非常敏感。

- **结合正则化**：在Transformer架构中，SNR与L2正则化结合使用时效果最佳，表明重置和正则化在维持可塑性方面具有互补作用。

5. 理论分析

文章还对学习单个ReLU神经元的问题进行了理论分析。通过构建一个简单的假设检验框架，文章证明了SNR在理论上能够更准确地检测神经元的不活跃状态，并且在某些情况下，SNR能够学习到目标ReLU神经元，而基于正则化的方法则可能失败。

6. 结论

文章总结了SNR算法的主要贡献：

- 提出了一种新的自归一化重置机制，能够动态地根据神经元的激活频率调整重置阈值。

- 在多种持续学习问题和网络架构上验证了SNR的有效性。

- 展示了SNR对超参数的鲁棒性，以及在大规模语言模型中的应用潜力。

- 提供了理论支持，证明了SNR在学习单个ReLU神经元时的优越性。

文章指出，尽管SNR在缓解可塑性损失方面取得了显著进展，但仍存在一些局限性，例如在更大规模的模型和数据集上的应用需要进一步研究。

C-CLIP: Multimodal Continual Learning for Vision-Language Model

论文出处：https://openreview.net/pdf?id=sb7qHFYwBc

论文作者信息：

主要研究内容：

这篇文章的主要研究内容是关于**持续学习（Continual Learning, CL）**在多模态视觉-语言模型（Vision-Language Model, VLM）中的应用，特别是针对像CLIP这样的预训练模型。文章的核心目标是解决在持续学习新领域时如何保持模型原有性能的问题，同时提出了一种名为**C-CLIP**的新框架，用于提升模型在多模态任务中的持续学习能力。

1. 研究背景

多模态预训练模型（如CLIP）在处理图像-文本对时表现出色，但它们在处理未见过领域的图像-文本对时表现不佳。直接在特定领域的数据集上微调CLIP模型会导致灾难性遗忘（Catastrophic Forgetting），即模型会忘记之前学到的知识，包括CLIP的原始通用表示（零样本泛化能力）和其他已学习任务的知识。此外，重新训练CLIP的成本高昂，因此需要一种能够在开放世界中持续学习新领域的有效方法，同时保留原始性能。

2. 研究动机

文章指出，当前的持续学习研究主要集中在单模态场景中，而在多模态设置中，问题更加复杂。CLIP能够处理图像分类和纯多模态任务，但在这两种任务中，遗忘和适应性的挑战差异显著。此外，现有的视觉-语言模型（VLM）评估标准不足，没有考虑图像-文本匹配性能和零样本性能的遗忘。因此，文章提出了一个新的多模态视觉-语言持续学习（VLCL）基准，并提出了C-CLIP框架。

3. C-CLIP框架

C-CLIP框架的核心在于两个方面：

1. **减少可训练参数**：通过低秩适应（LoRA）技术减少模型的可训练参数，从而减少遗忘。LoRA通过引入两个低秩分解矩阵来调整模型的权重，而不是直接调整所有权重。

2. **对比知识巩固（Contrastive Knowledge Consolidation, CKC）**：CKC通过在投影空间中对旧的和新的图像-文本样本进行对比学习，不仅减少了对旧任务的遗忘，还增强了对新任务的学习能力。

4. 实验设计与结果

文章通过一系列实验验证了C-CLIP的有效性。实验包括：

- **多模态持续学习**：使用Flickr30K、COCO等八个图像-标题数据集进行持续微调，并在所有数据集上评估性能。

- **零样本检索**：在未见数据集HAVG上评估检索性能。

- **零样本分类**：在ImageNet、CIFAR-100等六个图像分类数据集上评估零样本性能。

实验结果表明：

- C-CLIP在多模态持续学习任务中显著优于现有方法，例如在Flickr30K和COCO数据集上，C-CLIP的图像到文本（I2T）和文本到图像（T2I）检索性能显著高于其他方法。

- 在零样本分类任务中，C-CLIP保持了较高的零样本性能，例如在ImageNet-1K上，C-CLIP在持续学习8个数据集后，零样本准确率仅下降了7.42%，远低于其他方法。

5. 理论分析

文章还提供了理论分析，证明了通过减少可训练参数（LoRA）可以实现与现有复杂持续学习方法相似的效果。此外，CKC通过对比学习优化了CLIP的目标，使得模型在学习新任务时能够更好地利用旧模型的特征空间。

6. 结论

文章总结了C-CLIP的主要贡献：

- 提出了一个多模态持续学习基准，强调视觉-语言模型在保留原始通用性能的同时学习新的图像-文本数据。

- 提出了C-CLIP方法，通过低秩适应和对比知识巩固，首次实现了“学习更多，遗忘更少”的目标。

- 通过广泛的实验验证了C-CLIP在不同领域图像-文本数据集上的强大持续学习能力，且没有灾难性遗忘。

文章指出，尽管C-CLIP在持续学习方面取得了显著进展，但其主要针对基于对比学习的视觉-语言模型（如CLIP）。未来的工作将探索将C-CLIP应用于更先进的多模态大型语言模型（如LLaVA）。

Coreset selection via reducible loss in continual learning

论文出处：https://openreview.net/pdf?id=mAztx8QO3B

论文作者信息：

主要研究内容：

这篇文章的核心内容是关于**持续学习（Continual Learning, CL）**中的**Coreset选择**问题，提出了一种基于**可约损失（Reducible Loss）**的新方法，用于在持续学习过程中选择更具代表性和信息量的样本，以提高模型在新任务上的学习能力和对旧任务的记忆能力。

1. 研究背景

持续学习的目标是让模型能够在不断变化的数据流中学习新知识，同时保留之前学到的知识。然而，传统的持续学习方法（如经验回放，Experience Replay, ER）在选择记忆样本时存在一些问题，例如可能会选择一些模糊或噪声样本，这些样本对模型的性能提升帮助不大，甚至可能产生负面影响。此外，现有的双层优化方法（如Greedy Coreset和PBCS）在选择Coreset时计算成本高昂，且可能选择到不具代表性的样本。

2. 研究动机

文章指出，现有方法在选择样本时没有充分考虑样本的质量，例如模糊或噪声样本可能会因为高损失值而被选中，但这些样本实际上对模型的性能提升贡献甚微。为了克服这一问题，文章提出了一种新的Coreset选择方法，通过**可约损失（Reducible Loss）**来评估样本对模型性能提升的贡献，并选择那些能够最大化性能提升的样本。

3. Coreset选择方法

文章提出了一种基于**可约损失（CSRL, Coreset Selection Reducible Loss）**的Coreset选择方法。该方法的核心思想是通过计算样本在当前模型和完整数据集模型之间的损失差异来评估样本的性能提升。具体来说，对于每个样本，计算其在当前模型上的损失与在完整数据集模型上的损失之差，这个差值即为可约损失。可约损失越高，说明该样本对模型性能提升的贡献越大，因此应优先选择。

4. 持续学习中的Coreset选择

文章将提出的Coreset选择方法应用于持续学习任务，提出了**CSRL-CL**（Coreset Selection for Continual Learning）方法。在持续学习过程中，每个任务的数据集被用来选择一个Coreset，这些Coreset被存储在记忆中，用于在后续任务中进行回放，以减轻遗忘。此外，文章还提出了一种考虑先前任务的Coreset选择方法**CSRL-CL-Prv**，通过在选择过程中考虑先前任务的数据，进一步减少任务间的干扰。

5. 实验验证

文章通过一系列实验验证了所提出方法的有效性。实验包括数据总结任务和持续学习任务，使用了MNIST、CIFAR-10、CIFAR-100等数据集。实验结果表明，与现有方法相比，CSRL方法在数据总结任务中能够选择更具代表性的样本，并在持续学习任务中取得了更好的性能，尤其是在处理噪声数据时表现更为稳健。

6. 关键结论

- **性能提升**：CSRL方法在多个数据集上均优于现有方法，尤其是在CIFAR-10和CIFAR-100等复杂数据集上。

- **噪声鲁棒性**：CSRL方法在噪声数据条件下表现出色，能够有效避免选择噪声样本。

- **效率提升**：与现有的双层优化方法相比，CSRL方法在计算效率上具有显著优势，尤其是在处理大规模数据集时。

- **持续学习能力**：CSRL方法在持续学习任务中表现出色，能够有效减少遗忘，同时提高对新任务的学习能力。

7. 未来工作

文章指出，未来的工作将探索将Coreset选择方法应用于更大的预训练模型，例如在微调阶段选择Coreset，以帮助模型在获得新知识的同时保持泛化能力。此外，还将进一步研究如何在不同的持续学习场景中优化Coreset选择策略，以提高模型的整体性能。

STAR: Stability-Inducing Weight Perturbation for Continual Learning

论文出处：https://arxiv.org/pdf/2503.01595?

论文作者信息：

主要研究内容：

这篇文章的主要研究内容是提出了一种名为STAR（STability-inducing weight perturbation for Continual Learning）的新型损失函数，用于改善持续学习（Continual Learning, CL）中的灾难性遗忘（catastrophic forgetting）问题。以下是文章的核心内容介绍：

研究背景

- **持续学习（Continual Learning）**：持续学习是一种模仿人类学习方式的机器学习范式，目标是让模型能够像人类一样，随着新任务的出现不断更新知识，而不会遗忘之前学到的内容。然而，现有的机器学习模型在面对新任务时，往往会遗忘之前学到的知识，这种现象被称为灾难性遗忘。

- **现有方法的局限性**：目前缓解灾难性遗忘的一种流行方法是基于回放（rehearsal-based）的方法，即在训练新任务时，同时回放少量之前见过的数据样本。尽管这种方法能够减少遗忘，但由于缓冲区（buffer）容量有限，遗忘现象仍然存在。

研究方法

- **STAR损失函数**：文章提出了一种新的损失函数STAR，通过在局部参数邻域内引入最坏情况下的参数扰动（worst-case parameter perturbation），来减少模型预测的KL散度（Kullback-Leibler divergence），从而提高模型预测的稳定性，减轻遗忘。

- **工作原理**：STAR的核心思想是，如果模型在局部参数邻域内的输出分布保持稳定，那么未来的参数更新就不会导致遗忘。具体来说，STAR通过以下步骤实现：

 1. **扰动参数**：首先对网络参数进行扰动，使其尽可能改变网络输出。

 2. **优化目标**：然后利用扰动后的参数的梯度来优化目标函数，引导模型参数进入输出更稳定的区域。

- **插件式组件**：STAR可以作为一个插件式组件，与几乎任何现有的基于回放的持续学习方法结合使用，而无需对这些方法进行大量修改。

实验验证

- **实验设置**：作者在多个持续学习基准数据集上进行了广泛的实验，包括Split-CIFAR10、Split-CIFAR100和Split-miniImagenet。这些数据集被划分为多个任务，模型需要在不遗忘之前任务的情况下学习新任务。

- **实验结果**：实验结果表明，STAR能够显著提高现有方法的性能，平均准确率在不同基线上提高了约15%。此外，STAR在不同缓冲区大小和数据集上的表现均优于或接近现有的最先进的持续学习方法。

- **消融研究**：作者还进行了消融实验，验证了STAR中不同组件（如使用正确分类的样本、使用梯度扰动而非随机扰动）对最终性能的贡献，进一步确认了STAR设计的有效性。

研究贡献

- 提出了一种新的遗忘代理指标（surrogate measure of forgetting），并优化该指标以增加未来模型更新的灵活性，减少训练过程中的遗忘。

- STAR不依赖于任务边界或任务标签，仅需要一个记忆缓冲区，可以作为插件式组件与现有持续学习基线方法结合使用。

- 通过大量实验验证了STAR在多个持续学习基线上的性能提升，并与其他增强方法进行了比较，展示了其优越性。

- 进行了探索性实验和消融研究，验证了STAR中不同组件的重要性。

结论

文章通过引入STAR损失函数，为持续学习领域提供了一种新的视角，即通过优化局部参数空间内模型预测分布的变化来减轻遗忘。STAR作为一种通用的插件式组件，能够显著提升现有基于回放的持续学习方法的性能，为解决持续学习中的灾难性遗忘问题提供了一种有效的解决方案。

您的点赞、收藏、投币、转发或者任何反馈是思齐君更新的最大动力！！！