最近看NeurIPS 2025的论文，发现小样本学习和Transformer居然玩出了新花样！之前咱们总吐槽小样本学习，就那么几张标注数据，遇到复杂场景比如认罕见病的医学影像、辨小众零件的缺陷，精度立马掉下来；而Transformer虽然擅长抓全局特征，但单独用在小样本任务上，总有点材小用，还容易学偏。

结果有团队把两者揉到一起，居然直接解决了这个老问题。他们没搞太复杂的花活，就是针对性改了Transformer的注意力机制，再加上个轻量化的特征适配模块，让模型既能像Transformer那样抓准关键特征关联，又能靠小样本快速上手新任务。试下来效果喜人，比之前的小样本模型准确率高了20%多，像那种只有20张标注图的检测任务，居然也能稳得住精度。

这对想发顶会或者做实际应用的同学来说，这思路简直白送，既解决了真实场景里数据少的痛点，技术上又有明确的创新点。我整理了10篇相关的前沿论文，顶会/顶刊论文＋部分官方代码打包免费送，感兴趣的同学扫码回复 “trans小样本” 领取。

Transformer-Based Cross-Domain Few-Shot Learning for Hyperspectral Target Detection

文章解析

针对高光谱目标检测中目标先验信息有限和类别不平衡问题，提出TCFSL模型。通过跨域小样本学习（FSL）结合特征级与分布级域适应（DA），利用Transformer捕捉跨域分布相似性，在六数据集上显著优于12种对比方法，解决了传统方法在跨域场景下的性能瓶颈。 

创新点

跨域小样本学习框架：在源域与目标域构建FSL任务，学习可迁移知识与判别特征，缓解目标先验不足和类别不平衡问题。

双级域适应机制：特征级DA提取域内公共特征，分布级DA通过跨Transformer聚合域间分布信息，减少跨域差异。

联合优化策略：统一训练FSL与DA模块，实现实时信息交互与参数调整，提升模型跨域检测鲁棒性。

研究方法

特征提取与样本生成：利用U-Net和ViT提取光谱-空间特征，结合预检测筛选可靠背景样本，构建小样本训练集。

跨域FSL与DA协同：源域与目标域交替进行FSL任务，同时通过特征级和分布级DA对齐域间特征分布，增强模型泛化能力。

损失函数设计：总损失融合FSL分类损失与DA对抗损失，通过调节权重平衡特征与分布对齐效果。

研究结论

性能显著提升：在IM1-IM6数据集上，TCFSL的AUC值均优于传统及深度学习方法，最高达99.99%，检测精度与背景抑制能力突出。

模块有效性验证：消融实验表明跨域FSL与双级DA协同作用显著，缺失任一模块均导致性能下降超5%

跨域鲁棒性：在不同传感器数据上验证，模型对跨域目标检测具有普适性，为高光谱遥感应用提供新范式。

Task-Adaptive Prompted Transformer for Cross-Domain Few-Shot Learning

文章解析

针对跨域小样本学习（CD-FSL）中领域差异大导致的模型泛化问题，提出MetaPrompt框架。通过基于注意力的任务条件提示生成器动态生成任务自适应提示，结合ViT backbone实现跨域知识迁移。在Meta-Dataset基准上，显著优于现有方法，验证了提示机制在跨域场景中的有效性。 

创新点

利用类感知自注意力和任务感知交叉注意力，从支持特征中提取跨类关系，生成可变长度的任务自适应提示，提升任务描述的可靠性。

将生成的提示注入ViT浅层，通过注意力交互引导模型聚焦任务相关特征，增强跨域适应性，避免传统参数生成方法的线性扩展缺陷。

通过注意力机制共享参数，生成器参数规模显著低于传统卷积生成器，且支持任意长度提示，提升参数效率。 

研究方法

双阶段框架： 

提示生成：支持特征经类感知自注意力提炼跨类关系，再通过任务感知交叉注意力生成提示，融合任务知识。 

ViT适配：将提示插入ViT第二层，通过余弦相似性度量实现原型分类，元测试阶段微调偏置参数增强适应性。

多组件协同：类嵌入（CWE）区分类别，自注意力（CSA）强化样本权重，交叉注意力（TCA）实现提示与特征交互，共同提升任务表征能力。

在Meta-Dataset的13个数据集上对比11种基线，采用ViT-S/Dino预训练权重，验证跨域（OD）和域内（ID）性能。 

研究结论

性能领先：MetaPrompt在总体平均准确率达86.0%，超越TSA∗（83.5%）和PMF（83.8%），尤其在COCO和CF100等未见域提升超4%。

组件有效性：消融实验表明，提示生成器、类嵌入和自注意力分别贡献8.9%、1.5%和2.3%的提升，联合使用效果最佳。

泛化与效率：相比MLP生成器，注意力机制在参数效率和适应性上更优，且提示长度8时性能最佳，验证模型对任务知识的高效捕捉能力。