投稿

NeurIPS2025: SEMPO 仅6.5M参数规模的轻量级时序基础模型

676

2025-12-03 12:22:45

未经作者授权，禁止转载

论文链接：https://arxiv.org/abs/2510.19710 Github链接：https://github.com/mala-lab/SEMPO 针对当前时序基础模型参数量巨大、预训练数据集体量很大以及忽视低能量关键信号的痛点，作者提出了一种全新的轻量级时序基础模型SEMPO。在Transformer架构Encoder-Decoder的基础上，引入两个创新模块，首先提出了EASD（能量感知频谱分解），通过消除 Transformer 的能量偏见，对低频周期信号的捕捉，显著提升了预训练数据的利用率；其次设计了 MoPFormer（混合提示 Transformer），利用轻量级的 Prompt 和自适应路由机制，高效解决了多领域数据的异构适配问题。这项工作证明了，对于通用时序预测的时序基础模型，不能仅通过增大模型规模或者预训练数据集来提升性能。通过合理的归纳偏置设计和高效的频谱建模，在资源受限的环境下依然可以构建出高性能的轻量级时序基础模型。

计算机