©作者 | ReThinklab

单位 | 上海交通大学

近年来，针对多变量时间序列分析的深度学习模型发展迅速，并被应用于多种不同的任务，如预测、缺失补全和异常检测等。在其中，很大一部分模型需要根据所执行任务的特性进行量身定制。例如，趋势-季节分解常被用于预测模型、条件扩散模型被用于缺失补全等。尽管这些方法非常有效，但为不同任务选择合适的特定方法也是非常困难的。

另外，即使在同一个任务中，当设置（例如预测长度）发生变化时，这类模型通常也需要从头重新训练。最近也有一些诸如 TimesNet 的通用时间序列分析架构被提出。这些模型保持主干网络的结构不变，通过更换输出头来执行不同的任务。但具体到不同的任务及其相应的设置时，模型的参数都需要从头开始训练。

自监督预训练是实现多用途通用模型的一种很有前景的方法。继 NLP 和 CV 之后，预训练方法也被用于时间序列分析。但不同于 NLP 和 CV，大多数此类方法无法与前文提到的精心设计的特定方法在性能上媲美。此外，在时间序列分析中，预训练仅仅被用于参数初始化：如果不进行参数或架构调整，预训练模型无法直接执行下游任务。

论文标题：

UP2ME: Univariate Pre-training to Multivariate Fine-tuning as a General-purpose Framework for Multivariate Time Series Analysis

https://openreview.net/pdf?id=aR3uxWlZhX

https://github.com/Thinklab-SJTU/UP2ME

其工作流程如图 1 所示，当数据给定但下游任务和任务设定尚未确定时，UP2ME 进行与下游任务解耦的预训练。

在不进行任何参数和架构调整的情况下，预训练模型能够在 Immediate Reaction（IR）模式下为预测、缺失补全和异常检测提供初步的合理解。一旦下游任务和设置确定，UP2ME 可以进一步通过在 Fine-tuning（FT）模式更好的适配下游任务以提供更准确的解。

方法：单变量预训练到多变量微调

单变量预训练：时序依赖捕捉

数据生成

如图 2 所示，预训练采用 Masked AutoEncoder (MAE) 的方法，但与之前的时间序列 MAE 方法相比，UP2ME 在数据样例生成上有两点不同：

1. 可变窗口长度（VariableWindow Length）：与之前的使用定长窗口的方法不同，为应对下游任务对于输入输出窗口长度的多样化需求，UP2ME 在生成数据样例时使得窗口长度可变。具体实现是在生成每一个 batch 时先随机采样窗口长度，再根据窗口长度得到一个 batch 的样例。

2. 通道解耦合（Channel Decoupling）：在通道独立 (Channel Independence) 的基础上更进一步，UP2ME 完全打乱通道间的对齐关系，不再将同一时段的所有通道完全输入模型，不同时段不同通道的数据会被 pack 在一起输入模型。这一过程完全舍弃跨通道依赖，使得预训练期只关注时序依赖性。另一个好处是使用通道解耦在处理通道数较多的高维数据时效率更高。

快速响应模式

预测：将未来视为被掩盖的 patch，输入的历史数据视为未被掩盖的数据进行重构；

异常检测：迭代的掩盖每一个 patch，并用剩余的 patch 进行重构，迭代执行完后得到一个重构序列，与原始序列进行比较找出异常点。

多变量微调：跨通道依赖捕捉

稀疏依赖图构建

最直接的捕捉跨通道依赖的方法是对所有通道使用 Self-Attention，相当于构建一个全连接的依赖图。然而， 平方复杂度限制了其在高维数据集中的应用。因此，有必要构建一个稀疏图，用更少的边来保留绝大部分依赖关系。

Temporal-Channel Layer

实验

主要实验结果

预训练的消融实验

预训练中掩码比例的影响

微调中的依赖图构建

微调中的超参数r的影响

预测中历史窗口长度的影响

有限数据场景的迁移

总结

本文提出了名为 UP2ME 的首个通用多变量时间序列分析框架。从技术上，它采用了单变量预训练到多变量微调的范式，在预训练阶段捕捉时序依赖，并在微调阶段融入跨通道依赖。从功能上，预训练的 UP2ME 在不进行参数调整的情况下，为预测、缺失补全和异常检测提供了初步合理的解决方案，这在之前是未曾实现的。通过微调，准确性可以进一步提高。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧