【论文精读1】CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation

• 介绍

时间序列中缺失值的插补在医疗保健和金融领域有许多应用。虽然自回归模型是时间序列插补的自然候选模型，但基于分数的扩散模型最近在许多任务（如图像生成和音频合成）中的表现优于包括自回归模型在内的现有模型，并有望用于时间序列插补。在本文中，我们提出了基于分数的条件扩散插补模型（CSDI），这是一种新的时间序列插补方法，利用以观察数据为条件的基于分数的扩散模型。与现有的基于分数的方法不同，条件扩散模型经过明确的插补训练，可以利用观察值之间的相关性。在医疗和环境数据方面，CSDI在流行的性能指标上比现有的概率插补方法提高了40-65%。此外，与最先进的确定性插补方法相比，CSDI的确定性插补将误差减少5-20%。此外，CSDI还可以应用于时间序列插值和概率预测，并且与现有基线具有竞争力。代码可在https:\/\/github上获得。

在本文中，我们提出了一种新的概率插补方法CSDI，该方法使用基于条件分数的扩散模型直接学习条件分布。与现有的基于分数的方法不同，条件扩散模型设计用于插补，可以利用观察值中的有用信息。我们在中说明了使用CSDI进行时间序列插补的过程。

每个框中的虚线代表观察值，绘制这些观察值是为了显示与生成插补的关系，并且不包括在每个xtat中。即拿噪声去补序列。

从图左侧的随机噪声开始插补，并通过条件扩散模型的反向过程pθ将噪声逐渐转换为合理的时间序列。在每个步骤t，反向过程从上一步骤（t+1）的输出中去除噪声。与现有基于分数的扩散模型不同，反向过程可以将观察值（图左上角）作为条件输入，允许模型利用观察值中的信息进行去噪。我们利用注意力机制来捕捉时间序列的时间和特征依赖性。为了训练条件扩散模型，我们需要观察值（即条件信息）和基本真值缺失值（即插补目标）。然而，在实践中，我们不知道地面真值缺失值，或者训练数据可能根本不包含缺失值。然后，受蒙面语言建模的启发，我们开发了一种自监督训练方法，将观察值分离为条件信息和插补目标。我们注意到，CSDI是为一般插补任务制定的，不限于时间序列插补。

我们提出了基于条件分数的概率插补扩散模型（CSDI），并实现了时间序列插补的CSDI。为了训练条件扩散模型，我们开发了一种自监督训练方法我们的经验表明，与现有的医疗和环境数据概率方法相比，CSDI将连续排序概率分数（CRP）提高了40-65%。此外，与为确定性插补开发的最先进方法相比，使用CSDI的确定性插补将平均绝对误差（MAE）降低5-20%我们证明，CSDI还可以应用于时间序列插值和概率预测，并且与为这些任务设计的现有基线具有竞争力。

• 引文

[12, 15, 16] 近似条件逆过程pθ（xtat−1 | xtat，xco0），等式（2）中的反向过程。

• 方法

我们考虑了具有缺失值的N个多元时间序列。让我们将每个时间序列的值表示为X={x1:K，1:L}∈ RK×L，其中K是特征数，L是时间序列的长度。虽然每个时间序列的长度L可能不同，但为了简单起见，我们将所有时间序列的长度视为相同，除非另有说明。我们还将观察掩码表示为M={m1:K，1:L}∈ {0，1}K×L其中，如果缺少xk，L，则mk，L=0，如果观察到xk，L，则mk，L=1。我们假设两个连续数据项之间的时间间隔可以不同，并将时间序列的时间戳定义为s={s1:L}∈ RL。总之，每个时间序列表示为{X，M，s}。概率时间序列插补是通过利用X的观察值来估计X缺失值的分布的任务。我们注意到，插补的定义包括其他相关任务，例如插补，在目标时间点插补所有特征，预测，在未来时间点插补所有特征。

然而，现有的扩散模型通常是为数据生成而设计的，并没有将条件观测xco0作为输入。为了利用扩散模型进行插补，以前的研究[12、15、16]近似条件反向过程pθ（xtat−1 | xtat，xco0），等式（2）中的反向过程。在这种近似下，在相反的过程中，他们向目标和条件观测xco0添加噪声。虽然这种方法可以插补缺失值，但添加的噪声可能会损害观察中的有用信息。这表明建模pθ（xtat−1 | xtat，xco0）无近似可以提高插补质量。此后，我们将第3.2节中定义的模型称为无条件扩散模型。

目函函数：

CSDI的自我监督培训程序。在左中矩形上，绿色和白色区域分别表示观察到的值和缺失的值。观察值分为红色插补目标xta0和蓝色条件观察xco0，并用于训练？θ. 每个矩形中的彩色区域表示存在值。

图3:2D注意力的架构。给定具有K特征、L长度和C通道的张量，时间变换层将具有（1，L，C）形状的张量作为输入，并学习时间依赖性。特征变换层以（K，1，C）形状的张量作为输入，学习特征依赖。每层的输出形状与输入形状相同。

注意机制为了捕捉多元时间序列的时间和特征依赖性，我们在每个剩余层中使用二维注意机制，而不是卷积结构。

• 结果和评价

• 启发

可以用于序列预测，并和TineGrad对比了，需要看源码。