python缺失值插补_时间序列数据如何插补缺失值？

时间序列数据的插补， 有很多不同的方法。

当然第一步仍然是判断是Missing at Random 还是Missing Not at Random，一般前者删除，后者插补。但是插补不一定能带来更好结果，要先自己根据缺失比例，和原因判断。

1、就近插补：前推法LOCF， 替换为缺失之前的最后一次观测值，与后推法NOCB， 使用缺失值后面的观测值进行填补。这个是时序当中最基本的方法，当然还有用Baseline Observaton,或者啥Worst observation,目前生科实验好像有用。

2、线性插值：这个也是历史悠久方法， 假定时序之间变动有很强的趋势。早期天文学缺失数据都用这个方法。

3、季节性+线性插值： 经济数据或者季节波动数据，采用这样的方法。同时具备季节性和总体趋势性，很多季节、气候变动相关数据都可以。

4、均值中位数众数，没有考虑时序因素。但是假如你认为时序数据里面基本没有很强趋势，也是可以的。当然里面也还有 比如Conditional Mean这样改进方法。

5、多值插补/机器学习： Multiple Imputation ， Expectation-Maximization ， Nearest Neighbor ，和 Hot Deck 方法，这些方法都依赖于缺失数据不同属性间关系，寻找最类似样本。如果使用R的话，mice, VIM, AMELIA等都可以用来插补，但是这个必须是多变量时序。如果单变量时序，无法找不同属性关联，用ImputeTS, 然后zoo, 或者forecast。

6、当然还要区别分类还是数值，如果类别变量，NA直接可以划分新分类。

除了这些统计方法， 我想每个领域里面缺失值都肯定还要借鉴专业知识来判断。比如以国家军费缺失数据为例，如果你知道因为战乱带来的缺失。那么战时数据比和平年代数据就更合适，很简单就近填补。

然后插补不同学科可能都有默认或者建议的方法，比如社会学或者人口学无应答问卷数据，大量采用hotdeck，就是假定类似用户类似行为，US Census Bureau也在用。

因为你的是气候数据，看到有的文章在研究气候变化时采用Expectation-Maximization algorithm，R里面mtsdi。见这篇文章 Imputation of missing data in time series for air pollutants。当然python的话里面也有很多。

最后，插补数据方法上如果你对数据生成机制很熟悉的情况下，可能一些简单方法就可以。我对于本身纯粹依赖算法，不能给出解释机制的插补有疑虑。为什么说要增加专业知识判断，因为缺失本身表明这些样本信息不足， 专业知识判断就相当于额外增补信息。