2020-04-05(论文阅读)：Prediction of Satellite Time Series Data Based on Long Short Term Memory- Autore...

题目：基于长期短期记忆的卫星时间序列数据预测自回归综合移动平均模型（LSTM-ARIMA）

Abstract
  时间序列数据分析是一种通过观察历史数据并探索其随机规律来预测未来价值的方法。卫星的在轨运行会生成大量遥测可变时间序列数据。带有生成数据的卫星系统状态预测在卫星健康管理中起着重要作用。然而，用于预测的传统自回归综合移动平均模型（ARIMA）在具有复杂输入的高精度预测中存在困难。为此，我们提出了一种LSTM-ARIMA算法来预测气象卫星遥测参数的时间序列数据并分析该预测数据的误差。长短期记忆（LSTM）神经网络比ARIMA算法更灵活，并且具有优化的空间。通过权重组合这两种算法模型，LSTM-ARIMA算法产生了高精度和强可靠性预测结果，并挖掘了卫星遥测参数的损失规则。
关键字：预测模型；时间序列分析；长期记忆监督学习；卫星广播
Introduction
  频繁发射卫星会产生大量遥测参数数据，其中包含反映卫星状态的信息[1]。传统上，ARIMA模型具有较高的可靠性和简便性，因此通常用于预测时间序列数据。但是，由于卫星子系统和结构复杂，并且需要基于先验知识和专家知识进行考虑，因此ARIMA模型在准确预测卫星数据趋势方面存在困难[2]。因此，考虑串联时间点之间的相关性是关键。如图1所示，气象卫星的温度参数具有幅度减小的周期性波动特征。预测结果的猜想可以是以下周期性波动。在第二节3小节中将详细讨论卫星数据。

图一

  如前所述，关键是卫星时间序列数据之间的相关性。挖掘不同时间点之间的内部规则可以改善复杂卫星数据的预测结果，从而在一定程度上反映卫星的健康状况。由于机器学习算法广泛应用于图像处理，视频处理，自然语言处理（NLP）等。LSTM在NLP中具有出色的效果。它在挖掘复杂数据相关性方面具有优势。我们将LSTM应用于卫星数据，以期获得出色的预测结果。
  为了达到这种推测，我们使用不同的模型进行预测。该过程如下所示。选择具有明显波动的连续卫星多类参数作为预测对象。然后，通过数据预处理生成一定长度的卫星时间序列数据作为模型输入。数据预处理包括时间排序，离群值消除，数据提取等。为了比较和分析LSTM模型在卫星领域的实际应用效果，我们对ARIMA和LSTM模型进行了比较。在单调变化区间内，LSTM模型的预测效果明显优于ARIMA模型，但在波动区间的预测效果却不如ARIMA模型稳定。因此，将两者结合起来具有特殊的实际意义。提出了LSTM-ARIMA模型，与每个模型相比，预测效果明显提高。主要贡献可以概括如下：
1）将LSTM模型应用于卫星数据处理领域；
2）比较和分析在不同数据变量状态下ARIMA和LSTM模型的优缺点；
3）权重结合ARIMA和LSTM，并进行定量分析和预测。
  论文的以下部分组织如下。第二节详细阐述了ARIMA和LSTM的结构。第三节演示了数据预处理和实验，并分析了不同模型的预测效果。在最后一部分得出结论。
MODEL DESCRIPTION
  在本节中，将说明ARIMA和LSTM模型的结构。 ARIMA模型将原始时间序列转换为固定时间序列，然后通过确定模型参数来执行预测。 LSTM模型的基本单元包含用于传递上一个时间点信息的门，然后结合不同时间点传递的信息来获取当前单元状态。这样就完成了时间点的关联。
ARIMA Model
  ARIMA是自回归综合移动平均模型。它包含三个部分，AR（自动回归模型），I（集成）和MA（移动平均模型）。 ARIMA模型如下所示。差异运算符是

对于d阶单序列〜I(d)，有

是一个固定序列，所得ARIMA模型的形式如下:

其中白噪声序列是，是常数。
  ARIMA模型用于处理非平稳时间序列。首先，将差异用于将序列转换为固定序列。当序列基本上在某个值附近波动时，满足差阶的要求。然后，对包含p，q的模型执行参数确定。当自相关函数处于尾随并且部分自相关函数被p阶截断时，选择AR（p）模型。当自相关函数被q阶截断并且部分自相关函数被尾随时，选择MA（q）模型；当自相关函数和部分自相关函数都在尾随时，选择ARMA模型[3]。在此基础上，在低预测误差和低执行成本的前提下，结合信息准则函数法，对最终确定的参数值进行平衡[4]。在本文中，AIC，BIC和HQIC标准被用作确定模型的方法的一部分。最后，通过残差序列的自相关函数图对模型进行测试。在验证了模型的可靠性之后，我们输入了预定的卫星时间序列数据，并使用该模型来预测未来的时间数据。
B. LSTM Model
  LSTM算法的全名是长短期记忆，是递归神经网络（RNN）的一种特定形式。它由三层组成：输入层，隐藏层和输出层。与RNN相比，LSTM通过设计隐藏层之间的权重系数解决了RNN无法处理的长距离依赖问题。这意味着在预测卫星遥测参数时间序列数据[5]时，LSTM可以积累时间序列中远距离节点之间的长期联系，从而提高了时间序列数据预测的准确性。对于LSTM的单个节点，模型如图2所示。

图二

对于LSTM网络结构，每个LSTM单元的计算公式如下：

其中，是遗忘阈值，是输入阈值，^是前一时刻的单元状态，是单元状态，是输出阈值，是当前单元输出。
通过调整输入阈值，遗忘阈值和输出阈值，可以实现自旋转重的变化。遗忘阈值确定从先前的单元状态中丢弃了多少信息，该阈值的范围是0到1。输入阈值确定了要存储的新信息。前一个单元的状态与新信息组合在一起，以获得要存放的新单元的状态，等待进一步筛选。输出阈值“筛选”最终需要的信息，从而获得新的单元状态。通过对大量数据学习进行预排序，调整输入阈值，遗忘阈值和输出阈值参数，以获得接近真实规则的最优参数，并使用训练获得的模型预测下一个时间数据。
EXPERIMENTATIONS
A. Dataset Preprocessing
  选择具有明显波动的连续卫星多类参数作为预测对象。该数据是从风云系列卫星日常运行状态下温度类型遥测参数的时间序列数据集中提取的。通过时间排序，离群值消除和数据提取，最终获得了以天为间隔的XX星遥测参数的6100个时间序列数据作为实验数据。我们使用时间点编号对数据进行排序。
B. Data Prediction Based on Different Models
  本文采用模型误差作为判断模型效果的判据，通过计算绝对误差和均方根误差进行定量分析。均方根误差（RMSE）公式如下:

1. Prediction based on ARIMA model
     对于ARIMA模型，如果输入数据是非平稳时间序列，则首先通过微分方法对数据进行平滑处理。如果输入数据是固定的时间序列，则直接执行ARIMA模型选择以确定两个变量p和q的值。本文使用的输入数据是数据集中数据的前6090个时间点。
     时间序列的稳定性已通过ADF测试验证。 ADF测试用于检查序列中是否存在单位根进程。如果序列中有单位根过程，则该序列为非平稳时间序列。对序列执行ADF检验会产生P值，ADF检验结果和一个统计值，该统计值将原始假设拒绝了1％，5％和10％。对数据集数据进行ADF测试可获得表I

   
   
   
   

   计算本文数据集时间序列的自相关和偏自相关，如图3所示
   从图3可以看出，自相关是尾随的，部分自相关是一阶的截断。由于自相关拖尾是幅度减小的相似三角函数，因此考虑到实际应用程序占用的计算机空间，因此p，q值分别取为10、1。通过使用AIC，BIC和HQ这三个标准来判断所选模型，并获得表II

   
   
   图三
   
   
   表二
   
   从表2中可以看出，当（p，q）值为（10，2）时，AIC，BIC和HQ值都大于（p，q）时为（10，1）。因此，在p为常数的前提下，q取1为最佳解。最终选择的模型参数为p = 10，q = 1。
     对于ARIMA模型，未来10个连续时间点的预测结果如图4所示。图中的绿线表示ARIMA模型预测的数据。将预测数据与原始数据进行比较，如表III所示，可以将模型的均方根误差计算为0.08819967872398667。可以得到ARIMA算法对卫星时间序列数据预测的影响。
   
   图四
2. Prediction based on LSTM model
     我们使用来自预处理的相同数据集作为LSTM模型的输入，并考虑本文中的单参数预测。因此，LSTM模型的输入层为1，输出层为1，隐藏节点为5。由于是单序列输入，数据提取后数据集中的数据量不大为了避免由于批次过大而导致的学习效率，选择实验批次。批量大小为10，时间步长为2，学习速率为0.001。为了获得更好的模型效果，将迭代次数设置为100。
   C. Combination of ARIMA and LSTM Model
     在分析数据时，我们发现LSTM模型预测的错误大多处于转移到数据端的状态。考虑到ARIMA模型的稳定性，两者的预测效果将通过一定的权重平衡实现更好的数据预测。 LSTM模型和ARIMA模型的组合称为LSTMARIMA模型，其对卫星时间序列数据集的预测效果如表V所示。
   
   
   从表中可以看出，当LSTM模型和ARIMA模型的权重在（0.5，0.5）左右时，总体预测效果最佳。

---

本文介绍了LSTM-ARIMA算法在卫星时间序列数据中的应用。通过比较ARIMA模型和LSTM模型的实验结果，证明了LSTM模型在卫星时间序列数据预测中的高精度和适用性。通过分析这两种算法模型的优缺点，将两者根据权重进行组合，提出权重（0.5，0.5）最优。直观地证明了该模型具有较高的准确性，并且与ARIMA模型的稳定性和LSTM模型的灵活性兼容。将来的主要目标是在非单调间隔内进一步优化两个模型的组合。同时，通过关联分析，在没有先验知识的前提下，对数据集中的有效变量进行提取和分类。处理后的有效变量用作模型的多个输入，以进一步处理和应用卫星时间序列数据
[1] Hui Yu, Jun Liu, Min Wang, Shao-Lin Hu, and Rong Guo, “The trend
prediction for spacecraft state based on wavelet analysis and time
series method,” in Proc. 2014 11th International Computer
Conference on Wavelet Actiev Media Technology and Information
Processing(ICCWAMTIP), 2014, p. 88- 91.
[2] Tianshe Yang, Bin Chen, Yu Gao, Junhua Feng, Hailong Zhang, and
Xiaole Wang, “Data mining-based fault detection and prediction
methods for in-orbit satellite,” in Proc. Proceedings of 2013 2nd
International Conference on Measurement, Information and
Control’02, 2013, p. 805 - 808.
[3] Takaomi Hirata, Takashi Kuremoto, Masanao Obayashi, Shingo
Mabu, and Kunikazu Kobayashi, “Time Series Prediction Using DBN
and ARIMA,” in Proc. 2015 International Conference on Computer
Application Technologies, 2015, p. 24 - 29.
[4] Siyuan Liu, Guangzhong Liao, and Yifan Ding, “Stock transaction
prediction modeling and analysis based on LSTM,” in Proc. 2018
13th IEEE Conference on Industrial Electronics and Applications
(ICIEA), 2018, p. 2787 - 2790.
[5] C. Narendra Babu, and B. Eswara Reddy, “Predictive data mining on
Average Global Temperature using variants of ARIMA models,” in
Proc. IEEE-International Conference On Advances In Engineering,
Science And Management (ICAESM -2012), 2012, p. 256 - 260.
[1]于慧，刘军，王敏，胡少林，郭荣，“基于小波分析和时间序列方法的航天器状态趋势预测”，Proc.Natl.Acad.Sci.USA，89，1593-2，2002。 2014年，第11届国际小波Actiev媒体技术和信息处理计算机会议（ICCWAMTIP），2014年，第3页。 88-91。
[2]杨天社，陈斌，高宇，冯俊华，张海龙和王小乐，“基于数据挖掘的在轨卫星故障检测和预测方法”，Proc.Natl.Acad.Sci.USA，88：88-91。 《 2013年第二届测量，信息与控制国际会议论文集》，2013年2月，第3页。 805 –808。
[3]平田孝美，吴本隆史，小林正雄，小牧慎吾和小林邦一，《利用DBN和ARIMA进行时间序列预测》，载于Proc。 2015年国际计算机应用技术大会，2015年，第1页。 24-29.
[4]刘思远，廖广中和丁一凡，“基于LSTM的股票交易预测建模和分析”，Proc.Natl.Acad.Sci.USA，64：4877-55。 2018年，第13届IEEE工业电子与应用大会（ICIEA），2018年，第1页。 2787年-2790年。
[5] C. Narendra Babu和B. Eswara Reddy，“使用ARIMA模型的变体对全球平均温度进行预测数据挖掘”，Proc。 IEEE，国际工程，科学与管理进展会议（ICAESM -2012），2012年，第133页。 256-260。

---

该篇论文只是介绍了通过权重结合lstm和arima两个模型，但是具体怎么结合，却没有说。还是自己研究研究吧