时间序列分析之三：参数估计

   在选定某种模型如AR、MA、ARMA、ARIMA模型后，需要对模型的未知参数进行估计，估计的方法与数理统计中的参数点估计方法类似，有相关矩估计、最小二乘估计、最小方差估计、极大似然估计、最大熵估计等。

    在对参数进行估计前，需要知道各种常见统计量的计算方法。由于自相关函数、偏自相关函数、功率谱密度、格林函数等作为系统的特征函数，在给出大量的数据（样本）之后，如果得到这些特征函数的估计呢？

（1）样本均值、样本方差、样本自相关函数、样本功率谱的计算

样本均值、样本方差同数理统计。

样本自相关函数：每个样本值减去样本均值后的自相关乘积平均。

样本功率谱：有两种方法，第一种间接法：通过先求样本自相关然后根据FFT计算得到

样本功率谱，第二种直接法：对样本数据得到频谱，再平方得功率谱。

（2）相关矩估计

由于对随机差分方程求自相关函数后，变成关于自相关函数的确定的差分方程，对多个时刻可构成方程组（AR模型为线性方程组即Yule-Walker方程，计算简单，MA和ARMA模型为非线性方程组，可采用牛顿-拉夫森算法进行迭代，计算复杂），这样就可得到模型的参数估计和噪声的方差。

（3）最小二乘估计

对随机差分方程，代入量测数据，得到含噪声的线性方程组，采用最小二乘方法，可解出未知参数，由此可得到噪声方差，注意相关矩估计和最小二乘估计在N较大时效果相当。由于MA、ARMA模型中噪声含有多个，需要将历史噪声转化为数据的形式（逆转关系

式），这是一个非线性关系，计算量大。

（4）线性最小方差估计

基本思想是用量测和噪声的线性组合去逼近量测数据，使得均方误差（平方和函数）最小的参数即为所求。最终可以得到估计的解析表达式和误差的平方和函数，使得平方和函数最小。

（5）极大似然估计

使得量测数据发生的概率最大的参数选择就是参数的估计。似然函数是非线性的，通常由近似或数值算法进行求解。

（6）最大熵估计（？）

香农提出信息熵的概念，最大熵准则是说选择自相关值使得熵达到最大，外推出下一自相关值，从信息论的观点，推算的自相关值对应的序列的随机性最强，含有最多的信息，这样就构造出了更多的自相关值，可用于谱估计。