系统辨识（六）：最小二乘法的修正算法

最小二乘法的修正算法主要包括：

• 广义最小二乘法（Generalized Least Squares Method，简称GLS）
• 辅助变量法（Instrumental Variable Method，简称IV）
• 扩充最小二乘法（Extended Least Squares Method，简称ELS）
• 相关最小二乘法（Correlation and Least Squares Method，简称CLS）
• 多步最小二乘法（Multistage Least Squares Method，简称MLS）

他们有一个共同的特点：将数学模型转换成最小二乘法所面向的ARX模型，从而利用成熟的最小二乘理论和方法来解决问题，使得参数估计量为无偏估计。
下面依次讲解一下各种修正算法的原理和应用。

1、广义最小二乘法

四、估计量的性质

⑴ 广义最小二乘法的估计量与马尔可夫估计量等价：具有一致性，有效性，无偏性。
⑵ 由于关于参数非线性，可能存在多个局部最优解，就可能收敛不到真值。
⑶ 收敛速度不高，可适当选取白化滤波的阶次m提高收敛速度，但没有理论方法指导。
⑷ 如果信噪比大，可以收敛到真值；如果信噪比小，可能趋近错误值。

2、辅助变量法

3、扩充最小二乘法

4、相关最小二乘法

5、多步最小二乘法