最大似然估计,最小二乘估计,卡尔曼滤波,三者的相互关系

卡尔曼滤波博大精深,如果仅仅满足于知道它的五个公式,而不知道它的来龙去脉和应用场景,那么,这些本事以后恐怕是上不了台面的.所以,虽然我们不求把背景知识都摸透,但是起码将它的每一步都弄清楚,这是很有必要的.

首先假设我们看了且熟悉了卡尔曼滤波的推导，自己多推导几遍.其中最重要的一步:求K,方法是对协方差矩阵的迹求导,为什么,这就牵扯到了最大似然和最小二乘这两个估计方法.

然后看最大似然估计:这篇文章,浅显易懂.简言之,已知一堆样本和模型,求模型参数使得样本的联合概率最大.

再看最小二乘估计:看《最优状态估计》这本书（讲得非常好，例子也很好），简言之,已知一堆观测值和模型,求解估计值，使得估计值与真实观测值方差之和最小。

那么,C23=3,三种关系我们一一来分解:

①最大似然和最小二乘:

       为了不过多的牵扯数学，有此结论：当模型是高斯分布时，最大似然估计和最小二乘估计是等价的，为什么，看：

       最小二乘法：

     

        高斯下的最大似然估计：

    

        为了得到最大的概率，相当于去求最小的方差。可见，它和最小二乘法的诉求是一样的。    

②最小二乘和卡尔曼滤波:

    最小二乘法有三种：

        估计常值的，观测值加权的，递推的。

        其中，递推的最小二乘法如下：

        也是想使方差之和最小，然后发现，方差之和就是状态的协方差矩阵的迹，迹里面又包含了K，所以也就是求K使得迹最小

     

        结果：

        而卡尔曼滤波的形式如下：

     

       形式非常接近。       

        可见相比递推最小二乘法，卡尔曼就是相当于在两次迭代之间多了一步系统的状态转移，也就是这一项。

        其实，卡尔曼滤波就是递推最小二乘法的一种特殊情况，卡尔曼滤波也是去通过最小化方差来求得最优的估计值。

③最大似然和卡尔曼滤波:

        看了前两项我们就清楚了，在高斯的前提下，最大似然和最小二乘是一样的。