【SLAM十四讲 】第六讲
第六讲非线性优化
首先对这章要用到的概率知识点做一些回顾
知识点回顾
-
概率与统计
概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。
-
贝叶斯公式
P(A)即是常说的先验概率。
展开分母
其中，
表示非A
贝叶斯公式就是在描述，你有多大把握能相信一件证据？（how much you can trust the evidence）
我们假设响警报的目的就是想说汽车被砸了。把A计作“汽车被砸了”，B计作“警报响了”，带进贝叶斯公式里看。
我们想求等式左边发生A|B的概率，这是在说警报响了，汽车也确实被砸了。汽车被砸引起（trigger）警报响，即B|A。但是，也有可能是汽车被小孩子皮球踢了一下、被行人碰了一下等其他原因（统统计作∼A），其他原因引起汽车警报响了，即B|∼A。
那么，现在突然听见警报响了，这时汽车已经被砸了的概率是多少呢（这即是说，警报响这个证据有了，多大把握能相信它确实是在报警说汽车被砸了）？想一想，应当这样来计算。用警报响起、汽车也被砸了这事件的数量，除以响警报事件的数量（这即【式1】）。进一步展开，即警报响起、汽车也被砸了的事件的数量，除以警报响起、汽车被砸了的事件数量加上警报响起、汽车没被砸的事件数量（这即【式2】）
-
似然函数
该输入有两个：x表示某一个具体的数据；θ表示模型的参数。
如果θ是已知确定的，x是变量，这个函数叫做概率函数(probability function)，它描述对于不同的样本点x，其出现概率是多少。
如果x是已知确定的，θ是变量，这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数，出现x这个样本点的概率是多少。
例如， 
, 即x的y次方。如果x是已知确定的(例如x=2)，这就是
, 这是指数函数。 如果y是已知确定的(例如y=2)，这就是
，这是二次函数。同一个数学形式，从不同的变量角度观察，可以有不同的名字。
-
最大似然估计
举例：一枚硬币，想知道抛这枚硬币，正反面出现的概率（记为
）各是多少？
这是一个统计问题：data 到 model（）
硬币抛10次，得到的数据（
）是：反正正正正反正正正反。我们想求的正面概率是模型参数，而抛硬币模型我们可以假设是 二项分布。那么，出现实验结果
（即反正正正正反正正正反）的似然函数是多少呢？
注意，这是个只关于θ的函数。
而最大似然估计，顾名思义，就是要最大化这个函数,见下图，找极值。
可以看出，在=0.7时，似然函数取得最大值。
这样，我们已经完成了对的最大似然估计。即，抛10次硬币，发现7次硬币正面向上，最大似然估计认为正面向上的概率是0.7。（ummm..这非常直观合理，对吧？）
这里包含了贝叶斯学派的思想了——要考虑先验概率。 为此，引入了最大后验概率估计。
-
最大后验概率估计
最大似然估计是求参数, 使似然函数
最大。最大后验概率估计则是想求使
最大。求得的不单单让似然函数大，自己出现的先验概率也得大。
MAP其实是在最大化 
,因为分母其实是已知且固定的。最大化
的意义也很明确，x0已经出现了，要求取什么值使最大。顺带一提，即后验概率，这就是“最大后验概率估计”名字的由来。
对于投硬币的例子来看，我们认为（”先验地知道“）取0.5的概率很大，取其他值的概率小一些。我们用一个高斯分布来具体描述我们掌握的这个先验知识，例如假设P(θ)为均值0.5，方差0.1的高斯函数，如下图
则的图像为
注意，此时函数取最大值时，θ取值已向左偏移，不再是0.7。实际上，在θ=0.558时函数取得了最大值。即，用最大后验概率估计，得到θ=0.558。
-
多维高斯分布
https://www.cnblogs.com/jermmyhsu/p/8251013.html
https://blog.csdn.net/u011508640/article/details/72815981