条件数学期望

https://blog.csdn.net/henhen2002/article/details/5540039

Definition：
    The conditional expectation of X given Y=y is:
    ①E(X|Y=y) = ∑xf(x|y)   for discrete case
    ②E(X|Y=y) = ∫xf(x|y)dx for continuous case
    需要注意的一个问题是，EX是一个数值，而E(X|Y=y)是一个关于y的函数。
  
比较：
    EX是对所有ω∈Ω，X(ω)取值全体的加权平均；而E(X|Y=y)是局限在ω∈{ω:Y(ω)=y}时，X(ω)取值局部的加权平均。按照Y的不同取值，整个样本空间Ω被划分为n个互不相容的事件（Ω=∑B(j)）。因此E(X|Y=y)是在某一个{B(j)，j∈N}上X(ω)的局部加权平均.

 

E(X|Y)引入
    显然E(X|Y=y(1)),E(X|Y=y(2)),....(不能打下标太不方便了，小括号里面的“1”，“2”都是下标，诸君凑合着看吧)，依赖于Y=y(j),即依赖于全局样本空间的划分。这样，从样本空间Ω及对ω∈Ω可以变化的观点看，有必要引进一个新的随机变量，记为E(X|Y)。对于这个随机变量E(X|Y)，当Y=y时它的取值为E(X|Y=y)，称随机变量E(X|Y)为随机变量X关于随机变量Y的条件数学期望。这里借用一本教材上的说法：Before we observe Y,we don't know the value of E(X|Y=y) so it is a random varible which we denote E(X|Y). 随机变量E(X|Y)是随机变量Y的函数，事实上，它只是局部平均{E(X|Y=y(j)),j∈N}的统一表达式。

 

    到这里便很容易想到，EX和E(X|Y)在数学上的关系。由于E(X|Y=y)是一种依赖于Y的分割的局部平均，而EX是全体的平均，那么把E(X|Y)再平均一次，会得到什么呢？由此得到著了名的一个定理,The Rule of Iterated Expectations:
    For random variables X and Y, assuming the expectations exist,we have that
                                      E(E(X|Y))=EX;
    More generally,for any function r(x,y) we have
                                      E(E(r(X,Y)|X))=E(r(X,Y))

    其实这个伟大的定理的背景是极其常见的，真理往往来源于生活。举个例子，如果我们要计算某个年级学生的平均分，有两种方法：
    1.可以把该年级每个学生的成绩∑起来，然后再除以总人数，这是极为常规的方法。该方法对应于计算EX；
    2.我们还可以先计算每个班级的平均分（第一次平均），然后在把每个班级的平均分加起来除以班级数（第二次平均）。这便是E(E(X|Y))。这个例子里面，每个班级相当于Y，计算每个班级的平均分相当于固定一个Y=y去求E(X|Y=y)，最后再对班级做平均。
    很显然，用1和2的方法得到的结果是一致的。即E(E(X|Y))=EX！这就是伟大的定理隐含的思想：先局部平均，再整体平均。何等的大众化！这才是伟大的智慧！想起初中班主任的一句话：什么叫公理？就是鸡，狗都知道的东西，比如两点之间直线最短！当然，有了思想之后还必须付诸于公式，必须要以数学的形式表示出来，那就perfect了！

 
    个人认为，只要理解了条件期望局部平均的本质，那一大堆的公式推导就没有任何问题了。无非就是以条件概率密度函数为核心的一堆积分而已。