统计学习方法相关问题

统计学习方法相关问题

1. 概率与统计的关系如何？

http://blog.sciencenet.cn/blog-242272-1036214.html

2. 似然与概率之间的关系如何？

http://blog.csdn.net/u012284960/article/details/72859171

3. 什么是贝叶斯估计？

  贝叶斯估计要解决的是概率分布问题，即已知一些样本，他们满足某种分布，需要估计这种分布的参数或者新数据出现的概率。
  说到概率估计，就不能不先不提最大似然方法。最大似然是一种最基本的参数估计方法，它就是寻找最可能的参数，使得这些采样样本出现的概率最大。
  假设一个盒子的高度 h 满足正态分布 N(h, 1)，三次测量结果分别是 X={11, 10.5, 11.5}cm， 根据最大似然方法：

P(X|h)=∏i=1Np(xi|h)=∏i=1N12πexp{−(xi−h)2σ2} P ( X | h ) = ∏ i = 1 N p ( x i | h ) = ∏ i = 1 N 1 2 π e x p { − ( x i − h ) 2 σ 2 }

这里，

h=arg maxh=arg maxh logP(X|h)=arg maxh exp{∑i=1N(xi−h)2} h = a r g   m a x h = a r g   m a x h   l o g P ( X | h ) = a r g   m a x h   e x p { ∑ i = 1 N ( x i − h ) 2 }

  通过简单的计算，可以得到 h=11 cm，对新的测量的数据的可能出现概率，则由N(11, 1)给出。
  最大似然估计是在对被估计量没有任何先验知识前提下求得的。如果已知被估计参数满足某种分布，则需要用到最大后验估计。
  贝叶斯估计其实要解决的不是如何去估计参数，而是如何估计新的测量数据的出现的概率的。

参考：http://www.cnblogs.com/xueliangliu/archive/2012/08/02/2962161.html

4. 极大（最大）似然估计与极大（最大）后验估计的关系如何？

  极大似然估计（maximum likelihood estimation，MLE）。给定一组数据，假设数据服从某种分布，但是不知道这种分布的具体参数，即“模型已知，参数未知”。这时候，可以用 MLE 来估计模型的参数。MLE 的目标是找到一组参数，使得模型产生观测数据的概率最大。

  最大后验概率估计（maximum a posteriori probability，MAP）。假如参数有一个先验概率，则 MAP 要优化一个后验概率，使得在给定的观测值下， μ μ 的概率最大。

μˆMAP=arg maxμ p(μ|X) μ ^ M A P = a r g   m a x μ   p ( μ | X )

5. 什么叫泛函或泛函分析？

  泛函分析（functional analysis），是现代数学分析的一个分支，隶属于分析学，其研究的主要对象是函数构成的函数空间。