参数估计与非参数估计

参数估计（parameter estimation）：

根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。人们常常需要根据手中的数据，分析或推断数据反映的本质规律。即根据样本数据如何选择统计量去推断总体的分布或数字特征等。统计推断是数理统计研究的核心问题。所谓统计推断是指根据样本对总体分布或分布的数字特征等作出合理的推断。它是统计推断的一种基本形式，是数理统计学的一个重要分支，分为点估计和区间估计两部分。

非参数估计：

已知样本所属的类别，但未知总体概率密度函数的形式，要求我们直接推断概率密度函数本身。统计学中常见的一些典型分布形式不总是能够拟合实际中的分布。此外，在许多实际问题中经常遇到多峰分布的情况，这就迫使我们必须用样本来推断总体分布，常见的总体类条件概率密度估计方法有Parzen窗法和Kn近邻法两种。

非参数估计也有人将其称之为无参密度估计，它是一种对先验知识要求最少，完全依靠训练数据进行估计，而且可以用于任意形状密度估计的方法。常见的非参数估计方法有以下几种：

度曲线的光滑程度，k越大越光滑。

概率密度函数估计：

非参数估计和参数估计（监督参数估计和非监督参数估计）共同构成了概率密度估计方法。

在贝叶斯分类（这里有个简介：http://blog.csdn.net/carson2005/article/details/6854005 ）器设计之中，需要在类的先验概率和类条件概率密度均已知的情况下，按照一定的决策规则确定判别函数和决策面。但是，在实际应用中，类条件概率密度通常是未知的。那么，当先验概率和类条件概率密度都未知或者其中之一未知的情况下，该如何来进行类别判断呢？其实，只要我们能收集到一定数量的样本，根据统计学的知识，我们是可以从样本集来推断总体概率分布的。一般来说，有以下几种方法可以解决这个问题：

   一、监督参数估计：样本所属的类别及类条件总体概率密度函数的形式为已知，而表征概率密度函数的某些参数是未知的。例如，只知道样本所属总体分布形式为正态分布，而正态分布的参数是未知的。监督参数估计的目的就是由已知类别的样本集对总体分布的某些参数进行统计推断。

  二、非监督参数估计：已知总体概率密度函数形式但未知样本所属的类别，要求推断出概率密度函数的某些参数，这种推断方法称之为非监督情况下的参数估计。 这里提到的监督参数估计和非监督参数估计中的监督和非监督是指样本所属类别是已知还是未知。但无论哪种情况下的参数估计都是统计学中的经典问题，解决的方法很多。但最常用的有两种：一种是最大似然估计方法；另一种是贝叶斯估计方法。虽然两者在结果上通常是近似的，但从概念上来说它们的处理方法是完全不同的。最大似然估计把参数看做是确定（非随机）而未知的，最好的估计值是在获得实际观察样本的概率为最大的条件下得到的。而贝叶斯估计则是把参数当做具有某种分布的随机变量，样本的观察结果使先验分布转换为后验分布，再根据后验分布修正原先对参数的估计。

   三、非参数估计：已知样本所属的类别，但未知总体概率密度函数的形式，要求我们直接推断概率密度函数本身。统计学中常见的一些典型分布形式不总是能够拟合实际中的分布。此外，在许多实际问题中经常遇到多峰分布的情况，这就迫使我们必须用样本来推断总体分布，常见的总体类条件概率密度估计方法有Parzen窗法和Kn近邻法两种。