模式识别 学习笔记：第三章 概率密度函数的估计

本系列博客主要是在学习《模式识别（张学工著 第三版）》时的一些笔记。
本文地址：http://blog.csdn.net/shanglianlm/article/details/49839833

1 引言

概率密度估计分为参数估计（概率密度函数形式已知，部分或全部参数未知）和非参数估计（概率密度函数也未知）。

1-1 一些基本概念

1-2 评价标准

1. 无偏性 是指估计量抽样分布的数学期望等于被估计的总体参数；
2. 有效性 是指对同一总体参数的两个无偏估计量，有更小标准差的估计量更有效；
3. 一致性 是指随着样本量的增大，点估计量的值越来越接近被估总体的参数。
   无偏性是指估计量抽样分布的数学期望等于被估计的总体参数。有效性是指对同一总体参数的两个无偏估计量，有更小标准差的估计量更有效。一致性是指随着样本量的增大，点估计量的值越来越接近被估总体的参数。

2 最大似然估计

2-1 基本原理

2-1-1 基本假设

2-1-2 最大似然估计

2-2 求解

如果有多个极大值时，选择最大的那个。

2-3 正态分布下的最大似然估计

3 贝叶斯估计和贝叶斯学习

3-1 贝叶斯估计

3-2 贝叶斯学习

3-3 正态分布时的贝叶斯估计

3-4 其他分布的情况

4 概率密度估计的非参数方法

4-1 非参数估计的基本原理

4-2 直方图方法

4-2-1 基本步骤

4-2-2 基本原理

4-3 kN 近邻估计方法

4-4 Parzen 窗法

4-4-1 基本推导

4-4-2 核角度解析

4-4-3 几种常用的核函数