模式识别基本概念+聚类知识 模式识别笔记（一）

模式识别：机器自动识别（使机器具有抽象能力）

目的：用计算机对物理对象进行分类，在错误概率最小的情况下，使识别结果尽量与客观情况相符合

参照基准：人

识别方法：1.数据聚类 （K-means）

                     2. 统计分类（SVM等）

                     3. 结构模式识别（结构匹配，考虑识别对象各部分间关系，制定关系规则，句法识别）

                     4. 人工神经网络  （神经元，调节连接权重）

最基本方法：计算

数学化形式：Y=F（X）   X：特征；Y：标记 ；F：判别方法，

特征空间和解释空间之间的关系，成为假说

获得假说的方法：1. 监督学习（有已知训练，对未知测试）

                                2. 非监督学习（“物以类聚”，“亲疏有别”）

基本构成：数据量化——>预处理（去燥）——>特征提取和选择——>分类器设计/分类决策

测量空间：量化后的原始数据组成的空间

特征空间：分类识别赖以进行的空间

模式表示：维数较高的测量空间——>维数较低的特征空间

                                               聚类

依据：模式样本相似度 

适用：样本较少，且典型性好

1、关键：选取合适的特征（为降低复杂度，去掉相关度较高的特征，降维处理）

      降维方法：相关性系数衡量

     相关系数：

     协方差：Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}

     方差：Var[X]=1/N(x-E(x))^2

     r 越大，相关性越强，r=1,完全正相关

2. 对选取特征进行数字化（连续量化或离散量化）

3.模式相似度测度和聚类准则

相似度测度

  1） 欧氏距离     

  2） 马氏距离D^2=(x-m)^T*C^-1*(x-m)       注：m均值，C协方差矩阵

  3）一般化的明氏距离（欧氏为特殊的）

  4）角度相似性函数 （求余弦值）具有旋转平移不变性

准则：试探方法和聚类准则函数法

   1）试探方法：直观感觉或经验，设置测度阈值，根据相似度测度值聚类（类别由少到多）

      （1）临近相似度试探方法（类似西瓜书中的P213，密度聚类）

       优点：计算简单，有先验的情况下，选取正确阈值和起始点（选点主观随机），

        缺点：实际中对样本要求太高，一般很少用

        影响因素：初始点位置 ；阈值大小 ；样本比较次序 ： 样本分布几何性质

        （2）最大最小距离算法

            以试探类间欧氏距离为最大作为预选出聚类中心的条件（确定一个点为聚类中心，再选离它最远的作为第二个聚类中心）

系统聚类法：样本按距离准则逐步分类，类别由多到少（初始每个样本都是一类）（类似西瓜书中P215层次聚类）

   2）聚类准则函数法：定义反应类别件相似度或分离性的函数，使样本和类别之间建立函数，转化为优化问题，求极值  

聚类准则函数法

注：公式图来自   https://wenku.baidu.com/view/49408dfb647d27284a735198.html

求J的最小时的聚类形式

类间距离判断：最短距离法（不同类离得最近的两个位置特征距）

                            最长距离法、中间距离法、重心法、类平均距离法

动态聚类法

K-means聚类算法（聚类中心向量由动态计算得来））

伪代码：

输入：样本即 X={x1,x2,...,xn};  聚类簇数k;

过程：

从X中随机选定k个样本作为初始均值向量

repeat

    for i=1,2...,m do

       计算xi到每个均值向量的距离；

       根据最小距离，放入该簇中；

    end 

    for j=1,2...,k do

         计算每个簇的均值向量；

     end

     until 每个簇均值不再变化；

输出 当前簇

 

 

 

  聚类评价

1.  聚类中心之间的距离（越大越好）    

2. 聚类域中的样本数目（可参考排除噪声点）   

3. 聚类域内样本的距离方差（方差要较小）

                                                  不同聚类综合分析

K-means :

 1、算法简洁快速，适用于样本较少，数据典型性好（凸形簇，正态分布簇）的情况，大样本或者样本分布典型性较                        差使效果不好；

  2、对聚类中心的初始化比较敏感（实现的是类内误差平方和最小，初始不同，偏差可能较大），不能保证收敛于最                        优解；

  3、聚类个数K人为设定，这在很大程度上会影响聚类结果（通常选取多个K值，取实验最佳，但增加了计算量）；

 4、距离计算利用的是欧氏距离，对不同特征赋予相同的权值，对于不同的假设不一定都适用（马氏距离https://www.cnblogs.com/Weirping/articles/6613013.html）；

LVQ算法 （学习向量量化）

（确定初始样本个数和初始样本点，计算新样本与每一个初始样本点特征欧氏距离，找最近的初始样本点，若两者类别标记相同，则更新的初始向量向靠近新样本点方向移动(   p=p+a(x-p)  ;  p:初始位置向量，a学习率，x加入的新向量   ) ；若两者类别标记不同，则更新的初始向量向远离新样本点方向移动（p=p-a(x-p）) ；）

1、为有监督分类，必须要知道用于训练的样本标签

2、对初始选择具有依赖性

3、受样本比较次序，不同的输入次序，更新情况和最后的结果都将有差异

密度聚类（DBSCAN）

（确定特征距离范围阈值和每一类计划最少密度阈值，根据密度可达性确定，先选取一个核心，找到全部可达构成簇，再在剩余点中选取核心，再找。。。）

1、对噪声不敏感，能发现任意形状，无需预定义簇数，聚类速度快，不受初始点选取影响

2、设定的距离阈值和密度阈值、距离评判方法都对结果有影响

3、若样本空间过于稀疏，则聚类效果不好

层次聚类

（自底而上，将每一个样本作为初始聚类簇，每一步合并距离最小的两个簇，直到达到预定义簇数，三种距离衡量：最小距离，最大距离，平均距离）

1、计算量比较大，时间复杂度高，效率较低，容易陷入局部最优

2、不同的距离计算方式结果不同，要根据样本情况选取