贝叶斯判别python_SPSS分析技术:判别分析

在数据处理中，有这样一种情况：现在已经有若干样本被正确地分类了，但不清楚分类的依据是什么。同时，未来还会有大量的未被分类的样本，需要按照上述规则判定这些样本的所属类别。为此，需要根据已被正确分类的样本及其属性，进行数据分析，找出影响样本归类的关键因素，甚至获得一个判定系数；然后依据判定系数，对未来样本进行判别。判别分析是为了解决未来个案归属问题而提出的一种数据分类技术，它基于已有的分类个案寻求有效的判别规则，并借助判别规则对未来个案的归属进行判定。

判别分析基于已有的个案及其分类情况(已有类别号)，寻求能够决定个案类别归属的判定函数式，然后借助判定函数来对未归类个案实施判定。在针对个案的判别分析中，判别函数的质量直接影响到判定的正确率，因此寻求优质的判定函数对于判别分析的正确与否至关重要。

判别分析的价值主要体现在两个方面：

让未来个案自动归类或预测其可能的类别；

修正当前已归类个案中的不严谨结论；

基于已分类的部分个案开展分析并最终获得判别函数式，然后再依据判别函数式重新对已经分类个案进行判断，可以检查判别函数式的质量。如果判定值与原始类别号的吻合度较高，达到85%以上，则表示判别函数式有效，那么可以借助这个判别函数式对未来个案进行分类。与此同时，还可进一步检查在已有个案中，判定值与原始类别号不能吻合的那些个案，看看它们的归类是否存在问题。

两种判别方式

在SPSS中，判别分析的实现共有两种思路，分别是费舍尔(Fisher)判别法和贝叶斯(Bayes)判别法。

Fisher判别法

Fisher判别法是一种基于多维坐标系的判定方式。如果待研究个案被分为K类，那么系统可创建一个K-1维的坐标系，每个类别的中心都是坐标系中的一个点，被称之为质心点。每一个个案都可以表示为K-1个数值构成的坐标点，这个坐标点距离那个质心点更近，就归类到那个类别之中。

例如，将一个个案集分为三类，如果采用Fisher判别法就需要构成一个二维的平面直角坐标系，在这个坐标系中有3个质心点。执行Fisher判别分析后，系统会创建两个函数式，分别可以计算出每个个案对应的X坐标和Y坐标，然后通过计算这个点与每个质心点的距离，找到与当前点距离最小的质心点，从而确定当前个案的归属。

Bayes判别法

Bayes判别法的基本思路是：直接为每个类别产生一个判别函数式。如果原始个案被分为K类，则直接产生K个函数式。对于待判定类别的个案，直接把该个案各属性的取值代入到每个判别函数式中，那个函数式的值最大，该个案就被划归到那个类别中。

例如，某原始个案集被分为4类，则分别产生了Y1~Y4四个函数式。对于待分类的个案H，可以把H的各个属性值分别代入到函数式Y1~Y4中，然后比较4个数值的大小。假设最终结果是Y3最大，那么这个个案就属于第3类。

自变量筛选

与多元线性回归分析相似，判别函数式也是一组包含多个自变量的多元线性方程。因此在设计判别函数式时，同样存在着对多个自变量的进入判定与筛选问题。有下面几种自变量筛选的方式：

1、使用全部自变量法；把用户提供的所有自变量都直接纳入到判定函数式中，无论这些自变量对函数式的作用力到底有多大。这个方法是系统默认的方法。

2、使用步进方法；让自变量逐个尝试进入函数式，如果进入到函数式中的自变量符合条件，则保留在函数式中，否则，将从函数式中剔除。使用步进方法，对自变量的筛选方式。使用步进方法，对自变量的筛选方式，又包括以下几种：

威尔克斯lambda值法：它是组内平方和与总平方和之比，用于描述各组的均值是否存在显著差别，当所有观测组的均值都相等时，Wilks’lambda值为1,；当组内变异与总变异相比很小时，表示组件变异较大，表示组间变异较大，系数接近于0。

未解释方差法：它指把计算残余最小的自变量优先纳入到判别函数式中。

马氏距离法：它把马氏距离最大的自变量优先纳入到判别函数式中。

最小F比率法：它把方差差异最大的自变量优先纳入到判别函数中。

劳氏增值法：它把劳氏统计量V产生最大增值的自变量优先纳入到判别函数中。

范例分析

现在有三种不同种类的花生，记录它们的质量、宽度和长度，制成统计表。每种类型都有20个样本，共60个样本。根据不同种的花生特征，建立鉴别不同种花生的判别方程。

分析步骤

1、选择菜单【分析】-【分类】-【判别】。将类型变量选为分组变量，将质量、宽度和长度选为自变量。自变量进入方法选择步进法。

2、选择【保存】项，将预测组成员和判别分数选中。点击继续，然后点击确定。

结果分析

1、输出判别结果，如下图所示，Dis_1表示判定类别，Dis1_1和Dis2_1分别表示将个案值代入到自动生成的两个判定函数中得到的结果。

2、步进方式筛选自变量的情况；

从上图可知，质量、宽度和长度都被纳入到函数式中，且显著性都为0.000，表示三个自变量的影响力是显著的。

上图是对三个变量步进式进入方程的结果：产生三个模型，序号为1~3。三种模型的Lambda值都远小于1，而且第三个模型的lambda值仅为0.001，显著性为0.000。因此，从总体上说，这三个模型都是有效的，以第三个模型为最终结果。

3、典型判别式函数摘要；

在特征值表格中，本次判别分析共生成两个判别函数式，函数式1和函数式2的特征值都大于1；下表的lambda值都远小于1，显著性都为0.000，说明两个函数式的作用都非常强。

4、函数系数及组质心坐标表格

左边的表格式生成的两个函数式的系数。右边的表格表示三个组质心的坐标。对于标准化的判别函数式，其自变量的系数可以直观地反映该自变量对最终判定的影响力水平。但需要注意的是，在具体的应用当中，不能直接把个案的各个属性的原始值代入到标准化函数式中使用。只有已经标准化的自变量属性值才可应用于标准化的判别函数式。数据分析师培训