模式识别期末复习题

模式识别期末复习题

一、判断

1、影响层次聚类算法结果的主要因素有：计算模式距离的测度、聚类准则、类间距离门限、预定的类别数目。（$\surd$）

2、欧式距离具有平移不变性和旋转不变性。（$\surd$）

3、马式距离既具有欧式距离的特性，还具有尺度缩放不变性和不受量纲影响。（$\surd$）

4、线性判别函数的正负和数值大小的几何意义是：正（负）表示样本点位于判别界面法向量指向的正（负）半空间中；绝对值正比于样本点到判别界面的距离。（$\surd$）

5、积累势函数法较之于 $H—K$ 算法的优点是：该方法可用于非线性可分情况，也可用于线性可分情况。（$\surd$）

6、位势函数 $K(x，x_k)$ 与积累位势函数 $K(x)$ 的关系为 $K(x)=\sum _{x_k\in X}{\alpha }_{k}K(x,x_k)$ 。（$\surd$）

7、在统计模式分类问题中，聂曼-皮尔逊判决准则主要用于：某一种判决错误较另一种判决错误更为重要情况。（$\surd$）

8、“特征个数越多越有利于分类” 这种说法正确吗?（$\times$）

9、特征选择的主要目的是:从 $n$ 个特征中选出最有利于分类的的 $d$ 个特征（$d<n$），以降低特征维数。（$\surd$）

10、影响聚类算法结果的主要因素有:分类准则、特征选取、模式相似性测度。（$\surd$）

11、影响 $C$ 均值算法的主要因素有：样本输入顺序、模式相似性测度、初始类心的选取。（$\surd$）

12、位势函数法的积累势函数 $K(x)$ 的作用相当于 $Bayes$ 判决中的后验概率或类概率密度与先验概率的乘积，而不是先验概率和类概率密度。（$\surd$）

13、在统计模式分类问题中，当先验概率未知时，可以使用②最小最大损失准则和 $N-P$ 判决而不用最小损失准则和最小误判概率准则。（$\surd$）

14、似然函数的概型已知且为单峰，则可用矩估计、最大似然估计、$Bayes$ 估计、$Bayes$ 学习和 $Parzen$ 窗法估计该似然函数。（$\surd$）

15、从分类的角度讲，用 $DKLT$ 做特征提取主要利用了 $DKLT$ 的性质是：变换产生的新向量正交或不相关、 使变换后的矢量能量更趋集中。（$\surd$）

二、选择题或填空题

详细的参考教材书。
1、聚类分析算法属于（$A$）

​ $A.$ 无监督分类 $B.$ 有监督分类 $C.$ 统计模式识别方法 $D.$ 句法模式识别方法

2、 判别域代数界面方程法属于（$B$）。

​ $A.$ 无监督分类 $B.$ 统计模式识别方法 $C.$ 模糊模式识别方法 $D.$ 句法模式识别方法

3、若描述模式的特征量为 $0-1$ 二值特征向量，则一般采用（$D$）进行相似度量。

​ $A.$ 距离测度 $B.$ 模糊测度 $C.$ 相似测度 $D.$ 匹配测度

4、 下列哪个函数不作为聚类分析中的准则函数 （$B$） 。

​ $A.J=tr({S_{\omega }}^{-1}{S}_b)$ $B.J=|S_{\omega }{S_b}^{-1}|$

​ $C.J=\sum _{j=1}^c\sum _{i=1}^{N_i}||{x_i}^{(j)}-m_j|{|}^2$ $D.J=\sum _{j=1}^c(m_j-m_0{)}^T(m_j-m_0)$

5、下列判别域界面方程法中只适用于线性可分情况的算法有（$AD$）。

​ $A.$ 感知器算法 $B.$ $H-K$ 算法 $C.$ 积累位势函数法 $D.$ 费歇尔线性判别法

6、线性可分、不可分都适用的有（$C$）。

​ $A.$ 感知器算法 $B.$ $H-K$ 算法 $C.$ 积累位势函数法 $D.$ 费歇尔线性判别法

7、遗传算法的基本操作有（$A$）。

​ $A.$ 复制（选择）、交叉、变异 $B.$ 适应、交叉、变异 $C.$ 群体、个体、变异

8、$ASO$ 算法中，信息素是（$C$）。

​ $A.$ 常数 $B.$ 随机增大 $C.$ 有一定挥发 $D.$ 任意变化

9、$BP$ 网络是（$C$）网络。

​ $A.$ 单层无反馈 $B.$ 多层有反馈 $C.$ 多层无反馈

10、神经网络对信息的存储依赖（$B$）。

​ $A.$ 神经元 $B.$ 权系数 $C.$ 网络节点

11、模糊均值聚类算法在求子类均值时，（$B$）参与运算。

​ $A.$ 仅属于子类的样本 $B.$ 所有样本 $C.$ 没有样本

12、在蚁群算法中，信息素增量 $\Delta {{\tau }_{ij}}^k(t)$ 采用（$A$）时，称为蚁周系统或模型，这里，$k$ 为第 $k$ 只蚂蚁，$Q$ 为常量，$L_k$ 为第 $k$ 只蚂蚁走的路径长度，$d_{ij}$ 表示由 $i$ 到 $j$ 的边的长度。

​ $A.$ $Q/L_k$ $B.$ $Q$ $C.$ $Q/d_{ij}$

三、解答题

（1）设有两类样本

${\omega }_1=\{x_1,x_2\}，x_1=(1,0,1{)}^T，x_2=(0,1,1{)}^T；$

${\omega }_2=\{x_3,x_4\}，x_3=(1,1,0{)}^T，x_4=(0,1,0{)}^T.$

试用感知器算法，求出其分类用的线性判别函数。

解：增广规范化：$x_1=(1,0,1,1{)}^T,x_2=(0,1,1,1{)}^T,x_3=(-1,-1,0,-1{)}^T,x_4=(0,-1,0,-1{)}^T$，

设$W_1=(1,1,1,1{)}^T,c=1$

${W_1}^T{x}_1=3>0$

${W_1}^T{x}_2=3>0$

${W_1}^T{x}_3=-3<0$ 修正

$W_2=W_1+x_3=(0,0,1,0{)}^T$

${W_2}^T{x}_4=0$ 修正

$W_3=W_2+x_4=(0,-1,1,-1{)}^T$

${W_3}^T{x}_1=0$ 修正

$W_4=W_3+x_1=(1,-1,2,0{)}^T$

${W_4}^T{x}_3=0$ 修正

$W_5=W_4+x_3=(0,-2,2,-1{)}^T$

${W_5}^T{x}_2=-3<0$ 修正

$W_6=W_5+x_2=(0,-1,3,0{)}^T$

训练结束，$W=W_6=(0,-1,3,0)$

线性判别函数为 $d(X)=W^{T}X=-x_2+3X_3$

---

（2）已知有两类数据,分别为 ${\omega }_1:(1,0{)}^T,(2,0{)}^T,(1,1{)}^T；{\omega }_2:(-1,0{)}^T,(0,1{)}^T,(-1,1{)}^T$

试求：该组数据的类内及类间离散矩阵 $S_{\omega }$ 及 $S_b$ 。

解：$m_1=(\frac{4}{3},\frac{1}{3}{)}^T,m_2=(-\frac{2}{3},\frac{2}{3}{)}^T$

$S_1=\sum _{x\in {\omega }_1}(x-m_1)(x-m_1{)}^T=\left(\begin{array}{cc}\frac{2}{3}& -\frac{1}{3}\\ -\frac{1}{3}& \frac{2}{3}\end{array}\right)$，

$S_2=\sum _{x\in {\omega }_2}(x-m_2)(x-m_2{)}^T=\left(\begin{array}{cc}\frac{2}{3}& \frac{1}{3}\\ \frac{1}{3}& \frac{2}{3}\end{array}\right)$，

$S_{\omega }=\frac{1}{2}(S_1+S_2)=\left(\begin{array}{cc}\frac{2}{3}& 0\\ 0& \frac{2}{3}\end{array}\right)$，

$S_b=(m_1-m_2)(m_1-m_2{)}^T=\left(\begin{array}{c}2\\ -\frac{1}{3}\end{array}\right)\left(\begin{array}{cc}2& -\frac{1}{3}\end{array}\right)=\left(\begin{array}{cc}4& -\frac{2}{3}\\ -\frac{2}{3}& \frac{1}{9}\end{array}\right)$。

---

（3）设有两类样本：${\omega }_1=\{(0,0{)}^T,(0,1{)}^T\}，{\omega }_2=\{(1,0{)}^T,(1,1{)}^T\}.$

试画出何-卡氏算法求其线性判别函数的流程图，并求出该函数。

解：

$X=\left(\begin{array}{ccc}0& 0& 1\\ 0& 1& 1\\ -1& 0& -1\\ -1& -1& -1\end{array}\right),X^{\#}=(X^{T}X{)}^{-1}{X}^T=\frac{1}{4}\left(\begin{array}{cccc}-2& -2& -2& -2\\ -2& 2& 2& -2\\ 3& 1& -1& 1\end{array}\right)$，

取 校正增量 $c=1$，迭代次数 $k=1,B_1=(1,1,1,1{)}^T$，

$W_1=X^{\#}{B}_1=(-2,0,1{)}^T$，

$e_1=X{W}_1-B_1=\left(\begin{array}{c}0\\ 0\\ 0\\ 0\end{array}\right)=0$，

所以 $W_1$ 为所求解，系统线性可分，判别函数 $d(X)=W^T(x_1,x_2,1{)}^T=-2x_1+1$。

---

（4）有训练集资料矩阵如下表所示，现已知， $N=9，N_1=N_2=N_3=3，n=2，M=3$。

训练样本号k	1 2 3	1 2 3	1 2 3
特征 $x_1$	0 1 2	-2 -1 -2	0 1 -1
特征 $x_2$	1 -1 1	1 0 -1	-1 -2 -2
类别	${\omega }_1$	${\omega }_2$	${\omega }_3$

假定三类协方差不等，每一类都符合正态分布，

先验概率 $P({\omega }_1)=P({\omega }_2)=P({\omega }_3)=\frac{1}{3}$，

多类判别函数 $g_i(X)=X^T{W}_{i}X+{{\omega }_i}^{T}X+{\omega }_{i0}$，

其中，$W_i=-\frac{1}{2}{{\sum }_i}^{-1},{\omega }_i={{\sum }_i}^{-1}{\mu }_i,{\omega }_{i0}=-\frac{1}{2}{{\mu }_i}^T{{\sum }_i}^{-1}{\mu }_i-\frac{1}{2}\ln |{\sum }_i|+\ln P({\omega }_i)$。

试先求出每一类的判别函数，然后判断未知样本 $x=(1,1{)}^T$ 应属于哪一类?

解：${\mu }_1=(1,\frac{1}{3}{)}^T,{\mu }_2=(-\frac{5}{3},0{)}^T,{\mu }_3=(0,-\frac{5}{3}{)}^T$，

${\sum }_1=\frac{1}{3-1}[\left(\begin{array}{c}-1\\ \frac{2}{3}\end{array}\right)(-1\frac{2}{3})+\left(\begin{array}{c}0\\ -\frac{4}{3}\end{array}\right)(0-\frac{4}{3})+\left(\begin{array}{c}1\\ \frac{2}{3}\end{array}\right)(1\frac{2}{3})]=\left(\begin{array}{cc}1& 0\\ 0& \frac{4}{3}\end{array}\right)$，

${\sum }_2=\frac{1}{3-1}[\left(\begin{array}{c}-\frac{1}{3}\\ 1\end{array}\right)(-\frac{1}{3}1)+\left(\begin{array}{c}\frac{2}{3}\\ 0\end{array}\right)(\frac{2}{3}0)+\left(\begin{array}{c}-\frac{1}{3}\\ -1\end{array}\right)(-\frac{1}{3}-1)]=\left(\begin{array}{cc}\frac{1}{3}& 0\\ 0& 1\end{array}\right)$，

${\sum }_3=\frac{1}{3-1}[\left(\begin{array}{c}0\\ \frac{2}{3}\end{array}\right)(0\frac{2}{3})+\left(\begin{array}{c}1\\ -\frac{1}{3}\end{array}\right)(1-\frac{1}{3})+\left(\begin{array}{c}-1\\ -\frac{1}{3}\end{array}\right)(-1-\frac{1}{3})]=\left(\begin{array}{cc}1& 0\\ 0& \frac{1}{3}\end{array}\right)$，

$g_1(X)=X^T{W}_{1}X+{{\omega }_1}^{T}X+{\omega }_{10}=-\frac{1}{2}({x_1}^2+\frac{3}{4}{x_2}^2)+x_1+\frac{1}{4}{x}_2-1.7841$，

$g_2(X)=X^T{W}_{2}X+{{\omega }_2}^{T}X+{\omega }_{20}=-\frac{1}{2}(3{x_1}^2+{x_2}^2)-5x_1-5.2653$，

$g_3(X)=X^T{W}_{3}X+{{\omega }_3}^{T}X+{\omega }_{30}=-\frac{1}{2}({x_1}^2+3{x_2}^2)+x_1-\frac{5}{3}{x}_2-4.176$，

将 $x=(1,1{)}^T$ 代入，$g_1(x)=-1.4091,g_2(x)=-12.2653,g_3(x)=-11.7160$，

$g_1(x)$ 最大，判 $x=(1,1{)}^T\in {\omega }_1$。

---

（5）已知正常细胞先验概率为 $P({\omega }_1)=0.9$, 异常为 $P({\omega }_2)=0.1$，

从类条件概率密度分布曲线上查的 $p(x|{\omega }_1)=0.3,p(x|{\omega }_2)=0.5,{\lambda }_{11}=0,{\lambda }_{21}=7,{\lambda }_{12}=2,{\lambda }_{22}=0$

条件风险： $R({\omega }_i|x)=\sum _{j=1}^2{\lambda }_{ij}P({\omega }_j|x)$，

试按条件风险最小来决定 $x$ 所属的类别。

解：$P(x)=P(x|{\omega }_1)P({\omega }_1)+P(x|{\omega }_2)P({\omega }_2)=0.27+0.05=0.32$，

$P({\omega }_1|x)=\frac{P(x|{\omega }_1)P({\omega }_1)}{P(x)}=0.844$，

$P({\omega }_2|x)=\frac{P(x|{\omega }_2)P({\omega }_2)}{P(x)}=0.156$，

$R({\omega }_1|x)=0+2\ast 0.156=0.312$，

$R({\omega }_2|x)=7\ast 0.844+0=5.908$。

所以，按条件风险最小的原则，$x$ 应判为属于第一类。

---

（6）设两个集群的数据分别为 $(1,0{)}^T,(2,0{)}^T,(1,1{)}^T$与 $(0,1{)}^T,(-1,0{)}^T,(-1,1{)}^T$。

试求：

1） 两个集群的均值。

2） 若将数据 $(1,1{)}^T$ 从第一个集群转移至第二个集群时，准则函数值 $J$ （每个样本与其所在集群均值点的距离平方和）的变化量。

解：

1）$m_1=(\frac{4}{3},\frac{1}{3}{)}^T,m_2=(-\frac{2}{3},\frac{2}{3}{)}^T$。

2）$$\begin{array}{rl}{J}_0& =\sum _{i=1}^c\sum _{x\in {\omega }_i}{||x-m_i||}^2\end{array}$$，$c$ 为类数。

$(1,1{)}^T$ 从第一个集群中移出，准则函数值减少为 $\frac{3}{3-1}||(1,1{)}^T-(\frac{4}{3},\frac{1}{3}{)}^T|{|}^2=\frac{5}{6}$，

该数据加入第二个集群，准则函数值增加为 $\frac{3}{3+1}||(1,1{)}^T-(-\frac{2}{3},\frac{2}{3}{)}^T|{|}^2=\frac{13}{6}$。

准则函数值增加量为 $\frac{4}{3}$，不宜转。

---

（7）若数据集共有 $m$ 个类 ${\omega }_1,{\omega }_2,\cdot \cdot \cdot ,{\omega }_m$，总离散矩阵为 $S_{\omega }$

1 ） 试求证某一数据 $x$ 从 ${\omega }_i$ 转移至 ${\omega }_j$ 类时，${\omega }_i$ 的散布矩阵的变化量为 $-\frac{N_i}{N_i-1}(x-m_i)(x-m_i{)}^T$ 其中 $m_i$ 是转移前类 ${\tau }_i$ 的均值向量，$N_i$ 是转移前 ${\omega }_i$ 的数据量。

2）推测 ${\omega }_j$ 在增加数据 $x$ 后其散布矩阵的变化量。

3）计算总散布矩阵的变化量。

解：

$$\begin{array}{rl}{m_i}^{{}^{\prime }}& =\frac{1}{N_i-1}(m_i\ast N_i-x)=\frac{1}{N_i-1}[(N_i-1)m_i+m_i-x]\\ & =m_i+\frac{1}{N_i-1}(m_i-x)\end{array}$$

按离散矩阵的定义计算，可得 ${\tau }_i$ 的离散矩阵变化前后的关系为：

${S_i}^{{}^{\prime }}=S_i-\frac{N_i}{N_i-1}(x-m_i)(x-m_i{)}^T$，

2）同理，可计算 ${\tau }_j$ 的离散矩阵变化前后的关系为：

${S_j}^{{}^{\prime }}=S_j+\frac{N_i}{N_i-1}(x-m_j)(x-m_j{)}^T$，

3）故总的离散矩阵变化前后的关系为：

${S_{\omega }}^{{}^{\prime }}=S_{\omega }-\frac{N_i}{N_i-1}(x-m_i)(x-m_i{)}^T+\frac{N_j}{N_j-1}(x-m_j)(x-m_j{)}^T$。

---

（8）已知有 $5$ 个样本，每个样本有 $2$ 个特征，类型数目 $M=2$,数据如下:

样本序号	1	2	3	4	5
特征 $x_1$	0	1	3	6	7
特征 $x_2$	0	0	2	6	6

试用 $K-$均值算法找聚类中心，并对它们进行聚类。

解：先设 $Z_1(1)=(0,0{)}^T,Z_2(1)=(1,0{)}^T$，

$||x_3-Z_1(1)||>||x_3-Z_2(1)||$，

$||x_4-Z_1(1)||>||x_4-Z_2(1)||$，

$||x_5-Z_1(1)||>||x_5-Z_2(1)||$，

分为两类 ${\omega }_1:x_1;{\omega }_2:x_2,x_3,x_4,x_5$

$Z_1(2)=(0,0{)}^T,Z_2(2)=(\frac{17}{4},\frac{7}{2}{)}^T$，

$||x_1-Z_1(2)||<||x_1-Z_2(2)||$，

$||x_2-Z_1(2)||<||x_2-Z_2(2)||$，

$||x_3-Z_1(2)||>||x_3-Z_2(2)||$，

$||x_4-Z_1(2)||>||x_4-Z_2(2)||$，

$||x_5-Z_1(2)||>||x_5-Z_2(2)||$，

分为两类 ${\omega }_1:x_1,x_2;{\omega }_2:x_3,x_4,x_5$

$Z_1(3)=(\frac{1}{2},0{)}^T,Z_2(3)=(\frac{16}{3},\frac{14}{3}{)}^T$，

$||x_1-Z_1(3)||<||x_1-Z_2(3)||$，

$||x_2-Z_1(3)||<||x_2-Z_2(3)||$，

$||x_3-Z_1(3)||<||x_3-Z_2(3)||$，

$||x_4-Z_1(3)||>||x_4-Z_2(3)||$，

$||x_5-Z_1(3)||>||x_5-Z_2(3)||$，

分为两类 ${\omega }_1:x_1,x_2,x_3;{\omega }_2:x_4,x_5$

$Z_1(4)=(\frac{4}{3},\frac{2}{3}{)}^T,Z_2(4)=(\frac{13}{2},6{)}^T$，

$||x_1-Z_1(4)||<||x_1-Z_2(4)||$，

$||x_2-Z_1(4)||<||x_2-Z_2(4)||$，

$||x_3-Z_1(4)||<||x_3-Z_2(4)||$，

$||x_4-Z_1(4)||>||x_4-Z_2(4)||$，

$||x_5-Z_1(4)||>||x_5-Z_2(4)||$，

分为两类 ${\omega }_1:x_1,x_2,x_3;{\omega }_2:x_4,x_5$

$Z_1(5)=(\frac{4}{3},\frac{2}{3}{)}^T,Z_2(5)=(\frac{13}{2},6{)}^T,Z_1(5)=Z_1(4),Z_2(5)=Z_2(4)$，

故聚类结束，两聚类中心为 $m_1=(\frac{4}{3},\frac{2}{3}{)}^T,m_2=(\frac{13}{2},6{)}^T，{\omega }_1:x_1,x_2,x_3;{\omega }_2:x_4,x_5$。

---

（9）若有下列两类样本：

训练样本号k	1 2 3 4	1 2 3 4
特征 $x_1$	0 1 1 1	0 0 0 1
特征 $x_2$	0 0 0 1	0 1 1 1
特征 $x_3$	0 0 1 0	1 0 1 1
类别	${\omega }_1$	${\omega }_2$

1. 试用 $K-L$ 变换，将其降到 $1$ 维特征空间；

2. 求其最佳鉴别 $Fisher$ 矢量 $W={S_{\omega }}^{-1}(m_1-m_2)$ 及 $Fisher$ 判别函数。

解：

1）

$$\begin{array}{rl}E(X{X}^T)& =\frac{1}{8}[\left(\begin{array}{cccc}0& 1& 1& 1\\ 0& 0& 0& 1\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{ccc}0& 0& 0\\ 1& 0& 0\\ 1& 0& 1\\ 1& 1& 0\end{array}\right)+\left(\begin{array}{cccc}0& 0& 0& 1\\ 0& 1& 1& 1\\ 1& 0& 1& 1\end{array}\right)\left(\begin{array}{ccc}0& 0& 1\\ 0& 1& 0\\ 0& 1& 1\\ 1& 1& 1\end{array}\right)]\\ & =\left(\begin{array}{ccc}\frac{1}{2}& \frac{1}{4}& \frac{1}{4}\\ \frac{1}{4}& \frac{1}{2}& \frac{1}{4}\\ \frac{1}{4}& \frac{1}{4}& \frac{1}{2}\end{array}\right)\end{array}$$

$\lambda =\left(\begin{array}{ccc}\frac{1}{4}& 0& 0\\ 0& \frac{1}{4}& 0\\ 0& 0& 1\end{array}\right),\mu =\left(\begin{array}{ccc}0& -\frac{2}{\sqrt{6}}& \frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{6}}& \frac{1}{\sqrt{3}}\\ -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{6}}& \frac{1}{\sqrt{3}}\end{array}\right)$，

用最大特征根 $\lambda =1$ 的特征向量 ${\mu }_1=\frac{1}{\sqrt{3}}(1,1,1{)}^T$ 将样本降到一维空间，

${\omega }_1:0\frac{1}{\sqrt{3}}\frac{2}{\sqrt{3}}\frac{2}{\sqrt{3}}$，

${\omega }_2:\frac{1}{\sqrt{3}}\frac{1}{\sqrt{3}}\frac{2}{\sqrt{3}}\frac{3}{\sqrt{3}}$。

2）$W={S_{\omega }}^{-1}(m_1-m_2)=(6,-6,-6{)}^T$，

${\omega }_1:0,6,0,0;{\omega }_2:-6,-6,-12,-6$，

$y_t=\frac{\overline{Y_1}+\overline{Y_2}}{2}=\frac{W^T\overline{X_1}+W^T\overline{X_2}}{2}=-3$，

$Y=W^{T}X⟹6x_1-6x_2-6x_3=-3⟹2x_1-2x_2-2x_3=-1$，

当 $Y=W^{T}X=2x_1-2x_2-2x_3>-1$ 时，$X\in {\omega }_1$，

当 $Y=W^{T}X=2x_1-2x_2-2x_3<-1$ 时，$X\in {\omega }_2$。

---

（10）如标准数字 $1$ 在 $7\ast 5$ 的方格中表示成如图所示的黑白图像，黑为 $1$，白为 $0$，现若有一数字 $1$ 在 $7\ast 5$ 网格中向左错了一列。试用分别计算要与标准模板之间的欧氏距离、绝对值偏差、偏差的夹角表示，以及用“异或”计算两者差异。

解：$X=\left(\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 0& 1& 0& 0\\ 0& 0& 1& 0& 0\\ 0& 0& 1& 0& 0\\ 0& 0& 1& 0& 0\\ 0& 0& 1& 0& 0\\ 0& 0& 1& 0& 0\end{array}\right),X^1=\left(\begin{array}{ccccc}0& 1& 0& 0& 0\\ 0& 1& 0& 0& 0\\ 0& 1& 0& 0& 0\\ 0& 1& 0& 0& 0\\ 0& 1& 0& 0& 0\\ 0& 1& 0& 0& 0\\ 0& 1& 0& 0& 0\end{array}\right)$。

$||X-X^1||=\sqrt{14}$（欧氏距离）

$|X-X^1|=14$（绝对值偏差）

$S(X,X^1)=\frac{X^T{X}^1}{||X^T||||X^1||}=0⟹\theta ={90}^{\circ }$。

---

（11）设两类样本的类内离散矩阵分别为 $S_1=\left[\begin{array}{cc}1& \frac{1}{2}\\ \frac{1}{2}& 1\end{array}\right]$，$S_2=\left[\begin{array}{cc}1& -\frac{1}{2}\\ -\frac{1}{2}& 1\end{array}\right]$，$m_1=(2,0{)}^T,m_2=(2,2{)}^T$，试用 $fisher$ 准则求其决策面方程。

解：

总类内离散度矩阵：$S_{\omega }=\frac{1}{2}(S_1+S_2)=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)$，

$Fisher$ 最佳投影方向：$W^{\ast }={S_{\omega }}^{-1}(m_1-m_2)=(0-2{)}^T$，

两类样本分布形状相同（只是方向不同），因此 $y_0$ 应为两类均值投影的中点：

$y_0={W^{\ast }}^T\frac{m_1+m_2}{2}=(0-2)\left(\begin{array}{c}2\\ 1\end{array}\right)=-2$，

决策面方程 $d(X)={W^{\ast }}^{T}X+2$，

最佳线性分界面 ${W^{\ast }}^T(x_1,x_2$