SDU机器学习作业心得1

看到老师布置的作业简直心态爆炸，不过这周日就要交了还是硬着头皮作吧。

这本天书简直就让人摸不到头脑，翻到二十多页已然是看不懂了。在懒人床的指点下，好歹有了一些想法。所以写下这个博客，为了让跟我一样看天书的小伙伴们一点帮助。

作业内容是《模式分类第二版》第二章的上机题第四题。数据如下：

样本	w1			w2			w3
	x1	x2	x3	x1	x2	x3	x1	x2	x3
1	-5.01	-8.12	-3.68	-0.91	-0.18	-0.05	5.35	2.26	8.13
2	-5.43	-3.48	-3.54	1.30	-2.06	-3.53	5.12	3.22	-2.66
3	1.08	-5.52	1.66	-7.75	-4.54	-0.95	-1.34	-5.31	-9.87
4	0.86	-3.78	-4.11	-5.47	0.50	3.92	4.48	3.42	5.19
5	-2.67	0.63	7.39	6.14	5.72	-4.85	7.11	2.39	9.21
6	4.94	3.29	2.08	3.60	1.26	4.36	7.17	4.33	-0.98
7	-2.51	2.09	-2.59	5.37	-4.63	-3.65	5.75	3.97	6.65
8	-2.25	-2.13	-6.94	7.18	1.46	-6.66	0.77	0.27	2.41
9	5.56	2.86	-2.26	-7.39	1.17	6.30	0.90	-0.43	-8.71
10	1.03	-3.33	4.33	-7.50	-6.32	-0.31	3.52	-0.36	6.43

复述一下题目：

设P（wi）=1/3，

1：分别求以下各点与各类别均值间的马氏距离

（1，2，1）T，（5，3，2）T，（0，0，0）T，（1，0，0）T

2：对以上各点进行分类

设P（w1）=0.8,P（w2）=0.1,P（w3）=0.1。

3：再对以上各点进行分类。

 

下面开始攻坚。。。

首先，马氏距离是什么呢：

这就是马氏距离的计算公式，去掉他根号下的S-1，便是欧式距离。

至于他们之间的区别，可以参考https://blog.csdn.net/lzhf1122/article/details/72935323

大体内容就是：

如果我们以厘米为单位来测量人的身高，以克（g）为单位测量人的体重。每个人被表示为一个两维向量，如一个人身高173cm，体重50000g，表示为（173,50000），根据身高体重的信息来判断体型的相似程度。

我们已知小明（160,60000）；小王（160,59000）；小李（170，60000）。根据常识可以知道小明和小王体型相似。但是如果根据欧几里得距离来判断，小明和小王的距离要远远大于小明和小李之间的距离，即小明和小李体型相似。这是因为不同特征的度量标准之间存在差异而导致判断出错。

以克（g）为单位测量人的体重，数据分布比较分散，即方差大，而以厘米为单位来测量人的身高，数据分布就相对集中，方差小。马氏距离的目的就是把方差归一化，使得特征之间的关系更加符合实际情况。

图（a）展示了三个数据集的初始分布，看起来竖直方向上的那两个集合比较接近。在我们根据数据的协方差归一化空间之后，如图（b），实际上水平方向上的两个集合比较接近。

OK，了解了马氏距离还有它的公式，我们就可以开始了。

（具体实现代码还是要靠大家自己的努力呀，纸上得来终觉浅）

根据计算公式，我们现在有了测试点的坐标了，还需要求出均值“u（缪）”。我们用python实现。

现在求出了u，还需要求协方差矩阵S-1.我们同样用python实现。

现在解出第一题了。

然后对各点进行分类。

利用贝叶斯决策论的内容即可，留个坑。