【机器学习2】 k-近邻算法(kNN)—约会网站

k近邻法(k-nearest neighbor, k-NN)

原理：

存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。 最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。 

优缺点：

优点：精度高、对异常值不敏感、无数据输入假定。

缺点：计算复杂度高、空间复杂度高。

适用范围：数值型和标称型。

Python实践案例：约会网站

已知： 1000个/行约会对象的特征数据及标签包括：

                      每年获得的飞行常客里程数；

                     玩视频游戏所耗时间百分比；

                     每周消费的冰淇淋公升数；

                     魅力值标签：不喜欢的人 、 魅力一般的人  、极具魅力的人。  

求：    将未来约会对象划分到以下魅力值分类：

                    不喜欢的人   魅力一般的人   极具魅力的人

步骤：

(1) 收集数据：提供文本文件。

(2) 准备数据：使用Python解析文本文件。

(3) 分析数据：使用Matplotlib画二维扩散图。

(4) 训练算法：此步骤不适用于k-近邻算法。

(5) 测试算法：使用海伦提供的部分数据作为测试样本。测试样本和非测试样本的区别在于：测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记为一个错误。

(6) 使用算法：产生简单的命令行程序，然后海伦可以输入一些特征数据以判断对方是否为自己喜欢的类型。

代码：

1）准备数据：从文本文件中解析数据

将待处理数据的格式改变为分类器可以接受的格式。

当前数据是txt格式，需要分成两部分：特征矩阵+分类标签向量。

datingTestSet.txt与XXXX.py文件在同一目录下

当前txt格式数据

 代码如下：

分成特征向量和标签向量的结果

2）分析数据：数据可视化

·简易散点图

创建简易散点示意图

结果——简易散点图

·优化后散点图

结果——优化后散点图

3）准备数据：数据归一化

本例中，每年获得的飞行常客里程数 玩视频游戏所耗时间百分比 每周消费的冰淇淋公升数 这3个特征之间的权重是同等的。但不同特征之间的值范围相差很大（比如飞行里程数数值上十万，游戏耗时百分比甚至才0.8），会影响到最终的计算结果。

处理这种不同取值范围的特征值时，通常会先将数值归一化，统一将取值范围处理到比如０-１之间。

公式：

newValue = (oldValue - min) / (max - min)

其中min和max分别是数据集中的最小特征值和最大特征值。

 代码如下：

结果

4）算法训练测试：用kNN分类器 训练+验证

经过以上准备分析过程后，才进入算法阶段。在本例中留 90%数据训练，10%数据测试。

完整代码如下：

结果

5）使用算法：构建完整可用系统

由上面结果可以看出，训练且测试后错误率8%。若认为此结果达到预期，可进入此步，进入实际预测使用。

在这个例子中，场景就是输入某个人的相应3个特征信息

      （比如：

        玩视频游戏所耗时间百分比：20

        每年获得的飞行常客里程数:55555

        每周消费的冰激淋公升数:0.3

         ）

即可得到对男方喜欢程度的预测值。

     （ 如图：不喜欢）

在上一步增加的代码如下：

输入的特征值和之后得到的结果：

结果

---

学习来源：

《机器学习实战》　[美] Peter Harrington

Jack Cui 博文https://cuijiahua.com/