机器学习面试题之KNN

1. 简述一下KNN算法的原理
KNN算法利用训练数据集对特征向量空间进行划分。KNN算法的核心思想是在一个含未知样本的空间，可以根据样本最近的k个样本的数据类型来确定未知样本的数据类型。
该算法涉及的3个主要因素是：k值选择，距离度量，分类决策。

2. 如何理解kNN中的k的取值？

1. 选取较小的k值时，相当于用较小的领域中的训练实例进行预测，“学习”近似误差会减小，只有与输入实例很相近的样本才会对预测结果起作用。但是，“学习”的估计误差会增大，预测结果会对近邻的实例点非常敏感。如果邻近的实例点恰好是噪声，预测就会出错。换句话说，k值的减小就意味着整体模型会变得复杂，容易过拟合。

2. 选取较大的k值是，相当于用较大的领域中的训练实例进行预测，其优点是可以减少学习的估计误差。但缺点是学习的近似误差会增大，这时与输入实例较远的样本也对预测结果起作用，容易使预测发生错误。k值的增大就意味着整体的模型变得简单。

3. 在应用中，k值一般取比较小的值，并采用交叉验证法进行调优。

3. 在kNN的样本搜索中，如何进行高效的匹配查找？

1. 线性扫描(数据多时，效率低)
2. 构建数据索引——Clipping和Overlapping两种。前者划分的空间没有重叠，如k-d树；后者划分的空间相互交叠，如R树。（对R树了解很少，可以之后再去了解）

4. KNN算法有哪些优点和缺点？
优点：算法思想较简单，既可以做分类也可以做回归；可以用于非线性分类/回归；训练时间复杂度为O(n)；准确率高，对数据没有假设，对离群点不敏感。
缺点：计算量大；存在类别不平衡问题；需要大量的内存，空间复杂度高。

5. 不平衡的样本可以给KNN的预测结果造成哪些问题，有没有什么好的解决方式？
输入实例的K邻近点中，大数量类别的点会比较多，但其实可能都离实例较远，这样会影响最后的分类。
可以使用权值来改进，距实例较近的点赋予较高的权值，较远的赋予较低的权值。

6. 为了解决KNN算法计算量过大的问题，可以使用分组的方式进行计算，简述一下该方式的原理。
先将样本按距离分解成组，获得质心，然后计算未知样本到各质心的距离，选出距离最近的一组或几组，再在这些组内引用KNN。本质上就是事先对已知样本点进行剪辑，事先去除对分类作用不大的样本，该方法比较适用于样本容量比较大时的情况。

7. 什么是欧氏距离和曼哈顿距离？
欧氏距离就是常用的平方差求和再开方；曼哈顿距离是坐标差的绝对值求和。

8. 那什么是KD树？怎么构建的？
kd树是对数据点在k维空间中划分的一种数据结构，主要用于多维空间关键数据的搜索。本质上，kd树就是一种平衡二叉树。

9. KD树建立过程中切分维度的顺序是否可以优化？
先对各个维度计算方差，选取最大方差的维度作为候选划分维度(方差越大，表示此维度上数据越分散)；对split维度上的值进行排序，选取中间的点为node-data；按照split维度的node-data对空间进行一次划分；对上述子空间递归以上操作，直到空间只包含一个数据点。分而治之，且循环选取坐标轴。从方差大的维度来逐步切分，可以取得更好的切分效果及树的平衡性。

10. KD树每一次继续切分都要计算该子区间在需切分维度上的中值，计算量很大,有什么方法可以对其进行优化？
在构建KD树前，依据每一维度先排序，在之后的切分中直接使用。

11. 能简单介绍一下KD树的查找，以及增、删、改的实现流程吗？
先二叉查找，找到候选最近点；沿着路径进行回溯，画圆，是否父节点平面交割，以判断是否需要进入另一个平面进行查找；依次回溯，画圆，寻找最近点。
KD树更适合用于训练实例数远大于空间维数时的k近邻搜索。当维数超过20维时，KD数的检索效率急剧下降，几乎接近贪婪的线性扫描。因此出现对KD树的改进——BBF算法，M树，VP树，MVP树等高维空间索引树。（要以后了解一下这些高维索引树）

12. 能否大幅减少训练样本量，同时又保持分类精度？
浓缩技术(condensing)、编辑技术(editing)

13. K-Means与KNN有什么区别
K-means是聚类算法，KNN用来分类和回归。