机器学习基础——k近邻法

k近邻的思想

对给定的训练数据和输入数据，首先确定输入数据的k个最近邻训练点，然后依据这k个训练点多数所属的类来预测输入数据的类。

k近邻法三要素

距离度量、k值选择、分类决策规则

距离度量
最一般的形式为$L_p$距离，即两个向量作差的$p$范数,$x_1=(a_1,a_2,...,a_n),x_2=(b_1,b_2,...,b_n)$
$$L_p=({\Sigma }_i^n|x_1^{(i)}-x_2^{(i)}|{)}^{\frac{1}{p}}$$
$p=1$称为曼哈顿距离
$p=2$称为欧式距离
$p=\infty$是各个坐标差值的最大值
$$L_{\infty }=max|x_1^{(i)}-x_2^{(i)}|$$

k值选择
k值较小，模型较复杂，容易过拟合
k值较小，模型较简单
在应用中，k一般取值较小，通常采用交叉验证的方法取得最优的k值