深入理解机器学习——k近邻（k-Nearest Neighbor）算法（二）：算法定义

k近邻算法简单、直观：给定一个训练数据集$D$，对新的输入实例，在训练数据集中找到与该实例最邻近的$k$个实例，这$k$个实例的多数属于某个类，就把该输入实例分为这个类。下面先叙述$k$近邻算法，然后再讨论其细节：

k近邻（k-Nearest Neighbor）算法
输入：
\qquad 训练集：$D=(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)$
输出：
\qquad 实例$x$所属的类$y$
算法：.
（ 1 ） 根据给定的距离度量，在训练集$D$中找出与$x$最邻近的$k$个点，涵盖这$k$个点的$x$的邻域记作$N_k(x)$
（ 2 ） 在$N_k(x)$中根据分类决策规则（如多数表决）决定$x$的类别$y$：
$$y=\underset{c_j}{\mathrm{argmax}}I(y_i=c_j)$$

k近邻法的特殊情况是$k=1$的情形，称为最近邻算法。对于输入的实例点（特征向量）$x$，最近邻法将训练数据集中与$x$最邻近点的类作为$x$的类。