统计学补充概念-15-k -最近邻（kNN）

概念

k最近邻（k-Nearest Neighbors，kNN）是一种用于分类和回归的非参数化机器学习算法。在这种算法中，当要预测新样本的标签或数值时，它会查找与该样本最接近的训练集中的k个邻居，并根据这些邻居的标签（分类问题）或数值（回归问题）来进行预测。

kNN的基本思想是，与目标样本距离更近的邻居具有更大的影响力。在分类问题中，kNN将k个最近邻居中出现次数最多的类别作为预测标签。在回归问题中，kNN会计算k个最近邻居的平均值或加权平均值，作为预测的数值。

要使用kNN算法，通常需要选择以下几个关键参数：

k值（近邻数）：需要指定用于预测的最近邻居的数量。较小的k值可能会使模型对噪声更敏感，而较大的k值可能会使决策边界更平滑。

距离度量方法：通常使用欧几里德距离（Euclidean distance）或曼哈顿距离（Manhattan distance）来衡量样本之间的距离。

权重方案（仅用于回归问题）：对于回归问题，可以选择赋予不同的最近邻居不同的权重，以便更接近目标样本的邻居具有更大的影响力。

代码实现

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score

# 生成虚拟数据集
X, y = make_classification(n_samples=200, n_features=2, n_informative=2, n_redundant=0, n_clusters_per_class=1)

# 划分数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建kNN模型
k = 3  # 近邻数
model = KNeighborsClassifier(n_neighbors=k)

# 在训练集上训练模型
model.fit(X_train, y_train)

# 在测试集上进行预测
y_pred = model.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy:.2f}")

# 可视化决策边界
plt.figure(figsize=(10, 6))
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Paired)
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')

# 绘制kNN的决策边界
h = 0.02  # 步长
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
Z = model.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.contourf(xx, yy, Z, cmap=plt.cm.Paired, alpha=0.8)

plt.title("kNN Decision Boundary")
plt.show()