KNN与K-Means算法的区别和共同特点

1、KNN算法与K-Means算法的区别:

(1)解决什么问题?

KNN是有监督的学习算法,解决的是分类问题,也就是说,KNN使用有分类标签的数据集通过计算对新的数据进行分类预测;

K-Means是无监督学习,解决的是聚类问题,即训练数据集没有分类标签,通过K-Means算法将数据集划分为K类。

(2)K是什么?

KNN算法的原理:
a、对于一个待划分类别的数据点,计算实例与数据集中其它点的距离
b、选出距离最近的K个点,
c、在这K个点中,出现次数最多的类别就是这个数据点的预测分类。

K-Means算法的原理:
a、选取K个类的中心点,这些中心点一般是随机选取的
b、将其他点按照距离划分到这K个类中,并重新计算K类的中心点
c、重复上面的步骤,直到中心点不再发生变化,也可以指定最大迭代次数,迭代次数达到最大数时,即使中心点发生变化,也将停止迭代

所以,KNN中的K是距离数据点最近的点的数量,K-Means中的K是聚类的数量。

2、KNN算法与K-Means算法的相同点:

都会计算距离,并且会使用以下同样的算法:

a、欧式距离,例如:对于二维空间的计算公式为:

KNN与K-Means算法的区别和共同特点_第1张图片
b、曼哈顿距离:

KNN与K-Means算法的区别和共同特点_第2张图片
c、切比雪夫距离:
就是这两个点坐标数值差的绝对值的最大值,用数学表示就是:max(|x1-y1|,|x2-y2|)

d、余弦距离:
计算的是两个向量的夹角,是在方向上计算两者之间的差异,对绝对数值不敏感。在兴趣相关性比较上,角度关系比距离的绝对值更重要,因此余弦距离可以用于衡量用户对内容兴趣的区分度。比如我们用搜索引擎搜索某个关键词,它还会给你推荐其他的相关搜索,这些推荐的关键词就是采用余弦距离计算得出的。

你可能感兴趣的:(数据挖掘,机器学习,算法,机器学习,数据挖掘,聚类,分类算法)