knn 笔记

经常把knn和kmeans搞混，knn是监督学习，用于分类或回归，kmeans是无监督的聚类模型。

对于knn，这是一种lazy learning，先进行存储，在querying的时候才进行预测。基本上，算是一种similarity function。knn基于邻近的k个值，求得平均值或者weighted average，得到最后的输出。所以选择distance function或者说similarity function很重要。 如何取得k的值也是一个减小error的关键 。knn中所有的特征都是同等重要。