机器学习笔记-K近邻

  • k近邻法不具有显示的学习过程,是一种懒惰学习
  • 即可分类,又可回归
  • 模型由三个基本要素——距离度量、k值的选择、分类决策规则决定
  • kd树是二叉树,表示对k维空间的一个划分。是一种便于对k维空间中的数据进行快速检索的数据结构
    • 构造kd树
    • 搜索kd树
    • http://blog.csdn.net/app_12062011/article/details/51986805
  • 构造kd树,相当于不断用垂直于坐标轴的超平面将k维空间切分,构成一系列的k维超矩形区域,构造好的kd树的每个叶子节点都对应k维空间的一个划分
  • 对于n个实例的k维数据来说,建立kd树的时间复杂度为O(k*n*logn)
  • k值的选择
    • k值越小,就相当于用较小的领域中的训练实例进行预测。表明模型越复杂,更加容易过拟合
    • 但是k值越大,模型越简单,如果k=N的时候就表明无论什么点都是训练集中类别最多的那个类
    • 所以一般k会取一个较小的值,然后用过交叉验证来确定

你可能感兴趣的:(机器学习,机器学习心得,KNN,K近邻,机器学习)