简单粗暴理解与实现机器学习之K-近邻算法(一):K-近邻算法(KNN)概念、电影类型分析案例

K-近邻算法

文章目录

  • K-近邻算法
    • 学习目标
  • 1.1 K-近邻算法简介
    • 1 什么是K-近邻算法
      • 1.1 K-近邻算法(KNN)概念
      • 1.2 电影类型分析

学习目标

  • 掌握K-近邻算法实现过程
  • 知道K-近邻算法的距离公式
  • 知道K-近邻算法的超参数K值以及取值问题
  • 知道kd树实现搜索的过程
  • 应用KNeighborsClassifier实现分类
  • 知道K-近邻算法的优缺点
  • 知道交叉验证实现过程
  • 知道超参数搜索过程
  • 应用GridSearchCV实现算法参数的调优

1.1 K-近邻算法简介

简单粗暴理解与实现机器学习之K-近邻算法(一):K-近邻算法(KNN)概念、电影类型分析案例_第1张图片

1 什么是K-近邻算法

  • 根据你的“邻居”来推断出你的类别

1.1 K-近邻算法(KNN)概念

K Nearest Neighbor算法又叫KNN算法,这个算法是机器学习里面一个比较经典的算法, 总体来说KNN算法是相对比较容易理解的算法

  • 定义

如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。

来源:KNN算法最早是由Cover和Hart提出的一种分类算法

  • 距离公式

两个样本的距离可以通过如下公式计算,又叫欧式距离 ,关于距离公式会在后面进行讨论

简单粗暴理解与实现机器学习之K-近邻算法(一):K-近邻算法(KNN)概念、电影类型分析案例_第2张图片

简单粗暴理解与实现机器学习之K-近邻算法(一):K-近邻算法(KNN)概念、电影类型分析案例_第3张图片

1.2 电影类型分析

假设我们现在有几部电影

简单粗暴理解与实现机器学习之K-近邻算法(一):K-近邻算法(KNN)概念、电影类型分析案例_第4张图片

其中? 号电影不知道类别,如何去预测?我们可以利用K近邻算法的思想

简单粗暴理解与实现机器学习之K-近邻算法(一):K-近邻算法(KNN)概念、电影类型分析案例_第5张图片

分别计算每个电影和被预测电影的距离,然后求解

简单粗暴理解与实现机器学习之K-近邻算法(一):K-近邻算法(KNN)概念、电影类型分析案例_第6张图片

你可能感兴趣的:(【机器学习与深度学习】)