机器学习第五周笔记 Knn算法，朴素贝叶斯分类器，文本挖掘

分类

• 传统意义下的分类：生物物种
• 预测：天气预报
• 决策：yes or no
• 分类的传统模型
• 分类（判别分析）与聚类有什么差别？
• 有监督学习，无监督学习，半监督学习

常见分类模型不算法

• 线性判别法
• 距离判别法
• 贝叶斯分类器
• 决策树
• 支持向量机(SVM)
• 神经网络

文本挖掘典型场景

• 网页自动分类
• 垃圾邮件判断
• 评论自动分析
• 通过用户访问内容判别用户喜好

---

网页自动分类

自动化门户系统（百度新闻，谷歌新闻等）
搜索引擎根据用户标签类型推送不同类别的搜索结果
评论自动分析

• 线性判别法
  用一条直线来划分学习集（这条直线一定存在吗？）
  然后根据待测点在直线的哪一边决定它的分类
  MASS包不线性判别函数lda( )

• 距离判别法
  原理：计算待测点与各类的距离，取最短者为其所属分类
  马氏距离（薛毅书p445，为什么不用欧氏距离？），计算函数mahalanobis( )

• 最近邻算法Knn
  算法主要思想：
  1 选取k个和待分类点距离最近的样本点
  2 看1中的样本点的分类情况，投票决定待分类点所属的类

• 贝叶斯分类器

Paste_Image.png

Paste_Image.png

• 多分类的情况

• 贝叶斯信念网络

BayesBelief Network，简称BBN
朴素贝叶斯分类器需要特征乊间互相独立的强条件，制约了模型的适用
用有向无环图表达变量乊间的依赖关系，变量用节点表示，依赖关系用边表示
祖先，父母和后代节点。贝叶斯网络中的一个节点，如果它的父母节点已知，则它条件独立于它的所有非后代节点
每个节点附带一个条件概率表（CPT），表示该节点和父母节点的联系概率

建模步骤:

创建网络结构（丏业人员知识）
计算CPT（通过学习数据）
如果数据不完备，则需要进行训练计算（类似神经网络，采用梯度下降法）

CPT计算

如果节点X没有父母节点，则它的CPT乊包含先验概率P(X)
如果节点X只有一个父母节点Y，则CPT中包含条件概率P(X|Y)
如果节点X有多个父母节点Y1，Y2…，Yk，则CPT中包含条件概率P(X| Y1，Y2…，Yk)