机器学习(二)~模型分类与应用

机器学习(二)~模型分类与应用

    • 1. 监督学习、无监督学习与强化学习
      • 1.1 理解
      • 1.2 区别
    • 2.监督学习应用
    • 3.概率模型与非概率模型
    • 4. 生成模型与判别模型
      • 4.1生成模型和判别模型的优缺点
    • 5.线性模型与非线性模型
    • 6.参数化模型与非参数化模型

1. 监督学习、无监督学习与强化学习

1.1 理解

监督学习: 假设数据独立同分布,从标注数据中学习预测模型

无监督学习: 输入数据没有被标记,也没有确定的结果。

半监督学习: 利用少量标注样本和大量未标注样本辅助进行机器学习

强化学习: 智能系统在与环境的连续互动中学习最优行为策略的机器学习问题,它主要包含四个元素,agent,环境状态,行动,奖励,在每一步t,agent从环境中观测到一个状态st和奖励rt,进而采取一个动作at;环境根据agent的动作,决定下一步的t+1的状态st+1与奖励rt+1

  • 强化学习目的:长期累积奖励最大化,而非短期

1.2 区别

监督学习: 从已知特定商品和特定类别用户中学习并推荐,输入与输出一一映射
非监督学习: 将先前知道的已经买过的相似商品推荐给用户,学习的是一种模式,没有特定结果
强化学习: 先推荐少量的商品试探,不断根据用户的反馈改变决策,最后构建用户可能会喜欢的文章的“知识图谱”

  • 强化学习面对的输入总是在变化,每当算法做出一个行为,它影响下一次决策的输入,而监督学习的输入是独立同分布的

2.监督学习应用

人们根据输入输出变量的不同类型,对预测任务分以下类型:
回归问题: 输入变量与输出变量均为连续变量的预测问题
分类问题: 输出变量为有限个离散变量的预测问题
标注问题: 输入与输出变量均为变量序列的预测问题

3.概率模型与非概率模型

条件概率分布P(y|x)和函数f(x)可以相互转化,前者最大化得到后者,后者归一化得到前者

概率模型与非概率模型之间的区别不在于输入输出的映射(函数可以互相转化),而在于模型内在结构,概率模型一定可以表示为联合概率分布的形式,非概率模型不一定存在这样的联合概率分布

概率模型: 决策树、朴素贝叶斯、隐马尔科夫模型、条件随机场、概率潜在语义分析、狄利克雷分配、高斯混合模型…

  • 概率模型的代表是概率图模型,如贝叶斯网络、马尔科夫随机场、条件随机场等

非概率模型: 感知机、线性支持向量机、AdaBoost、K近邻、K均值、潜在语义分析、神经网络等

  • 逻辑回归既可看作概率模型,又可看作非概率模型

概率图模型是联合概率分布由有向/无向图表示的概率模型,联合概率分布可以分解为因子乘积的形式。无论模型多么复杂,均可由最基本的加法和乘法规则进行概率推理。

4. 生成模型与判别模型

  • 在监督学习中,概率模型是生成模型,非概率模型是判别模型

4.1生成模型和判别模型的优缺点

判别模型:判别模型是寻找不同类别之间的最优分类面,反映的是异类数据之间的差异。判别模型不能反映数据本身的特性。但是判别模型简单易懂,而且可以对数据进行各种抽象、定义特征并使用特征,可以简化学习问题。

生成模型:生成模型能反映数据之间的关系,而且可以做增量学习,生成模型的学习收敛速度更快,而且对于存在隐变量的问题,仍可以使用生成模型(如隐马尔科夫,混合高斯模型等)。但是生成模型学习和计算过程更加复杂。

5.线性模型与非线性模型

如果函数y=f(x)或z=g(x)是线性函数,则称线性模型,否则为非线性模型
线性模型: 感知机、线性支持向量机、K近邻、K均值、潜在语义分析…
非线性模型: 核函数支持向量机、AdaBoost、神经网络…

  • 深度学习是复杂的非线性模型学习

6.参数化模型与非参数化模型

参数化模型可以由有限维度参数完全刻画;非参数化模型假设模型参数的维度不固定或者说无穷大,随着数据量的增大不断增大

参数化模型: 感知机、朴素贝叶斯、逻辑回归、K均值、高斯混合模型…
非参数化模型: 决策树、支持向量机、AdaBoost、K近邻、潜在语义分析、概率潜在语义分析、潜在狄利克雷分配…

你可能感兴趣的:(机器学习算法)