机器学习三要素

Title: 机器学习三要素
category: 机器学习
tags: CS 机器学习 人工智能 深度学习
summary: 统计机器学习三要素， 模型+策略+算法， 主要出自李航的《统计学习方法》

深度学习目录链接

本文完整版链接

致谢

本文来自以下内容：

1. 李航《统计学习方法》

看过的人不用再看这篇， 全是概念而已。

接上一篇机器学习的主要类型

我是拒绝的，因为这三个要素写起来，跟照抄有什么区别， 怎么编写才合理，真是头痛。

机器学习方法=模型+策略+算法

模型

模型就是所要学习的条件概率分布或决策函数， 即 y = f(x) 或 P = P(Y|X)

我们知道函数有 系数（参数） 和 未知数（变量）， 变量对应的是作为输入的数据， 所以机器学习主要是要求出函数（条件概率分布）的所有参数， 一般写成一个参数向量。

那么参数向量每个分量都有个“定义域”， n维向量取值于n维欧氏空间， 那这n维的定义域就称为 参数空间（parameter space)。

所有可能的决策函数或条件概率分布就组成了 假设空间（hypothesis space)

都是一些纯粹的概念， 会不会被人玩出花， 不知道。

损失函数总结

所以常见的损失函数就是以上四种：

1. 0-1损失函数：
   L(Y,f(X))={10Y≠f(X)Y=f(X)
2. 绝对损失函数：
   L(Y,f(X))=|Y−f(X)|
3. 平方损失函数: quadratic loss function
   L(Y,f(X))=(Y−f(X))2
4. 对数(似然)损失函数
   L(Y,P(Y|X))=−logP(Y|X)

策略总结

以上就是我们的两种策略：

1. 经验风险最优化
   minf∈F1N∑i=1NL(yi,f(xi))
2. 结构风险最优化
   minf∈F1N∑i=1NL(yi,f(xi))+λJ(f)

所以， 机器学习问题就变成了二选一策略的最优化问题。 我看的是李航《统计学习方法》，原句是监督学习问题， 无监督、强化问题 应该也差不多， 估计主要是具体函数会有区别。

算法

没什么好说的， 因为不可能在这里就提供具体的算法方案。

机器学习问题一般会归结为最优化问题

广告

完整版链接

深度学习目录

自引用：目录链接