图解机器学习读书笔记-CH2:学习模型

常见机器学习模型总结

1. 线性模型

一维输入+基函数形式:

非线性时, 可以表示复杂模型

基函数:
(1) 多项式

(2)三角多项式

多维输入形式:

是基函数向量的第j个因子, 是参数向量的第j个因子.

基函数:
(1) 乘法模型

模型表现力丰富, 其中, b'代表各维参数个数, 参数总和, 易导致维数灾难.
(2) 加法模型

参数总和, 复杂度小, 表现力差

2. 核模型

线性模型基函数和训练样本无关,核模型的基函数会使用输入样本.

核模型是二元核函数, 以的方式线性结合:

高斯核:

, 其中表示范数, h和c是高斯函数带宽和均值

高斯核函数图:

image.png

一维高斯核

image.png

如图, 只在各个样本附近近似, 减轻了维数灾难

参数个数不依赖输入变量维数d, 只由样本数n决定

样本数n很大时, 将样本的子集作为核均值计算, 抑制了计算负荷:

核模型是参数向量的线性形式, 因此也是基于参数的线性模式的特例.

基于参数的线性模型称为参数模型, 核模型称为非参数模型

核映射: 核模型易扩展,当输入样本不是向量时(字符串,决策树, 图表等),通过构造两个样本x和x'的和核函数来建模.

3. 层级模型

非线性模型: 和参数相关的不是线性的模型均称为非线性模型
非线性模型中的层级模型:

上式中, 是包含参数向量的基函数, 是参数向量
层级模型是基于参数向量的非线性形式

S型基函数:

S型基函数

高斯基函数:

高斯基函数

• 使用S型核函数的层级模型称为人工神经网络

• 上式中的高斯函数和核模型中的高斯核相同,但是带宽和均值非固定

• 层级模型会对耦合系数,带宽和均值都进行学习, 因此层级模型比核函数更灵活.

• 人工神经网络学习过程艰难: 参数和函数不是一一对应的

• 常采用贝叶斯方法学习人工神经网络