认识
集成学习(Ensemble Methods), 首先是一种思想, 而非某种模型, 是一种 "群体决策" 的思想, 即对某一特定问题, 用多个模型来进行训练.
像常见的单个模型, KNN, LR, 逻辑回归, 贝叶斯, SVM, 决策树, LDA, PCA ... 这些都是单个模型来训练可能并不能很直观说哪个最好, 但有种直觉, 多个模型来来整, 肯定由于单个模型, 这就是集成学习的思想.
如何 "管理" 多个模型?
- bagging:
- boosting:
主流集成学习方法
- Majority Voting
- Bagging
- Random Forests
- Stacking
Majority Voting
嗯, 我就翻译为, "民主决策"吧.
以分类问题为例, 就是将样本 X , 训练出不同的模型, 然后进行测试, 进行投票, 得票最多的模型则 被被认为是最好.
输入: X
训练: m1 = knn_tarin(X), m2 = svm(X), m3=kernel_svm(X), m4 = LDA(X)....
输出: m1, m2, m3...\(m_n\)
....
测试:
输入: 各每个模型 输入测试数据 X_test
输出: m1(X_test), m2(X_test)....
然后投票voting 取众数 mode 即可:
\(y = mode(m1_(X_test), m2(X_test)...)\)
证明voting 是可行的
假设有 n 个独立的分类模型, 每一个的错误率都为 \(\epsilon\). (独立就意味着误差是不相关的).
然后假设这里是一个二元分类场景, 而每个模型, 又非常地烂, 也不针对谁, 都是一些, 错误率比随机猜要好一点点.
\(\forall _{\epsilon _i} \in {\epsilon _1}, \epsilon _2, ... \epsilon_n, \ \epsilon_i <0.5\)
即模型错误率低于 0.5. 于是可以计算一波概率, 假设有n个模型, 其中对于 k 个模型,都是错误的概率(最终错误的概率):
\(P(k) = \begin {pmatrix} n\\k \end {pmatrix} \epsilon ^k (1-\epsilon)^{n-k} \ 其中 k > 0.5n\)
最终错误率:
\(\epsilon =\sum \limits _{k}^n \begin {pmatrix} n\\k \end {pmatrix} \epsilon ^k (1-\epsilon)^{n-k}\)
栗子: 假设一共有 11 个模型, 每个模型的误差是 0.25 , 则误差为:
\(\epsilon = \sum \limits _{k=6}^{11} \begin {pmatrix} n\\k \end {pmatrix} 0.25^k (1-0.25)^{11-k} = 0.034\)
这样就比较直观看出, 多个模型肯定是由于单个模型的哦.
soft voting
针对模型, 可以输出一个 分类标签出现的 概率值, 比如像 逻辑回归. 输出不仅仅是最终分类, 还会输出其概率有多大.
\(\hat y = argmax_j \sum \limits _{i=1}^n w_iP_{i, j}\)
\(P_{i,j}\) 表示第 i 个分类模型, 输出类别为 i 的概率
\(w_i\) 表示第 i 个分类模型的权重, 如都一样则: \(w_i = \frac {1}{n}\)
其实就是给类别, "附加上了该结果 出现的预测概率当然,也可以给不同模型的权重值.
case
假设样本是 X, 问题是二分类 (0, 1), 然后有训练好3个模型 \(m_1, m_2, m_3\), 这三个模型, 我假设再给一个主观经验的权重, 比如 分别是 0.2, 0.4, 0.6
现用测试集测试, 3个模型分别得到输出如下:
\(m_1(X) = [0.9, 0.1] \\ m_2(X) = [0.8, 0.2] \\ m_3(X) = [0.4,0.6]\)
则:
\(P(y=1|X) = 0.2*0.9 + 0.2*0.8 + 0.6*0.4 = 0.58\)
\(P(y=0|X) = 0.2*0.1 + 0.2*0.2 + 0.6*0.6 = 0.42\)
关于投票, 还是很好理解的吧.