机器学习经典方法思想

本文附带问题以及答案,and总结,在每个章节对应的末尾

目录

 1 绪论

2 模型评估和选择

留出法(ps:留一法是只留一个验证)

交叉验证法(k折交叉验证)(10折交叉验证)

自助法

调参和最终模型

 性能度量

查准率、查全率

P-R曲线和平衡点F1

ROC曲线和AUC面积、Lrank排序损失

代价敏感曲线(代价曲线)

问题和总结

3 线性模型

线性回归

 对数几率回归:对数几率函数Sigmoid

 线性判别分析LDA

多分类学习

类别不平衡问题(样本分布不均匀)

 类别不平衡的处理:

 梯度下降法

问题和总结

4 决策树

基本流程(算法)

信息熵和信息增益

信息增益Gain(D,某属性a):ID3算法

增益率Gain_ratio(D,某属性a):C4.5算法

基尼值Gini,基尼指数Gini_index:CART算法

预剪枝:生成决策树的过程中剪枝

后剪枝:生成决策树之后剪枝

连续值:可取连续值的属性

缺失值:某些数据的其中某个数据缺失,若全部弃用则会很浪费

多变量决策树:用线性关系替代多个变量

问题和总结

 过拟合

5 神经网络

BP算法(误差逆传播)

全局最小、局部最小

问题和总结

6 支持向量机SVM

SVM基本原理

 SMO算法的基本思路:

 核函数:升维,使得样本在高纬度线性可分(可以被超平面隔开)

软间隔和正则化

支持向量回归SVR

带松弛变量的SVR

 问题和总结

7 贝叶斯分类器

 朴素贝叶斯分类器(NB算法)

拉普拉斯平滑(拉普拉斯修正):

 朴素贝叶斯优缺点

半朴素贝叶斯分类器

贝叶斯网络

8 集成学习

个体与集成

集成学习的效果

Boosting:个体学习器之间有强依赖关系

AdaBoost算法

 样本权重≠分类器权重

Bagging:个体学习器之间相互独立

Boosting和Bagging的区别

随机森林RF:Bagging的一个扩展变体(随机属性选择)

 结合策略:平均法、投票法、学习法

问题和总结


 1 绪论

机器学习经典方法思想_第1张图片

2 模型评估和选择

留出法(ps:留一法是只留一个验证)

大部分样本作训练集S,剩下的作验证集T。

S、T的选取需满足分层抽样,避免其他因素干扰,保持数据分布一致性

训练集:验证集是几比几(如七三分,八二分)分实际情况考虑决定

单次留出法得到的估计结果不够可靠,通常会多次随即划分且多次实验,取结果平均值

交叉验证法(k折交叉验证)(10折交叉验证)

类似于留出法,但把样本划分为k个,抽取k-1个作为训练集S,剩下的1个作为测试集T

一共进行k次,取不同的组合,将平均值作为结果

k通常取10,因此也叫10折交叉验证。也可以取5,20机器学习经典方法思想_第2张图片

缺点:步骤繁琐,数据量大时,对算力要求较高。

自助法

例如有10个数组1~10,从中可放回的拿10次,放入新的集合S,那么有个别数字始终不会被拿起,这部分数字放入新的集合T

机器学习经典方法思想_第3张图片

 适用于:数据量小 or 难以划分的

缺点:改变初始数据集分布,会引入估计偏差(例如2这个数字在初始集合只有一个,但在S中有2个或者3个)

谨慎使用!

调参和最终模型

假设一个算法有3个参数,分别可以取5个候选值,那么对于每一组“训练集、测试集”就有5³=125个模型需要考察

候选值的选取需要权衡考虑“算力”和“性能”

调参步骤:训练集+测试集+参数配置1——>训练集+测试集+参数配置2——>训练集+测试集+参数配置3——>训练集+测试集+参数配置4——>...............——>最后实际使用时用验证集验证

 性能度量

机器学习经典方法思想_第4张图片

机器学习经典方法思想_第5张图片

// 双杠写错了,是01损失函数

查准率、查全率

查准率 P = 实际预测正确的 / 预测的正例个数

查全率 R= 实际预测正确的 / 所有的实际正例

下方:Accuracy——>精度 

Precision——>查准率P:描述准确程度,样本不均衡时,查准率没有什么意义

Recall——>查全率R:描述预测到的正例覆盖程度

机器学习经典方法思想_第6张图片

机器学习经典方法思想_第7张图片

通常取平衡点P=R直线决定的点来衡量一个模型的好坏(P=R时的值)

在不同情况对P和R的要求不同,推荐算法中P更重要,逃犯追查系统中R更重要

P-R曲线和平衡点F1

平衡点:BEP,此点P=R

F1:P和R的调和平均数

机器学习经典方法思想_第8张图片

ROC曲线和AUC面积、Lrank排序损失

ROC曲线所处的坐标中,横轴为FPR,数值越大准确率(Accuracy)越低。纵轴为TPR,数值越大准确率越高,因此可以出现FPR,TPR都很大,但Accuracy很低的情况

我们希望TPR(真正例率)变大的同时,FPR(假正例率)增长的缓慢,那么曲线就像蓝色曲线一样的弯曲最好。而TPR变大的同时FPR不可避免的会变大,因此曲线只能是这样

 AUC就是ROC包围的面积,面积越大,该模型的性能越好。

损失Lrank=1-AUC

机器学习经典方法思想_第9张图片

代价敏感曲线(代价曲线)

//为什么引入代价敏感曲线

“代价敏感错误率”:不同的方向误判代价不同(eg:漏诊比误诊更严重),因此需要加权。

机器学习经典方法思想_第10张图片

 代价敏感曲线:由ROC曲线中的坐标确定代价曲线中的FNR,从而绘制出代价曲线(共同下界)

阴影面积即为:期望总体代价

机器学习经典方法思想_第11张图片

机器学习经典方法思想_第12张图片

问题和总结

机器学习经典方法思想_第13张图片

 机器学习经典方法思想_第14张图片

机器学习经典方法思想_第15张图片

3 线性模型

该章节下最重要的是梯度下降法

线性回归

回归问题可以映射到分类问题,是神经网络的基础

机器学习经典方法思想_第16张图片

机器学习经典方法思想_第17张图片

 E在这里是均方误差,让w和b的偏导等于0,求得w和b的最优解。该求解均方误差E最小化的过程叫“线性回归模型的最小二乘‘参数估计’”

以下为多元情况:求的是由协方差矩阵决定的最优解

机器学习经典方法思想_第18张图片

 以下为广义线性回归:

机器学习经典方法思想_第19张图片

 本质也是线性回归问题,只是进行了y的函数映射

 对数几率回归:对数几率函数Sigmoid

对数几率函数Sigmoid在横轴为0时会有连续的突变,形状接近阶跃函数,所以可以用于分类学习

虽然名字是“回归”,但实际上是一种分类学习的方法。由于在某一点会有突变,预测值高于这个阈值(突变点横轴) or 低于这个阈值,都会判定为不同的分组

机器学习经典方法思想_第20张图片

 这里的z可以换成多元情形:Z = A(X)T + b

 机器学习经典方法思想_第21张图片

 线性判别分析LDA

此章性价比很低,该方法虽然朴素,但并不简单

机器学习经典方法思想_第22张图片

 目的:让同类别的点之间方差最小,不同类别的方差最大

原理:通过投影放大不同组的点之间的差距

注意区别于后面的:SVM核函数

多分类学习

该方法在实战中可用深度学习的方法替代,可用性不高,但简单总结

将多分类任务拆解为多个二分类任务求解,典型的有3种策略:

1,一对一   OvO

2,一对其余OvR

3,多对多   MvM

ECOC:纠错输出码:将编码的思想引入类别拆分

类别不平衡问题(样本分布不均匀)

样本中训练样例的正反例的数目相差无几时,影响不大;但如果某一种较大,则会产生很大的影响,例如1000个样本有999个正例,1个反例,那么一个只会返回正例的学习器的精度一定是99%,这种学习器没有任何意义

类别不平衡造成的原因:

  1. OvR MvM分类策略导致的不平衡
  2. 采样本身几乎不可能无偏

机器学习经典方法思想_第23张图片

 类别不平衡的处理:

  1. 欠采样:用EasyEnsemble算法,将反例划分为多个集合供机器学习,从全局来看不会丢失信息。也可简单删除一些不重要的样本
  2. 过采样:增加一些样本采集,但不能重复采用,否则会导致过拟合
  3. 阈值移动:仍用原始数据集训练,只是最后进行缩放m+/m-

 梯度下降法

思想和《最优化方法》中的最速下降法高度相似

都是沿着“负梯度”方向进行迭代

梯度下降算法原理讲解——机器学习_Arrow and Bullet-CSDN博客_梯度下降法

问题和总结

机器学习经典方法思想_第24张图片

机器学习经典方法思想_第25张图片

 机器学习经典方法思想_第26张图片

4 决策树

基本流程(算法)

  1. 根节点出发,将根节点的样本集合D作为第一个节点,引出分支节点
  2. 第一个分支节点按具体计算结果,从样本的属性集中选一个再分支
  3. 划分选择的方法:Gain Gain_ratio Gini算法

举例(看完整个后反回来看例子):

有样本集D记录了西瓜的各属性和好坏

决定第一个分支选什么属性:计算每个属性基于D的信息增益Gain,或增益率Gain_ratio,或基尼指数Gini

决定第  i 个分支选什么属性:计算每个属性基于i-1的信息增益Gain,或增益率Gain_ratio,或基尼指数Gini

Gain Gain_ratio取最高,Gini取最低

信息熵和信息增益

信息:例如给一个样本集D,一共17个样本,其中每个样本都有{色泽、根蒂、敲声、纹理、脐部、触感}6种属性,并且样本集中有8个好瓜,9个坏瓜。   这些已知的东西都叫信息,但信息不是越多越好,其中有些假信息称作“噪声”。

噪声:噪声会导致过拟合。

数据:信息+噪声,样本集D中的只能叫数据

信息熵Ent(D)通俗讲就是描述信息的混乱程度,Ent和属性有多少个无关,它由结果分类情况决定,显然是Ent(D)越小,D的纯度越高;   既然是描述混乱程度,那么样本集D的信息熵就由该样本的分类情况决定,例如:抛1个硬币,结果有2种;抛3个硬币,结果有8种判断西瓜是不是好瓜,结果有2种;信息熵的计算公式和计算举例如下:

机器学习经典方法思想_第27张图片

机器学习经典方法思想_第28张图片

 另外,如果是选中“纹理”作为节点,计算Ent(D1),那么就要以纹理的结果集{清晰、模糊、稍糊}进行计算(以log2为底,一共3项加和 再取负)

信息增益Gain(D,某属性a):ID3算法

表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。可以很好的判断各个特征划分数据集的能力。故越大越好

        如果说Ent信息熵用来描述该节点 D 的混乱程度,那么信息增益Gain就是评判“在已分支的此节点上,再细分下一个属性分支的增益效果”;此增益效果表达的是:如果下一个节点来判断xx属性,对整个模型的增益效果如何

        例如:在“纹理”分支之下,究竟该选择哪个属性来进行下一步判断呢?即选Gain最大的属性

        然而,有些属性的可选值很多,造成了生成的决策树有很多分支都是它的,这也是单纯用信息增益Gain的缺点:对可选值多的属性有偏好

增益率Gain_ratio(D,某属性a):C4.5算法

        用Gain(D,a)除以一个对应的系数IV(a),消除“对可选值多的属性的偏好”;但这也导致该方法对可选值少的属性有偏好

        使用时先用普通的信息增益Gain方法选出超过平均值的前几名,然后再在这前几名中用增益率Gain_ratio来选出最佳的分支,既保证了纯度,也降低了计算量        

机器学习经典方法思想_第29张图片

基尼值Gini,基尼指数Gini_index:CART算法

与前面两种方法的基本思想一致,不过是选择基尼指数最小的

机器学习经典方法思想_第30张图片

决策树算法原理(CART分类树) - 做梦当财神 - 博客园

预剪枝:生成决策树的过程中剪枝

            基于“贪心”本质,能剪则剪。

         如果某个分支的存在并没有提高准确率,or降低了准确率,则剪掉

  1. 降低了过拟合风险;
  2. 显著减少了决策树训练时间;
  3. 但带来了欠拟合的风险

后剪枝:生成决策树之后剪枝

        能不剪,则不剪,剪前后若准确率相等,则保留

  1. 同样的训练模型,后剪枝的决策树保留了更多的分支
  2. 后剪枝的欠拟合风险很小
  3. 泛化性能往往优于预剪枝(分的更细,在面对陌生数据时判断更准确)
  4. 训练时间长的多(生成决策树之后需要自底向上逐一考察,计算开销大)

“在有噪声的情况下,剪枝操作甚至能将泛化性能提高25%”

连续值:可取连续值的属性

        例如:脐部{凹陷,平坦,稍凹}这种是离散值;而密度,xx含量等很多属性值都是连续的

        因此在划分分支的时候,需要有一个间断点

  1. 间断点的划分方法:二分法,例如有17个排序后的点集,两两之间算中位数,一共算16次,生成16个t值,组成一个t的集合T,用T中的划分点代入Gain算法,计算Gain(D,该属性,t为划分点),取Gain最大值,对应的t即为最终确定的划分点
  2. 划分完t之后,如果子分支还需用到更细的判断, 可以使用t的子集:例如:一个节点判断“密度<=0.381”那么后续的子节点可以使用任何"密度<0.381"范围的判断依据

缺失值:某些数据的其中某个数据缺失,若全部弃用则会很浪费

        属性a缺失值处理方法:

  1. 西瓜书上p88:跳过该属性a的判断,直接判断下一节点的所有可能性,但需要加上训练集中的比例权重
  2. (离散值):众数填充、相关性最高的列(属性b总是与属性a的取值几乎一一对应)填充
  3. (连续值):中位数、相关性最高的列(同上)做线性回归估计

多变量决策树:用线性关系替代多个变量

        有些属性之间有一定的线性关系,例如:密度和含糖量之间存在着线性关系,那么就把密度和含糖量分别乘上各自的权重系数,用他俩组成的一个式子<=t 或 >=t 作为分界点来判断

多变量决策树算法:贪心寻找每个属性的最优权值,线性分类器的最小二乘法

问题和总结

分类和回归的区别
什么是损失函数

机器学习经典方法思想_第31张图片

 机器学习经典方法思想_第32张图片

机器学习经典方法思想_第33张图片

机器学习经典方法思想_第34张图片

 机器学习经典方法思想_第35张图片

 过拟合

过拟合 欠拟合的原因and解决

链接2

机器学习经典方法思想_第36张图片

机器学习经典方法思想_第37张图片

5 神经网络

最基本成分:神经元模型 M-P神经元模型

        M-P神经元模型:在这个模型中,神经元接受到来自n个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接进行传递,神经元将接收到的信号与阈值对比,如果大于这个阈值,则经过激活函数(Sigmoid函数,连续的阶跃函数)机器学习经典方法思想_第38张图片

 Xi是输入信号,Wi是来自第i个神经元的连接权重

 感知机、多层网络

感知机由两个神经元组成(类似突触结构)

给定训练数据集,权重Wi和阈值θ都可以通过学习得到

 学习率不能一成不变,学习率也叫搜索步长,如果过大,在接近最优解的附近会发生震荡,如果过小,搜索的速率会很慢

BP算法(误差逆传播)

  1. 多层网络的学习能力>>远大于>>单层感知机
  2. 一般说的BP网络就是用BP算法训练的多层前馈神经网络
  3. BP算法是迄今为止最成功的神经网络学习算法
  4. BP算法基于梯度下降法

全局最小、局部最小

基于梯度的搜索是使用最为广泛的最优化方法,但每当达到梯度为0的时候,不能判断此处为局部最小还是全局最小,因此在现实中,常采用以下方法“跳出”局部最小

  1. 随机梯度下降法
  2. 从不同的初始点开始搜索
  3. 模拟退火技术

其他常见的神经网络

BP神经网络、RBF网络、ART网络、SOM网络、Elman网络、Boltzmann机

常用神经网络的分类 - Siucaan - 博客园

深度学习(deep learning)

参数多、容量大,能完成更复杂的学习任务;在以往,复杂的模型训练效率低,容易过拟合,但如今算力提升,大数据时代数据增多,训练的过拟合风险降低,因此深度学习开始受到关注

一文看懂深度学习(白话解释+8个优缺点+4个典型算法)_weixin_43612023的博客-CSDN博客_深度学习的优势

问题和总结

机器学习经典方法思想_第39张图片

6 支持向量机SVM

SVM基本原理

基本思想:SVM的目标在数据特征空间寻找一个最优超平面将数据分成两类,这个最优化超平面使得离其最近的点到其的距离最大化,这些点被称为支持向量。SVM可以用于解决二分类或者多分类问题。机器学习经典方法思想_第40张图片

 

 SMO算法的基本思路:

  1. 选取一对需要更新的变量ai和aj
  2. 固定ai和aj以外的参数,求解6.11式

 核函数:升维,使得样本在高纬度线性可分(可以被超平面隔开)

机器学习经典方法思想_第41张图片

机器学习经典方法思想_第42张图片

软间隔和正则化

为什么引入“软间隔”概念?:

  1. 现实中很难确定合适的核函数使样本在特征空间中线性可分
  2. 即便是找到了这个核函数,也不能确定这个线性可分的结果是不是过拟合造成的
  3. 缓解这个问题需要允许一部分样本在支持向量机SVM上出错,因此引入“软间隔”

    引入“松弛变量”,以表征该样本不满足约束的程度。

区别于SVM:

    SVM是要求所有样本均满足约束,所有样本都划分正确,也称“硬间隔”

支持向量回归SVR

支持向量回归(Support Vector Regression)_u014611178的博客-CSDN博客_支持向量回归

支持向量机不仅可以用于分类(SVM划分超平面),还可以用于回归

支持向量机的精髓在于“间隔最大化”

  1. 在分类SVM中,需要找到一个w和b使得靠近超平面的样本点间隔最大
  2. 在回归SVR中,使靠超平面最远的样本点之间的间隔最大

带松弛变量的SVR

机器学习经典方法思想_第43张图片

 问题和总结

机器学习经典方法思想_第44张图片

 机器学习经典方法思想_第45张图片

机器学习经典方法思想_第46张图片

机器学习经典方法思想_第47张图片

7 贝叶斯分类器

贝叶斯思想:

先验概率:是指根据以往经验和分析得到的概率,如全概率公式

后验概率:可理解为条件概率

     先验概率的决策有很大的局限,但也有使用价值,例如:整合在朴素贝叶斯算法中,但先验概率需要样本量很大时才很准确

    引入“分类错误率”,后验概率越大,错误率越小,因此在贝叶斯分类器中,整合先验概率,后验概率来计算结果

但是最基础的贝叶斯分类器考虑了属性间的相关性,计算很麻烦,故引出朴素贝叶斯分类器

 朴素贝叶斯分类器(NB算法)

1,假设前提:属性相互独立

2,过程原理:基于训练集D,采用极大似然估计的方法,来估计先验概率P(Yk)和每个属性的条件概率P(Xi | Yk),训练完成后,根据朴素贝叶斯公式,计算出不同的分类值,取最大值作为结果

3,实践中常对“朴素贝叶斯分类器”的运算取对数,使连乘变为连加避免了数值下溢

拉普拉斯平滑(拉普拉斯修正):

如果在使用朴素贝叶斯分类器的过程中,样本集D没有出现对属性a=xx的判断,那么在计算先验概率时,该p就=0,整个朴素贝叶斯算出来也是0,为了避免这种情况发生,在先验概率和条件概率的每个式子的分子分母都+1,这个+1操作对估计概率的变化可忽略不计,但可以有效避免0概率问题

机器学习经典方法思想_第48张图片

 朴素贝叶斯优缺点

机器学习经典方法思想_第49张图片

半朴素贝叶斯分类器

  •  为了降低贝叶斯分类器中估计后验概率P(c | X)的难度,引入了朴素贝叶斯分类器——采用属性条件独立性假设
  • 由于朴素贝叶斯分类器的“属性条件独立性假设”现实中很难成立,引入朴素贝叶斯分类器 

基本思想:

        考虑部分属性间依赖关系,即不需要完全计算依赖,也不会忽略强依赖关系

常用策略:

        “独依赖估计ODE”:每个属性最多仅依赖一个其他属性(其后验概率能由其他属性的后验概率加权表示)        

贝叶斯网络

贝叶斯网络,又称信念网络,或有向无环图模型,是一种概率图模型

简言之,把某个研究系统中涉及的随机变量,根据是否条件独立绘制在一个有向图中,就形成了贝叶斯网络。其主要用来描述随机变量之间的条件依赖,用圈表示随机变量(random variables),用箭头表示条件依赖(conditional dependencies)。

机器学习经典方法思想_第50张图片

8 集成学习

个体与集成

  集成学习:多分类器系统——通过构建并结合多个学习器来完成学习任务

  同质:“神经网络集成”中全都是神经网络,这样的同质集成中,个体学习器也称“基学习器

  异质:一个集成中包含不同类型的个体学习器(如:同时包含决策树and神经网络),这样的异质集成中,个体学习器也称“组件学习器

  弱学习器:泛化性能略优于随即猜测的学习器(如:在二分类问题上精度略高于50%的分类器);集成学习的很多研究都是针对弱学习器的。

集成学习的效果

机器学习经典方法思想_第51张图片

个体分类器的数目准确率 都影响着集成学习的最终效果!

集成学习的原则:

好而不同:个体学习器效果都不错,并且模型不同

少数服从多数:广义的少数服从多数

Boosting:个体学习器之间有强依赖关系

    何为强依赖关系?:下一个学习器的权重由上一轮的错误率e决定,而样本权重由分类器权重决定

    Boosting是集成学习中的一种方法,意为“提升”。提升是一个逐步优化集成学习器的过程,即每个个体学习器都在弥补集成学习器的欠缺,从而达到整体的优化。

    为什么权重的变化能达到整体的优化?:因为前面的判断正确,后面权重低,但学习器个数多,最终的判断正确概率>判断错误概率(少数服从多数);而前面的判断错误,后面权重高,最终的判断正确概率>判断错误概率(权重增加的很多)

原理,思想:

  • 集成学习含有多个个体学习器,对于某一个输入值,集成的判断结果由所有个体学习器加权决定。
  • 每个个体学习器因为模型不同,各自的阈值,算法都不同,这可能导致同一个输入在不同的个体学习器中判断结果不同。
  • 这就需要在不断的整合个体学习器时,每次都增加“之前被误判的样本数据”的权重,弥补集成学习器的欠缺,从而达到整体优化

(详见下方AdaBoost算法)

AdaBoost算法

Boosting族算法中最著名的是AdaBoost

https://zhuanlan.zhihu.com/p/27126737

机器学习经典方法思想_第52张图片

 样本权重≠分类器权重

对于AdaBoost算法来说,样本权重由上一轮的错误率决定,作用域集成学习的过程中,可影响下一轮的学习器错误率;而分类器权重是判断预测时对各个分类器重要程度的评估,它由个体分类器的错误率决定。

 

Bagging:个体学习器之间相互独立

    何为相互独立?:采样的时候使用“自助法”,进行k轮抽取,得到k个训练集;但这种独立不是完全的独立,只是样本集之间差异较大,近似认为“独立”

Boosting和Bagging的区别

  1. 训练集抽样:  Boosting全采用,Bagging自助法抽取
  2. 串行、并行:  Boosting的算法中,Boosting会减小在上一轮训练正确的样本的权重,增大错误样本的权重,后一个模型参数需要前一轮模型的结果,因此为串行式集成学习;     Bagging的算法中,所有学习器之间没有关系,可以同时训练,因此为并行式集成学习
  3. 样例权重:    Boosting对正确的减小,对错误的增大;  Bagging则全部相同权重
  4. 判断依据:    Boosting对不同学习器预测结果加权后判断 ;  Bagging简单的投票,少数服从多数。
  5. 分类功能:    Boosting加权判断;Bagging投票判断
  6. 回归功能:    Boosting加权求值;Bagging取各模型平均值

AdaBoost只适用于二分类问题(因为这个方法是判断yes或者no),而Bagging能不经修改的用于多分类、回归等任务

随机森林RF:Bagging的一个扩展变体(随机属性选择)

RF在以决策树为基学习器,构建Bagging集成的基础上:引入了随机属性选择

为什么引入“随机属性选择”?:

在样本选取上RF和Bagging都是用自助法,但在决策树生成过程中,RF会从属性列表中随机选取部分属性用于分类,保证基分类器的多样性,因此个体学习器的性能会有所降低,但由于随机森林的“平均”特性,总体方差会更小

 RF虽然是决策树生成的,但RF是“随机属性型”决策树

 结合策略:平均法、投票法、学习法

机器学习经典方法思想_第53张图片

      

问题和总结

加权平均不一定优于简单平均:某些权重过高会导致过拟合 

“绝对多”表示>50%  “相对多”表示>其他

硬投票:少数服从多数

软投票:要求每个模型都能估计概率,预测结果需要乘上各自的概率

 8.6 试析 Bagging 通常为何难以提升朴素贝叶斯分类器的性能.

机器学习经典方法思想_第54张图片

8.7 试析随机森林为何比决策树 Bagging 集成的训练速度更快. 

机器学习经典方法思想_第55张图片

 

你可能感兴趣的:(机器学习,算法)