梯度下降（简单了解）

集成学习：核心思想就是使用弱学习器进行加权求和，从而产生性能较为强大的强学习器

主要分为两种：

1.基于偏差方差分解和有放回抽样与集成进行弱机器学习的算法

2.基于梯度下降和提升，梯度提升决策树

获得弱学习器：

1.bagging

通过有放回抽样构造出多个数据集并分别进行弱学习器训练再进行集成，以期降低模型的期望泛化误差偏差方差分解中的方差部分，从而增强模型的泛化能力

如果能使用同样大小的同分布数据集分别进行模拟的训练，然后使用其平均的预测结果作为模型的最终预测结果，那么就能有效的降低模型的方差，从而降低模型的期望泛化误差

2.boosting

理论基础就是梯度下降

以分阶段的形式顺序迭代地学习每个弱学习器，而每个弱学习器都是在对前序模型的不足之处进行改进，从而得到强学习器

#弱学习器相加的过程其实就是损失函数进行梯度下降的过程

梯度下降的基本步骤：

1.确定损失函数的梯度

2.步长乘以梯度，得到当前位置下降的距离

3.判断下降的距离是否小于之前确定的精度值

4.如果不小于精度值，就进行迭代

而我们如果知道了损失函数的梯度表达式，就可以在数据上计算相应的值

可以训练模型，使其预测和负梯度更相关

#就是基于预测和这些残差的最小平方差纠正预测