决策树、逻辑回归、线性回归使用时注意事项以及模型过拟合策略

决策树缺点和注意事项：

• 决策树的最大缺点是原理中的贪心算法。因此它所做的选择只能是某种意义上的局部最优选择。
• 若目标变量是连续变量，那么决策树就不使用了，改用回归模型
• 若某些自变量的类别种类较多，或者自变量是区间型时，决策树过拟合的危险会增大。这种情况需要分箱或多次模型验证，确保其具有稳定性。
• 对区间型变量进行分箱操作时，无论是否考虑了顺序因素，都有可能因为分箱丧失了某些重要信息，尤其是当分箱前的区间型便变量与目标变量有明显的线性关系时，这种分箱造成的损失更为明显。

---

逻辑回归（目标变量是二元变量）

• 建模数据量不能太少，目标变量中每个类别所对应的样本数量要足够充分，才能支持建模
• 排除共线性问题（自变量间相关性很大）
• 异常值会给模型带来很大干扰，要剔除。
• 逻辑回归不能处理缺失值，所以之前应对缺失值进行适当处理。

---

线性回归缺点和注意事项

• 对异常值敏感，应剔除。
• 只适合处理线性关系，若自变量和因变量间有比较强的非线性关系，应该对自变量进行一定的转换，比如取对数、开方、取平方根等。
• 多元线性回归应用有一定的前提假设，自变量是确定的变量，而不是随机变量，自变量间没有线性相关，随机误差呈正太分布，随机误差项具有均值为0以及等方差性。

---

线性回归和逻辑回归的区别

• 线性回归针对的目标变量是区间型的，逻辑回归针对的目标变量是类别型的
• 线性回归模型的目标变量和自变量之间的关系假设是线性相关的，逻辑回归模型中的目标变量和自变量是非线性的
• 线性回归中通常会用假设，对应于自变量x的某个值，目标变量y的观察值是服从正太分布的。逻辑回归中目标变量y是服从二项分布0和1或者多项分布的
• 逻辑回归中不存在线性回归中常见的残差
• 参数估值上，线性回归采用最小平方法，逻辑回归采用最大似染法。

---

过拟合产生原因：

• 样本里噪声数据干扰过大。样本噪声大到模型过分记住了噪声特征，反而忽略了真实的输入输出间的关系。
• 建模时的逻辑假设应用到模型时不成立了。任何预测模型都是在假设的基础上才可以使用的，比如业务环节没有发生显著变化，数据符合某种分布等，如果上述假设违反了业务场景，那么该模型就不能用了。
• 建模时使用了太多输入变量。同噪声数据相似，不分析数据特征，把所有的变量交给机器去处理，撞大运，一个稳定优良的模型一定要遵循输入变量的少而精的原则。
• 若用决策树，没有对决策树的生长进行合理的限制和剪枝，由着决策树自己生长，可能会过分拟合原始数据，对新数据一塌糊涂。
• 建模样本抽取错误。包括但不限于样本数量少，抽样方法错误，抽样时没有足够正确的考虑业务场景和特点，以致于抽出的样本数据不能足够有效的代表业务逻辑和业务场景。

放置过拟合的手段：

• 合理有效抽样，包括分层抽样，过抽样等，从而用不同的样本去检验模型。
• 交叉检验，这是目前业界防止过拟合常用手段。
• 数据若太少，不要用神经网络模型（深度学习），否则是浅度学习，而且一定要实现筛选输入变量，不要把所有变量一股脑放进去。
• -

---

参考书籍：卢辉《数据挖掘与数据化运营实战- 思路方法技巧与应用》