已经证实提高机器学习模型准确率的八大方法

导语

       提升一个模型的表现有时很困难。如果你们曾经纠结于相似的问题，那我相信你们中很多人会同意我的看法。你会尝试所有曾学习过的策略和算法，但模型正确率并没有改善。你会觉得无助和困顿，这是 90% 的数据科学家开始放弃的时候。

      不过，这才是考验真本领的时候!这也是普通的数据科学家跟大师级数据科学家的差距所在。你是否曾经梦想过成为大师级的数据科学家呢?

      如果是的话，你需要这 8 个经过证实的方法来重构你的模型。建立预测模型的方法不止一种。这里没有金科玉律。但是，如果你遵循我的方法(见下文)，(在提供的数据足以用来做预测的前提下)你的模型会拥有较高的准确率。

      我从实践中学习了到这些方法。相对于理论，我一向更热衷于实践。这种学习方式也一直在激励我。本文将分享 8 个经过证实的方法，使用这些方法可以建立稳健的机器学习模型。希望我的知识可以帮助大家获得更高的职业成就。

正文

       模型的开发周期有多个不同的阶段，从数据收集开始直到模型建立。

      不过，在通过探索数据来理解(变量的)关系之前，建议进行假设生成(hypothesis generation)步骤(如果想了解更多有关假设生成的内容，推荐阅读 why-and-when-is-hypothesis-generation-important )。我认为，这是预测建模过程中最被低估的一个步骤。

       花时间思考要回答的问题以及获取领域知识也很重要。这有什么帮助呢?它会帮助你随后建立更好的特征集，不被当前的数据集误导。这是改善模型正确率的一个重要环节。

在这个阶段，你应该对问题进行结构化思考，即进行一个把此问题相关的所有可能的方面纳入考虑范围的思考过程。

       现在让我们挖掘得更深入一些。让我们看看这些已被证实的，用于改善模型准确率的方法。

1. 增加更多数据

       持有更多的数据永远是个好主意。相比于去依赖假设和弱相关，更多的数据允许数据进行“自我表达”。数据越多，模型越好，正确率越高。

我明白，有时无法获得更多数据。比如，在数据科学竞赛中，训练集的数据量是无法增加的。但对于企业项目，我建议，如果可能的话，去索取更多数据。这会减少由于数据集规模有限带来的痛苦。

2. 处理缺失值和异常值

       训练集中缺失值与异常值的意外出现，往往会导致模型正确率低或有偏差。这会导致错误的预测。这是由于我们没能正确分析目标行为以及与其他变量的关系。所以处理好缺失值和异常值很重要。

仔细看下面一幅截图。在存在缺失值的情况下，男性和女性玩板球的概率相同。但如果看第二张表(缺失值根据称呼“Miss”被填补以后)，相对于男性，女性玩板球的概率更高。

http://developer.51cto.com/art/201601/504833.htm

本文转自 stock0991 51CTO博客，原文链接:http://blog.51cto.com/qing0991/1963270