机器学习主要的挑战

本文是对 Hands-On Machine Learing with Scikit-Learn and TensorFlow 书中的 main changllenges of machine learning 一节做一个总结。

简而言之,我们使用机器学习做任务的时候,就是将数据投入到所选择的算法中,获取满意的模型。所以数据与算法是两个很重要的部分,也是我们在做机器学习时需要注意,下面就来聊一下做项目时遇到的挑战。

1. 数据量不足

数据是驱动机器学习算法的动力,数据量不足是大家做机器学习经常会遇到的问题,主要有两个原因,一是获取数据的难度很大,二是获取数据的成本很高。下图是微软的研究者在处理自然语言消歧问题时,不同算法随着数据量增多,准确率变化的情况。


机器学习主要的挑战_第1张图片

大家可以很清楚的看到,随着数据量的增大即使很简单的算法也可以表现得很好的,但是小或者中等的数据量是很常见的,换句话说在同等数据量的情况下算法的选择显得很关键。

2. 数据没有代表性

数据没有代表性,那么数据量即使很大,效果依旧不行。举个例子,假设要了解一个地区的初一新生的身高状况,而得到的数据只是来自这个地区的一个学校,这样的话,这样的数据就不具备代表性。

3. 低质量的数据

采集到的数据如果存在着许多错误,那么就很大程度上发现不了数据下潜藏的秘密,得到的系统也不会表现得好。在处理数据的时候,一是要丢弃掉异常值,二是要考虑如何处理缺失值。

4. 特征工程

在把数据扔进算法之前,我们需要对数据的特征进行处理,一般是这样三个操作,一是特征选择,二是特征提取,三是产生新特征。

上面四点都是关于数据的可能存在的问题,下面来谈谈算法。

我们在选择算法做机器学习项目的时候,经常会遇到两种情况:
一 、生成的模型在训练集效果不好 这是欠拟合
二 、生成的模型在训练集效果好,但是测试集效果差,这是过拟合
相当于是在博弈,最终的效果要达到生成的模型在训练集效果好,而且在测试集效果也要好。

无论是数据的处理还是算法的选择,我们都需要反复的推敲避免不必要的风险。

你可能感兴趣的:(机器学习主要的挑战)