Spark视频王家林大神第8课：彻底理解大数据机器学习

Spark视频王家林大神第8课：彻底理解大数据机器学习

本节带领大家快速理解大数据机器学习：第一个问题：机器学习是什么？第二个问题：大数据机器学习到底是什么？

先想一下人正常思考的过程：根据自己的历史经验或者生活经验得出了某种规律，然后在当前的情况下，根据历史经验或者规律来预测当前的情况，下一步该怎么做，这个描述人的思考过程其实就是机器学习的过程。我们可以发现规律或者模型以及当前的情况，规律其实就是模型，当前的情况就是当前具体的数据，根据当前不同的情况结合规律，得出不同的结论来指导下一步的行为，这是数据驱动的决策方式，跟我们编程的时候第一条指令，第二条指令，第三条指令得出一个结果，这是完全不一样的。

机器学习的过程是基于数据统计学的理论得出影响结果的几个变量，变量包括因变量、自变量。例如预测房价，根据房价过去波动的因素判断一下哪些因素影响房价，得出一个影响房价的模型，假设买/卖房子会得出几个变量，当然这几个变量不会那么单一，可以使用回归的方式去处理，计算出模型以后，具体某个地方的房子和具体某个时间去预测房价，机器学习也是从数据中得出某种模型，模型由变量构成，变量变成某种公式，公式就变成某种模型，8月份和10月份的房价是不一样的，不一样是由8月份和10月份的时间，以及经济情况和人们购买力、市场的细节信息决定的，首先是构建一个模型，然后根据当前具体的情况决策出具体房价的过程就是机器学习的过程。机器学习和人的决策过程是一样的，根据过去的数据得出某个模型，模型有个输入就是当前的情况，例如计算今天的房价或这个月的房价，情况不一样得出的房价就不一样，这就是机器学习。

为什么大数据机器学习特别重要呢？无论建立模型还是得出预测结果，都与数据紧密相关，是一个数据驱动的过程，数据显然是一个大数据、分布式的数据，数据更多，经验会更多，得出的模型一般会更合理，当前情况如果有更多的数据，基于我们的模型得出的结论一般也会更准确。所以，大数据机器学习是不可错过的机器学习的领域和范畴，大数据机器学习非常重要，例如电商网站、导航、语音、图像识别背后越来越多的是大数据。