【基础篇】大数据学习笔记（2）大数据发展历史

最初大数据由Google在搜索引擎中大规模使用，那时候大数据是曲高和寡，处于论文研究阶段，没几个公司用的了，Google是大数据鼻祖，因为它几乎存储着世界上全部可访问的网页。这个数据实在是太大太大了，可能需要数以万计的超大磁盘才能存储。为了将这些文件存储起来，Goole开发了GFS(Goole 文件系统) ，将数以千万计的磁盘统一管理起来，当作是一个文件系统，统一存储这些文件。

存储起来后，Google 就想着怎么对这么多文件进行计算处理，这些文件都存储在不同的磁盘上，于是Google开发了MapReduce大数据计算框架。

在后来，Facebook 推出了Hive，正是Hive的诞生，让所有公司不在是当作吃瓜群众看待大数据了，可以说是真正开启了大数据时代！Hive是可以在Hadoop上进行SQL操作，实现数据统计和分析。正是由于大数据的发展，开启了机器学习热潮。所谓机器学习，可以看作是把所有的数据都收集起来，进行统计分析规律，进而预测正在发生的事情。比如：正常人对话，A问B 你好吗？B回答说 我很好，你呢？这是两个人的对话，如果B是机器，那么B不知道怎么回答，它就统计一万个人是怎么回答的，甚至一亿个人是怎么回答的，结果发现99%的都回答我很好。这时候机器就统计出回答这个你好吗问题的普遍答案了。又好比AlphaGo(俗称 阿尔法狗) ，经过不断的学习历史上的棋盘，不断的对局获取数据，依据庞大的数据，统计分析，几乎每一个步骤都是最优解，完虐了人类围棋顶级高手。

总结大数据发展历史：搜索引擎 》数据仓库 》数据挖掘 》机器学习