01大数据简史

一、大数据前世今生

当下大数据时代已经来临，数据越来越成为公司的核心资产和主要竞争力，核心业务以及决策都需要数据来支撑。不懂大数据和机器学习的话，你可能连最基本的产品逻辑和商业意图都搞不清楚，那么你只能做一个没有思想的码农，无法实现人生跃迁。

今天我们常说的大数据，是由谷歌的三篇论文奠定的，就是广为人知的”三架马车“：分布式文件系统GFS、分布式计算框架MapReduce、NOSQL数据库系统BigTable。随机业务需求的倒逼与技术的迭代，大数据日趋成熟，演进的大数据架构如下图所示

Hadoop.png

二、大数据的应用发展

1、大数据搜索引擎时代

谷歌为了解决网页数据的存储、索引、词频统计等需求而研发的分布式存储系统以及分布式计算框架。

2、大数据数据仓库时代

数据仓库时代，只要有数据，那么必须要用到统计分析，面对日趋庞大数据，Hadoop大数据技术就被广泛应用

3、大数据应用的数据挖掘时代

随着大数据应用的不断深化，我们对数据有了更多的要求，需要挖掘出数据间的关联以及规律等有价值的信息，辅助商业决策。比如某大型购物中心，通过大数据分析出人们付款时候最喜欢随手拿的商品，那么我们可以把这些商品布局在收银旁边，提高了购买率。比如针对用户画像，为用户量身打造的推荐系统。比如当下的今日头条、抖音等产品，也是使用了数据挖掘技术，推荐给你最想看的内容。

4、大数据机器学习时代

利用大数据技术把历史全量数据收集起来，统计其规律，用于对未来趋势的预测，这就是机器学习。

三、大数据的应用领域

依赖于人的经验的领域，理论上可以用大数据与机器学习进行升级。

数据应用领域.png

四、总结

了解大数据与机器学习是我们未来的必修课，可以帮助你了解科技社会生活的变迁，本次是第一篇文章，讲解了大数据的发展以及应用，后续会有一系列的文章，帮助大家对大数据有一个全局的认知，感兴趣的朋友，持续关注我，谢谢！