大数据人工智能时代你跟上步伐了吗？（号称第四次技术革命）

大数据人工智能时代

1.世界四次工业革命

讲到大数据人工智能不得不提起世界著名改变时代的工业革命。大数据人工智能是继蒸汽机，电力，信息互联网后的第四次技术革命。著名的工业革命详情如下：

第一次革命：18世纪60年代英国发起的蒸汽技术革命，以蒸汽机为代表。

第二次革命：19世纪中期，以欧洲国家，美国，日本发起的电力技术革命，以1866年德国西门子发明的发电机为代表。

第三次革命：20世纪四五十年代，世界各个国家发起的计算机及信息技术革命，以计算机，航天技术，原子能为代表。

第四次革命：21世界初，以大数据人工智能为代表的全新技术革命。2016年3月9日-15日阿尔法狗大战围棋大师李世石开始爆发。

2.大数据与人工智能

好多人对于新技术完全不能理解，我简单谈谈我的个人理解，关系图如下：

首先大数据是人工智能的基础，没有数据就没有人工智能。只有通过海量的数据分析，利用才会实现人工智能。其次实现人工智能需要有机器学习，深度学习的高深莫测的技术。

（1）机器学习和深度学习

机器学习：抵达AI目标的一条路径
机器学习就是用算法真正解析数据，不断学习，然后对世界中发生的事做出判断和预测。研究人员会用大量数据和算法“训练”机器，让机器学会如何执行任务。
深度学习：实现机器学习的技术

“人工神经网络（Artificial Neural Networks）”是另一种算法方法，神经网络（Neural Networks）的构想源自于我们对人类大脑的理解——神经元的彼此联系。

3.大数据经典案例

（1）啤酒与尿布

      全球零售业巨头沃尔玛在对消费者购物行为分析时发现，男性顾客在购买婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己，于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅增加了。如今，“啤酒+尿布”的数据分析成果早已成了大数据技术应用的经典案例，被人津津乐道。

（2）微软大数据成功预测奥斯卡21项大奖

      2013年，微软纽约研究院的经济学家大卫罗斯柴尔德(David Rothschild)利用大数据成功预测24个奥斯卡奖项中的19个，成为人们津津乐道的话题。2014年罗斯柴尔德再接再厉，成功预测第86届奥斯卡金像奖颁奖典礼24个奖项中的21个，继续向人们展示现代科技的神奇魔力。

4.大数据三大分布式计算系统

对于数据量庞大，普通架构很难或者说处理出来结果很慢。而我们需要快速高效的处理数据，对数据进行分析，得出有价值的结果。所以有了大数据技术，并且在离线和对数据实时处理上都有相关成熟技术。有待我们深入研究学习。

Hadoop：离线的复杂大数据处理，存储在硬盘上。

Spark：离线快速的大数据处理，存储在内存上。
               spark streaming实时大数据处理。

Storm：在线的实时大数据处理，存储在内存是上。

5.Hadoop介绍

（1）hadoop组件

MapReduce：分布式计算，对数据进行切割，计算，合并。（处理数据最核心的分布式计算框架）

HDFS：分布式存储。

Yarn：集群资源管理系统。

（2）MapReduce分布式计算介绍：

      如上图可以看出来，分布式计算的核心框架MapReduce是分为map端 和reduce端。map端是对数据进行分割，reduce端是切割后的数据片进行合并，最终得到自己想要的结果。

6.spark介绍

      Spark是开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但自身还有一个优势：rdd（弹性分布式数据集）。

RDD 只读、可分区，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。 所谓弹性，是指内存不够时可以与磁盘进行交换。这涉及到了RDD的另一特性：内存计算，就是将数据保存到内存中。

7.storm介绍

Storm是自由开源的分布式实时计算系统，擅长处理海量数据，适用于数据实时处理而非批处理。
storm核心概念：
Nimbus：Storm集群主节点，负责资源分配和任务调度。我们提交任务和截止任务都是在Nimbus上操作的。一个Storm集群只有一个Nimbus节点。
Supervisor：Storm集群工作节点，接受Nimbus分配任务，管理所有Worker。
Worker：工作进程，每个工作进程中都有多个Task。
Task：任务，每个Spout和Bolt都是一个任务，每个任务都是一个线程。
Topology：计算拓扑，包含了应用程序的逻辑。
Stream：消息流，关键抽象，是没有边界的Tuple序列。
Spout：消息流的源头，Topology的消息生产者。
Bolt：消息处理单元，可以过滤、聚合、查询数据库。
Stream grouping：消息分发策略，一共6种，定义每个Bolt接受何种输入。

Reliability：可靠性，Storm保证每个Tuple都会被处理。

8.大数据人工智能成熟产品

（1）京东无人机

2016年6月8日上午9点，在江苏宿迁市曹集乡同庵村居委会首次使用。

（2）京东配送机器人

2017年6月18日，京东配送机器人在中国人民大学顺利完成首单配送。

（3）阿里巴巴ET城市大脑

“城市大脑”可以通过大数据的分析，来了解车辆频繁地段。从而智能的控制红绿灯的长短时间。有效的提升通行速率，减少拥堵。还可以通过车辆的异常运行轨迹，自动分辨出事故现场，提升交警的出勤效率。基于阿里云的人脸鉴别技术，“城市大脑”还可以通过城市摄像头对人的体态进行分析，识别个体，从而防范肇事者逃离肇事现场，预防碰瓷者的碰瓷行为。

（4）腾讯位置大数据  ：   https://heat.qq.com

      这个项目我们直接可以浏览观看的大数据实时项目。通过这个实时位置定位，我们可以很直观的实时看到世界人口分布。比如我们可以看到中国大部分人口分布在东部并且人口密度比较大，不愧是世界人口第一大国。其次印度，美国，印尼，巴西等国的人口也比较多，排名2,3,4,5也正常。还可以看到欧洲的大部分人分布在西欧，英国，德国，法国，意大利等发达国家都在那块。仔细一看，雄鸡嘴下那个轮廓像虫子的国家，面积不大，人口还不少，世界人口排名第十。其实这些结合现实一看，的确是那样。所以大数据真的很有魅力，能做出意想不到的好的产品。未来必然有一个好的发展。