Hadoop(三) 大数据离线计算与实时计算

一、大数据离线计算:MapReduce计算模型

1、MapReduce是处理HDFS上的数据

2、MapReduce的思想来源是PageRank(搜索排名),原理是进行分布式计算。

Hadoop(三) 大数据离线计算与实时计算_第1张图片

如上图,网页跳转中,访问网页3的次数最多,也就是权重最大的为网页3。比如京东、淘宝中给推荐的商品,就是近期访问的比较多的商品。

MapReduce的思想是把一个大任务拆分成多个小任务,再把小任务的结果汇总,得到最后的结果。

Hadoop(三) 大数据离线计算与实时计算_第2张图片

3、数据都是历史数据、数据已经存在(HDFS)


二、大数据实时计算:Apache Storm

1、特点:数据源源不断地产生,不停处理数据

2、例子:自来水厂

Hadoop(三) 大数据离线计算与实时计算_第3张图片

3、框架:Apache  Storm、Spark Streaming

4、格式:storm jar jar文件 任务的类名 任务的别名

storm jar storm-starter-topologies-1.0.3.jar.jar org.apache.storm.starter.WordCountTopology MyWC


三、搭建Hadoop的Eclipse开发环境(不推荐)

1、配置Hadoop Home

2、hadoop.dll复制到c:\windows\system32

3、配置环境变量

HADOOP_HOME

%HADOOP_HOME%/bin配置到PATH里

4、推荐:MRUnit(MapReduce Unit),类似Junit


小结

        对Hadoop的认识只停留在理论上,更多的操作在精力和时间的允许下有待实践。



你可能感兴趣的:(★Java天堂,★架构)