Hadoop自带jar运行wordcount和PI

wordcount 数单词程序

1, 切换到/opt/Hadoop-2.6.5下
Cd /opt/Hadoop-2.6.5

2, 使用jar
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /input.txt /output/
Hadoop自带jar运行wordcount和PI_第1张图片

对input.txt 里的文件进行统计
input.txt的内容为
在这里插入图片描述

3,查看结果
Hdfs dfs -ls /output/
一个success表示成功, 一个part文件为结果

hdfs dfs -get /temp/newoutput/part-r-00000 /
把文件拿到本地目录 然后查看里面的内容
Cat part-r-0000
Hadoop自带jar运行wordcount和PI_第2张图片
PI程序
引入:圆周率(Pi)是圆的周长与直径的比值,一般用希腊字母π表示。

Hadoop自带jar运行wordcount和PI_第3张图片
图片来源:https://blog.csdn.net/qq_20545159/article/details/50445560
对上面的图的解释:
1、Figure2是Figure1的右上角(4分之一)的部分。
2、向一个飞镖盘中投掷飞镖(类似于Figure1形状的飞镖盘),飞镖向Figure1中投掷的落点是随机的。如果投掷的次数足够多,飞盘上几乎每个地方都会有落点,包括圆内,圆外方框内。

3、这时,“投掷在圆里的次数”除以“总投掷次数”,再乘以4,就是PI的值!
推到过程如下:

圆形的面积为:π乘以r乘以r ; 方形的面积为 2r 乘以 2r ;
两块面积的比率为,投掷的点数的比 即
圆形面积/方形面积 = 落到圆形的点数/落到方形的点数
即 1/4 * π = 落到圆形的点数/落到方形的点数
也就是 π = 4 * 落到圆形的点数/落到方形的点数
而点数之比是程序可以计算出来的,这样就算出了π的值。

下面是如何使用hadoop自带的程序计算PI的值
在这里插入图片描述

hadoop jar /opt/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar pi 4 1000

其中4的含义是指开启4个map任务,1000是每个map里面投掷1000次,这两个参数可以修改

你可能感兴趣的:(大数据,hadoop,mapreduce)