MapReduce 程序运行演示（示例PI程序 wordcount程序）

你说的9000端口应该指的是fs.default.name或fs.defaultFS（新版本）这一配置属性吧，这个属性是描述集群中NameNode结点的URI(包括协议、主机名称、端口号)

50070其实是在hdfs-site.xml里面的配置参数dfs.namenode.http-address，默认配置为dfs.namenode.http-address，这是HDFS web界面的监听端口

———————————————————————————————————————————————————————

MapReduce 程序运行演示

　　在 MapReduce 组件里，官方给我们提供了一些样例程序，其中非常有名的就是 wordcount 和 pi 程序。这些 MapReduce 程序的代码都在 hadoop-mapreduce-examples-2.7.5.jar 包里，这 个 jar 包在 hadoop 安装目录下的/share/hadoop/mapreduce/目录里 下面我们使用 hadoop 命令来试跑例子程序，看看运行效果

 MapReduce 示例 pi 的程序

[hadoop@hadoop1 ~]$ cd apps/hadoop-2.7.5/share/hadoop/mapreduce/
[hadoop@hadoop1 mapreduce]$ pwd
/home/hadoop/apps/hadoop-2.7.5/share/hadoop/mapreduce
[hadoop@hadoop1 mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.7.5.jar pi 5 5

 

MapReduce 示例 wordcount 的程序

[hadoop@hadoop1 mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.7.5.jar wordcount /wc/input1/ /wc/output1/

查看结果

[hadoop@hadoop1 mapreduce]$ hadoop fs -cat /wc/output1/part-r-00000

 

问题分析：Input path does not exist

问题解决：分布式环境中创建input目录

　　hdfs dfs -mkdir -p /user/hadoop

　　hdfs dfs -mkdir input

　　hdfs dfs -put ./*.xml input   （一定要有xml文件才能input）

[hadoop@hadoop1 mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.7.5.jar wordcount /wc/input1/ /wc/output1/

（问题2：如果output1已经有了就会报错，只能向这个output1里面写入一次，虽然不知道为啥。难道是传说中的一次写入多次读取。不懂不懂，反正先知道怎么做，以后再考虑为什么。。。。）