Hadoop2.8.5伪分布运行wordcount

首先要运行hadoop

注意：我的Hadoop目录为 /usr/hadoop

cd /usr/hadoop/sbin
./start-all.sh
jps

查看 Java 进程如下

Jps进程查看

注意，确实某个Java进程很可能运行失败，查一下自己Hadoop配的是否正确
可以参照我的Hadoop2.8.5伪分布安装步骤

创建file文件夹

创建名称为file的文件夹并向里面写点东西，我这里创建的路径为/usr/hadoop/file

cd /usr/hadoop
mkdir file
cd file
echo "hello world, hadoop java" >> file1.txt 
echo "hello world, hadoop python" >> file2.txt

创建文件

在HDFS上创建文件夹目录/input

创建完后把本地硬盘上创建的文件传进input里面：

hadoop fs -mkdir /input
hadoop fs -put /usr/hadoop/file/file*.txt /input

可以用hadoop fs -ls查看结果

HDFS上的文件

找到Hadoop自带运行的wordcount java包

一般在Hadoop相对路径的 ./hadoop/share/hadoop/mapreduce 中

Hadoop自带例子程序

例子jar包就是这个 hadoop-mapreduce-examples-2.8.5.jar

运行命令如下：（写到/output/wordcount1中)

hadoop jar hadoop-mapreduce-examples-2.8.5.jar wordcount /input/ /output/wordcount1

看一下/output/wordcount1中有什么

hadoop fs -ls /output/wordcount1 

MR后的内容

发现新建了一个 _SUCCESS文件和一个 part-r-00000文件

内容存储在part-r-00000文件中，查看结果命令如下：

hadoop fs -cat /output/wordcount1/part-r-00000

运行结果