Hadoop实例程序wordcount的执行

前言

我们可以执行Hadoop包里自带的jar包, 验证我们Hadoop环境是否真正的安装成功了, wordcount是Hadoop环境一个经典的实例

一. 启动Hadoop服务

在终端执行下面的代码

start-all.sh 或者
start-dfs.sh 和 start-yarn.sh

二. 创建一个测试的文件

�随便创建一个txt文件 如图1

图1

hdfs dfs -mkdir /input
hdfs dfs -put /Users/wjl/Desktop/test.txt /input
hadoop jar /Users/wjl/tools/hadoop-2.7.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /input/test.txt /output

等待一段时间可以看到 如图2 表示执行成功

图2

执行 hdfs dfs -ls /output 可以看到 如图3

图3

执行 hdfs dfs -cat /output/part-r-00000 即可看到wordcount实例的执行结果 如图4

图4

以上就是wordcount的实例的执行过程, 在这个过程中, 我们可以发现每个执行命令后,都会有一个相同的警告如下

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

这是由于系统库和本地库不一致导致的警告, 这个警告可以暂时忽略, 不会影响调试, 等笔者找到消除警告的方法, 会再完善文章的.