执行WordCount实例

打开cygwin窗口,输入如下命令:

net start sshd 

(启动sshd服务)

cd hadoop-0.20.2

bin/start-all.sh

(启动hadoop进程)

首先创建一个目录,在这里以“input”命名:

$ mkdir input

$ cd input

然后在input里面创建“file1”、“file2”文本文件并在文件中写入“helllo world”、“hello hadoop”:

$ echo “helllo world”>file1

$ echo “helllo hadoop”>file2

接下来,将本地文件系统上input目录复制到HDFS的根目录下,重命名为“in”。“out”为数据处理完成后的输出目录(注:执行之前out目录必须为空或者不存在这个目录,否则会出错),默认存放在分布式文件系统用户的根目录下。执行以下的命令:

$ bin/hadoop dfs -put input in

$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount in out

任务执行完毕后,查看hadoop分布式文件系统上数据处理的结果,执行:

$ bin/hadoop dfs -cat out/*

另外,用户可以把输出的文件从hadoop分布式文件系统复制到本地文件系统查看,命令如下:

$ bin/hadoop dfs -get out output

$ cat output/*

bin/stop-all.sh

(停止hadoop进程)

你可能感兴趣的:(执行WordCount实例)