运行Hadoop伪分布式实例

上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要创建用户目录

1. bin/hdfs dfs -mkdir -p /user/hadoop

接着将 etc/hadoop 中的文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。上一步已创建了用户目录 /user/hadoop ，因此命令中就可以使用相对目录如 input，其对应的绝对路径就是 /user/hadoop/input:

1. bin/hdfs dfs -mkdir input
2. bin/hdfs dfs -put etc/hadoop/*.xml input

复制完成后，可以通过如下命令查看文件列表：

1. bin/hdfs dfs -ls input

伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是HDFS中的文件（可以将单机步骤中创建的本地 input 文件夹删掉以及运行结果来验证这一点）。

1. bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

查看运行结果的命令（查看的是位于 HDFS 中的输出结果）：

1. bin/hdfs dfs -cat output/*

也可以将运行结果取回到本地：

1. rm -R ./output
2. bin/hdfs dfs -get output output # 将 HDFS 上的 output 文件夹拷贝到本机
3. cat ./output/*

结果如下，注意到刚才我们已经更改了配置文件，所以运行结果不同。

Hadoop伪分布式运行grep结果

Hadoop运行程序时，默认输出目录不能存在，因此再次运行需要执行如下命令删除 output文件夹:

1. bin/hdfs dfs -rm -r /user/hadoop/output # 删除 output 文件夹

运行程序时，输出目录需不存在

运行 Hadoop 程序时，结果的输出目录（如output）不能存在，否则会提示错误，因此运行前需要先删除输出目录。在实际开发应用程序时，可在程序中加上如下代码，能在每次运行时自动删除输出目录，避免繁琐的命令行操作：

1. Configuration conf = new Configuration();
2. Job job = new Job(conf);
3. ...
4. /* 删除输出目录 */
5. Path outputPath = new Path(args[1]);
6. outputPath.getFileSystem(conf).delete(outputPath, true);
7. ...

若要关闭 Hadoop，则运行

1. sbin/stop-dfs.sh

自此，你已经掌握 Hadoop 的配置和基本使用了。

注意

下次启动 hadoop 时，无需进行 namenode 的初始化，只需要运行 sbin/start-dfs.sh 就可以！

附加教程: 配置PATH环境变量

在这里额外讲一下 PATH 这个环境变量（可执行 echo $PATH 查看，当中包含了多个目录）。例如我们在执行 ls 这个命令时，实际执行的是 /bin/ls 这个程序，而不是 ~/ls 这个程序（假如存在）。系统是根据 PATH 这个环境变量中包含的目录位置，逐一进行查找，直至在这些目录位置下找到匹配的程序（若没有匹配的则提示该命令不存在）。

上面的教程中，我们都是先进入到 /usr/local/hadoop 目录中，再执行 sbin/hadoop，实际上等同于运行/usr/local/hadoop/sbin/hadoop。我们可以将 Hadoop 命令的相关目录加入到 PATH 环境变量中，这样就可以直接通过 start-dfs.sh 开启 Hadoop，也可以直接通过 hdfs 访问 HDFS 的内容，方便平时的操作。

同样我们选择在 ~/.bashrc 中进行设置（vim ~/.bashrc，与 JAVA_HOME 的设置相似），在文件最前面加入如下单独一行:

export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin

添加后执行 source ~/.bashrc 使设置生效，生效后，在任意目录中，都可以直接使用 hdfs dfs -ls input 等命令，而无需使用绝对目录。

安装Hadoop集群

如果需要安装 Hadoop 集群，请查看Hadoop集群安装配置教程

相关教程

• 使用Eclipse编译运行MapReduce程序: 用文本编辑器写 Java 程序是不靠谱的，还是用 Eclipse 比较方便。
• 使用命令行编译打包运行自己的MapReduce程序: 有时候需要直接通过命令来编译 MapReduce 程序。

参考资料

• http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
• http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
• http://www.micmiu.com/bigdata/hadoop/hadoop-2x-ubuntu-build/

 http://www.powerxing.com/install-hadoop/  笔记 Hadoop

相关文章

1. Hadoop集群安装配置教程_Hadoop2.6.0/Ubuntu 14.04
2. 使用命令行编译打包运行自己的MapReduce程序 Hadoop2.4.1
3. 使用Eclipse编译运行MapReduce程序 Hadoop2.6.0/Ubuntu
4. Hadoop-in-Practice第四章MapReduce-Join代码运行问题
5. Hadoop安装配置简略教程