hadoop程序开发之——单机配置
hadoop共有三种配置模式：单机、伪分布式、完全分布式。
单机模式：即是hadoop安装完成后的默认模式。
安装完成后，不需要修改任何配置文件，就是按照单机模式运行的。
此时，hadoop程序是作为一个单独的java进程来运行的。
作用：方便程序调试。
运行hadoop自带的jar包程序，验证hadoop是否能正确运行。
例如１，运行grep例子：
创建输入文件夹：mkdir ./input。在/usr/local/hadoop目录下创建程序输入文件夹input。
拷贝配置文件.xml到input文件夹：hadoop@peter-HP-ENVY-Notebook:/usr/local/hadoop$ cp ./etc/hadoop/*.xml ./input/
运行jar包：./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep ./input/ ./output 'dfs[a-z.]+'
警告信息：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
解决方案：找到hadoop安装根目录下/etc/hadoop/的hadoop.env.sh文件。
修改HADOOP_OPTS为：export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native"。
报警消失：网上认为这个原因是操作系统位数不同的解释，我觉得是不对的。用命令file能看到./lib/native/libhadoop.so.1.0.0文件已经支持64位了。
详见参考文献１.2
接着运行，报错如下：
java.net.ConnectException: Call From peter-HP-ENVY-Notebook/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: 拒绝连接。
这个很大可能是我之前运行伪分布式hadoop程序时，修改了那几个*-site.xml文件。导致不是默认的单机运行模式。这里不再修改过来。
查看运行结果：cat ./output/*
补充说明：
有些帖子说，运行单机模式时，需要设置hadoop安装目录下/etc/hadoop/下的hadoop-env.sh脚本文件。
设置JAVA_HOME变量如下：export JAVA_HOME=/usr/lib/jvm/java
没验证过，最好设置一下。
再次运行hadoop程序时，如果还放在./output文件夹中，会报错。
必须删除./output，才会成功。删除命令为：rm -rf ./output
参考文章：
１、http://www.aboutyun.com/thread-13073-1-1.html
２、http://www.dataguru.cn/thread-494065-1-1.html