分布式文件系统NFS上搭建hadoop集群

总的来说，hadoop并不适合搭建在NFS上。一来是NFS的存储成本过高，二来损失了hadoop原本在分布式上的“本地性”特点。

不过由于各种各样的原因，有时候需要在分布式文件系统NFS上搭建hadoop。分布式NFS这种架构主要是计算节点和存储节点的分离。计算节点带有少量的存储。在某些情况下甚至没有存储可以用，这是因为计算节点除了装系统的空间外，不给用户在计算节点上存储任何东西。

因此，搭建hadoop也就可以分两种情况：

一、计算节点上有存储空间可以使用的情况。
这种情况其实较好处理。因为计算节点可以有存储可以用，因此可以把HADOOP_HOME设在每个计算节点的存储上，这个目录一般来说最多几百兆，而类似logs,tmp目录设置到NFS上，因为它们非常占存储，而且随着时间的推移，所占的空间越来越多，因此如果是放在计算节点上肯定是不行的。对于HADOOP_HOME，每个数据节点上的路径都是一致的。而logs和tmp目录应该根据每个不同的datanode设置不同的路径。
例如：
HADOOP_HOME在(hadoop-env.sh)中可以设置为：

export HADOOP_HOME=/tmp/hadoop

其中/tmp目录属于计算节点的存储。

而log和pid目录在(hadoop-env.sh)中可以设置到NFS上去，其中/ifs/HDFS/hadoop为NFS上的路径。当然这两个路径虽然并不是非常占存储，不过随着集群运行的时间越来越长，log日志也会越来越大，因此放在NFS上是比较保险的。hadoop0表示第0个datanode，对于其他的datanode也要设置相应的路径。如hadoop1，hadoop2……等等。

export HADOOP_LOG_DIR=/ifs/HDFS/hadoop/hadoop0/logs
export HADOOP_PID_DIR=/ifs/HDFS/hadoop/hadoop0/pids

另外就是设置存储hdfs上数据的tmp目录，在core-site.xml中：

hadoop.tmp.dir
/ifshk4/HDFS/hadoop/hadoop0/tmp
A base for other temporary directories.

对于其他的datanode上的配置文件也做类似的更改。更好完之后，就是每台datanode在自己的存储上有相应的HADOOP_HOME目录，该目录下放置着与该datanode相关的配置文件，配置文件(hadoop-env.sh和core-site.xml)会告诉datanode要把hdfs上的数据存储到NFS上的那个目录(hadoop.tmp.dir)。


二、计算节点上无存储空间


这种情况下最大的问题是HADOOP_HOME必须要设置到不同的路径下。要解释这个问题我们首先看一下hadoop启动的过程。
1.启动start-all.sh
里面内容为：

bin=`dirname "$0"`
bin=`cd "$bin"; pwd`
. "$bin"/hadoop-config.sh

# start dfs daemons
"$bin"/start-dfs.sh --config $HADOOP_CONF_DIR
# start mapred daemons
"$bin"/start-mapred.sh --config $HADOOP_CONF_DIR

执行三个脚本hadoop-config.sh，start-dfs.sh ，start-mapred.sh

(1)hadoop-config.sh主要获得hadoop的配置文件路径
(2)start-dfs.sh 则启动namenode，datanodes和secondary namenode，其执行以下三行脚本：

"$bin"/hadoop-daemon.sh --config $HADOOP_CONF_DIR start namenode $nameStartOpt
"$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR start datanode $dataStartOpt
"$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR --hosts masters start secondarynamenode

(3)start-mapred.sh则启动JobTracker和TaskTrackers，其执行一下两行脚本：

"$bin"/hadoop-daemon.sh --config $HADOOP_CONF_DIR start jobtracker
"$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR start tasktracker

2.hadoop-daemon.sh和hadoop-daemons.sh
从上面流程可以得知：
hadoop-daemon.sh是启动单节点。
hadoop-daemons.sh则是用于启动slaves中其他多个节点。

3.slaves.sh的问题
对于计算节点没有存储的情况下启动hadoop-daemons.sh 在默认没修改的事情下会报错误：

Cannot lock storage, directory is already locked

如http://www.mentby.com/hadoop/cannot-lock-storage-directory-is-already-locked.html提到的。


这是因为在启动hadoop-daemons.sh 的时候会把当前namenode的配置文件信息所在的路径告诉slaves上的datanode，然后多个datanode就会在跟namenode设置一样的路径下进行读写操作，产生了冲突。

从以下hadoop-daemons.sh的代码中可以看到：

exec "$bin/slaves.sh" --config $HADOOP_CONF_DIR cd "$HADOOP_HOME" \; "$bin/hadoop-daemon.sh" --config $HADOOP_CONF_DIR "$@"

而在slaves.sh中：

for slave in `cat "$HOSTLIST"
sed "s/#.*$//;/^$/d"`; do
ssh $HADOOP_SSH_OPTS $slave $"${@// /\\ }" \
2>&1
sed "s/^/$slave: /" &
if [ "$HADOOP_SLAVE_SLEEP" != "" ]; then
sleep $HADOOP_SLAVE_SLEEP
fi
done

对于这个for循环启动其他的datanodes，它每次传进去的HADOOP_HOME都是namenode设置好的变量。

4.解决
既然知道问题的原因，解决起来也就很简单了。只需要在namenode去启动其他datanode时候告诉每个datanode其相应的HADOOP_HOME，然后去读取响应的配置文件即可。

可以在NFS上设置目录：
`-- hadoop

-- hadoop160
-- hadoop161
-- hadoop162
-- hadoop163
-- hadoop164
-- hadoop165
-- hadoop166
-- hadoop167
-- hadoop168
-- hadoop169
-- hadoop170
-- hadoop171
-- hadoop172
-- hadoop173
-- hadoop174
-- hadoop175
-- hadoop176
-- hadoop177
-- hadoop178
-- hadoop179
-- hadoop180
-- hadoop181
-- hadoop182

某个datanode的ip地址为192.168.6.160。则把它所有的相关的配置路径（如logs,tmp,conf,pids）都设置在该路径hadoop160的路径下。

若集群namenode地址为192.168.6.100，它在调用slaves.sh的时候会把hadoop100的路径给其他的datanodes，这时候传参数的时候只要根据slaves的ip改成相应的目录即可。内容改变如下：

for slave in `cat "$HOSTLIST"|sed "s/#.*$//;/^$/d"`; do
ip=`echo $slave | sed "s/^.*\.//"`
cmd=`echo $"${@// /\\ }"|sed "s/hadoop100/hadoop$ip/g"`
ssh $HADOOP_SSH_OPTS $slave $cmd 2>&1 |sed "s/^/$slave: /" &
if [ "$HADOOP_SLAVE_SLEEP" != "" ]; then
sleep $HADOOP_SLAVE_SLEEP
fi
done