hadoop 集群配置

配置hadoop集群主要要解决以下几个问题:

1. 指定hadoop的默认文件系统为：hdfs
2. 指定hdfs的namenode节点为哪台机器
3. 指定namenode软件存储元数据的本地目录
4. 指定datanode软件存放文件块的本地目录

1.修改配置文件
hadoop的配置文件在：/root/apps/hadoop安装目录/etc/hadoop/

1. 修改hadoop-env.sh,配置java环境变量
   export JAVA_HOME=/usr/local/java

2. 修改core-site.xml,设置文件系统和访问位置

fs.defaultFS
hdfs://master:9000

3. 修改hdfs-site.xml,设置文件存储的位置(datanode和namenode不再同一个文件夹,所以可以共存在一个机器,通过端口访问)

dfs.namenode.name.dir
/root/hdpdata/name/



dfs.datanode.data.dir
/root/hdpdata/data



dfs.namenode.secondary.http-address
slave1:50090

4. 拷贝整个hadoop安装目录到其他机器

scp -r /root/apps/  slave1:/root/apps/
scp -r /root/apps/  slave2:/root/apps/
scp -r /root/apps/  slave3:/root/apps/

5. 启动HDFS

配置hadoop环境变量
要运行hadoop的命令，需要在linux环境中配置HADOOP_HOME和PATH环境变量
vi /etc/profile

export JAVA_HOME=/root/apps/jdk1.8.0_60
export HADOOP_HOME=/root/apps/hadoop-2.8.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

初始化namenode的元数据目录
要在master上执行hadoop的一个命令来初始化namenode的元数据存储目录
hadoop namenode -format
 创建一个全新的元数据存储目录
 生成记录元数据的文件fsimage
 生成集群的相关标识：如：集群id——clusterID

启动namenode进程（在master上）
hadoop-daemon.sh start namenode
启动完后，首先用jps查看一下namenode的进程是否存在

在windows中用浏览器访问namenode提供的web端口：50070
http://master:50070

启动众datanode们（任意一台机器）
hadoop-daemon.sh start datanode

一键启动hdfs
修改hadoop安装目录中/etc/hadoop/slaves（把需要启动datanode进程的节点列入）

master
slave1
slave2
slave3

在master上用脚本：start-dfs.sh 来自动启动整个集群,如果要停止，则用脚本：stop-dfs.sh