HDFS完全分布式搭建
HDFS完全分布式搭建
角色分配：
node01：Namenode
node02：SecondiryNamenode，Datanode
node03：Datanode
node04：Datenode
- 1.同步服务器时间
①各个节点安装ntp
——命令：yum install ntp
②上网查找最新的时间服务器，这里使用阿里的
——地址：ntp1.aliyun.com
③同步时间
——命令：ntpdate ntp1.aliyun.com - 2.配置免密登录
node01->node01
node01->node02
node01->node03
node01->node04
①所有节点执行
——命令：ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
②在node01节点执行，将node01的公钥加入到其他节点的白名单中
——命令：
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04
注：node01~04为服务器名称，可用ip地址替换
- 3.所有节点配置JDK
①卸载自带jdk
——命令：yum remove *openjdk*
②下载想要的jdk版本并进入所在目录，解压
——命令：tar -zxvf jdk-8u131-linux-x64.tar.gz
③设置环境变量，打开etc下的profile文件
——命令：vim /etc/profile
④添加jdk所在目录
——命令：export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_131
——命令：export PATH=$PATH:$JAVA_HOME/bin
⑤重新执行profile文件
——命令：source /etc/profile或. /etc/profile
⑥检查新安装的jdk
——命令：java -version
显示以下内容jdk就配置完成了，还需要在每个节点配置jdk。
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
- 4.修改hdfs-site.xml配置文件
文件位于：/解压目录/etc/hadoop/hdfs-site.xml
dfs.replication
3
dfs.namenode.secondary.http-address
node02:50090
- 5.修改core-site.xml配置文件
文件位于：/解压目录/etc/hadoop/core-site.xml
fs.defaultFS
hdfs://node01:9000
hadoop.tmp.dir
/var/abc/hadoop/cluster
- 6.修改slaves配置文件
文件位于：/解压目录/etc/hadoop/slaves
将localhost修改为node02 node03 node04 - 7.将配置好的安装包分发到其他节点上
——命令：
scp -r hadoop-2.6.5 root@node02:/opt/software/hadoop/
scp -r hadoop-2.6.5 root@node03:/opt/software/hadoop/
scp -r hadoop-2.6.5 root@node04:/opt/software/hadoop/
注：安装包目录应该统一
- 8.将所有的HDFS相关的进程关闭
——命令：stop-dfs.sh - 9.格式化NameNode在node01节点执行
——命令：hdfs namenode -format
注：格式化NameNode时将会创建/var/abc/hadoop/cluster文件目录，如遇错误需要重新格式化时需要删除/var/abc文件目录再格式化
- 10.启动HDFS
——命令：start-dfs.sh
至此完全分布式的HDFS就搭建完成了
未完待续…