搭建HDFS完全分布式

前期配置准备

1. 修改静态IP：修改/etc/sysconfig/network-scripts/ifcfg-eth0
2. 修改主机名：修改/etc/sysconfig/network文件  HOSTNAME={自定义主机名，如node01}
3. 关闭防火墙：service iptables stop

进行时间同步

方法一：

1. 安装ntp：yum install ntp
2. 网上查找最新的时间服务器，如ntp1.aliyun.com,在所有节点时间同步    ntpdate ntp1.aliyun.com

方法二：

发送date -s "xxxx-xx-xx xx:xx:xx"指令到所有会话

配置免密登录

1. 所有节点执行 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
2. 在node01节点执行，将node01的公钥加入到其他节点的白名单中 ssh-

• copy-id -i ~/.ssh/id_rsa.pub root@node01
• ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
• ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
• ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04

配置/etc/hosts（所有节点内）

192.168.23.128 node01     //写入所有节点的IP+主机名

修改hadoop配置文件

1.修改hdfs-site.xml配置文件

            dfs.replication
#节点数
            3

  
            dfs.namenode.secondary.http-address
#SecondaryNode节点
         node02:50090


2.修改core-site.xml配置文件

            fs.defaultFS
            hdfs://node01:9000


            hadoop.tmp.dir
            /var/abc/hadoop/cluster

3.修改slaves配置文件
#写入所有DataBode节点
node02 
node03 
node04
 

将配置好的安装包分发到其他节点上（两种方法）

• scp -r software root@node02:/opt/software/hadoop/
•  scp -r software root@node02:`pwd`

JDK配置（所有节点）

#卸载旧有jdk
rpm -qa|grep java
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
rpm -e --nodeps tzdata-java-2013g-1.el6.noarch
# vi /etc/profile
export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin  

格式化NameNode并启动HDFS

1. 将所有的HDFS相关的进程关闭
2. 在node01节点执行

• 格式化 ：hdfs namenode -format
• 启动 ：start-dfs.sh