hadoop3.0集群配置

现共3台机器 机器情况和软件安装关系:

机器名	IP	安装软件	运行进程
nn1	192.168.0.240	jdk,zookeeper,hadoop,hive	Jps、QuorumPeerMain、DataNode、NameNode、NodeManager、ResourceManager
dn1	192.168.0.241	jdk,zookeeper,hadoop	Jps、QuorumPeerMain、DataNode、NodeManager、ResourceManager
dn2	192.168.0.242	jdk,zookeeper,hadoop	Jps、QuorumPeerMain、DataNode、NodeManager、ResourceManager

使用root用户修改 /etc/hosts文件:

[root@nn1 /]# vim /etc/hosts


192.168.0.240 nn1
192.168.0.241 dn1
192.168.0.242 dn2

安装jdk1.8.0和hadoop3.0.0并配置环境变量,可以配置全局的(修改/etc/profile)也可以配置当前用户的(修改~/.bashrc文件),我配置的是全局的环境变量

安装jdk

列出/etc/profile文件中添加的内容:

#set java path
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_161
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export  PATH=${JAVA_HOME}/bin:$PATH
# set hadoop path
export HADOOP_HOME=/usr/hadoop/hadoop-3.0.0
export PATH=$PATH:$HADOOP_HOME/bin

安装zookeeper

zookeeper启动

zookerrper:
启动目录:
/usr/local/zookeeper/zookeeper-3.4.11/bin
启动命令:
./zkServer.sh start
查看状态:
./zkServer.sh status

hadoop启动

hadoop:
启动命令:
/usr/hadoop/hadoop-3.0.0/sbin/start-all.sh