《十小时入门大数据》学习笔记之Hadoop分布式集群环境搭建

• Hadoop分布式集群环境
  hadoop000:192.168.111.185
  hadoop001:192.168.111.186
  hadoop002:192.168.111.187

1、机器准备

1）安装虚拟机: 使用的是CentOS7，用户名为hadoop
2）设置静态IP：参考centos7设置静态IP地址

• 以上只需要安装一个虚拟机，然后克隆出两个即可

3）Linux hostname设置：sudo vi /etc/sysconfig/network

#三台机器的HOSTNAME分别为hadoop000、hadoop001和hadoop002
NETWORKING=yes
HOSTNAME=hadoop001

4）hostname和ip地址的映射设置:sudo vi /etc/hosts
192.168.111.185 hadoop000
192.168.111.186 hadoop001
192.168.111.187 hadoop002

5）各节点角色分配

• hadoop000：主节点，NameNode、 ResourceManager、DataNode、NodeManager
• hadoop001：从节点，DataNode、NodeManager
• hadoop002：从节点，DataNode、NodeManager

2、前置配置

1）ssh免密码登录
在每台机器的终端上都单独运行下面的命令

ssh-keygen -t rsa   #一直回车即可

以hadoop000机器为主，在hadoop000机器终端上运行下面的代码

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop000  #输入yes和用户密码
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop001
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop002

验证：
在hadoop000机器终端上运行下面命令

ssh hadoop000   #能够登录成功之后，执行exit退出，在执行下一条命令
ssh hadoop0001 #执行exit退出
ssh hadoop0002

2）JDK安装
（下面所有的都是在hadoop000上进行，之后再复制到hadoop001和hadoop002即可）
在hadoop000上解压jdk安装包并设置JAVA_HOME到系统变量即可

3、集群安装

1）Hadoop安装（在hadoop000机器上）
解压hadoop安装包，并设置HADOOP_HOME系统环境变量
配置文件

• hadoop-env.sh

export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79

• core-site.xml

  fs.default.name
   hdfs:///hadoop000:8020

• hdfs-site.xml

  dfs.namenode.name.dir
   /home/hadoop/app/tmp/dfs/name



  dfs.datanode.data.dir
   /home/hadoop/app/tmp/dfs/data

• yarn-site.xml

  yarn.nodemanager.aux-services
   mapreduce_shuffle



  yarn.resourcemanager.hostname
   hadoop000

• mapred-site.xml

  mapreduce.framework.name
   yarn

• slaves

hadoop000
hadoop001
hadoop002

2）分发安装包到hadoop001和hadoop002节点上
（注意：三台机器的用户名都是一样的，只是机器名不一样哦）

#分发hadoop和jdk，因文件比较大、分发过程可能有点慢
scp -r ~/app hadoop@hadoop001:~/
scp -r ~/app hadoop@hadoop002:~/
#分发配置文件
scp ~/.bash_profile hadoop@hadoop001:~/
scp ~/.bash_profile hadoop@hadoop002:~/

在学习过程中强烈推荐使用伪分布式
在hadoop001和hadoop002机器上让.bash_profile生效

#分别在hadoop001和hadoop002中执行
source ~/.bash_profile

3）对NameNode做格式化：只要在hadoop000机器上执行即可

hdfs namenode -format

4）启动集群:只要在hadoop000上执行即可

sbin/start-all.sh

5）验证：jps

image.png

• webui：hadoop000:50070
  image.png
  
  

  6）停止机器：在hadoop000上执行即可

sbin/stop-all.sh

至此，hadoop集群搭建完毕！

4、集群使用

集群使用与分布式集群的使用方式一模一样。