P02_Hadoop CDH 5.3.6集群搭建

安装hadoop包

1、下载hadoop-2.6.0-cdh5.12.0.tar.gz，上传到虚拟机的/usr/local目录下。[CDH下载地址]（http://archive.cloudera.com/cdh5/cdh/5/）
2、将hadoop包进行解压缩：tar -zxvf hadoop-2.6.0-cdh5.12.0.tar.gz
3、对hadoop目录进行重命名：mv hadoop-2.6.0-cdh5.12.0.tar.gz hadoop
4、配置hadoop相关环境变量

vi /etc/profile

export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

5、创建/usr/local/data目录

修改core-site.xml

  fs.default.name
  hdfs://sparkproject1:9000

修改hdfs-site.xml

  dfs.name.dir
  /usr/local/data/namenode


  dfs.data.dir
  /usr/local/data/datanode


  dfs.tmp.dir
  /usr/local/data/tmp


  dfs.replication
  2

修改mapred-site.xml

  mapreduce.framework.name
  yarn

修改yarn-site.xml

  yarn.resourcemanager.hostname
  sparkproject1


  yarn.nodemanager.aux-services
  mapreduce_shuffle

修改slaves文件

sparkproject2
sparkproject3

在另外两台机器上搭建hadoop

1、使用如上配置在另外两台机器上搭建hadoop，可以使用scp命令将sparkproject1上面的hadoop安装包和/etc/profile配置文件都拷贝过去。（scp -r hadoop root@sparkproject2:/usr/local）
2、要记得对/etc/profile文件进行source，以让它生效。
3、记得在sparkproject2和sparkproject3的/usr/local目录下创建data目录。

启动hdfs集群

1、格式化namenode：在sparkproject1上执行以下命令，hdfs namenode -format
2、启动hdfs集群：start-dfs.sh3、验证启动是否成功：jps、50070端口
sparkproject1：namenode、secondarynamenode
sparkproject2：datanode
sparkproject3：datanode
4、hdfs dfs -put hello.txt /hello.txt

启动yarn集群

1、启动yarn集群：start-yarn.sh2、验证启动是否成功：jps、8088端口
sparkproject1：resourcemanager、nodemanager
sparkproject2：nodemanager
sparkproject3：nodemanager