CentOS6.5中安装Hadoop

安装Hadoop包

1、使用课程提供的hadoop-2.4.1.tar.gz，使用WinSCP上传到CentOS的/usr/local目录下。

2、将hadoop包进行解压缩：tar -zxvf hadoop-2.4.1.tar.gz

3、对hadoop目录进行重命名：mv hadoop-2.4.1 hadoop

4、配置hadoop相关环境变量

vi ~/.bashrc

export HADOOP_HOME=/usr/local/hadoop

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source ~/.bashrc

修改/usr/local/hadoop/etc/hadoop下的配资文件

修改core-site.xml

添加

  fs.default.name

  hdfs://spark1:9000

修改hdfs-site.xml

  dfs.name.dir

  /usr/local/data/namenode

  dfs.data.dir

  /usr/local/data/datanode

  dfs.tmp.dir

  /usr/local/data/tmp

  dfs.replication

  3

修改mapred-site.xml

  mapreduce.framework.name

  yarn

修改yarn-site.xml

  yarn.resourcemanager.hostname

  spark1

  yarn.nodemanager.aux-services

  mapreduce_shuffle

修改slaves文件

spark1

spark2

spark3

在另外两台机器搭建Hadoop

1、使用如上配置在另外两台机器上搭建hadoop，可以使用scp命令将spark1上面的hadoop安装包和.bashrc配置文件都拷贝过去。

scp -r hadoop root@spark2:/usr/local/

2、要记得对~/.bashrc文件进行source，以让它生效。

3、记得在spark2和spark3的/usr/local目录下创建data目录。

启动hdfs集群

1、格式化namenode：在spark1上执行以下命令，hdfs namenode -format

2、启动hdfs集群：start-dfs.sh
3、验证启动是否成功：jps、50070端口

spark1：namenode、datanode、secondarynamenode

spark2：datanode

spark3：datanode

 

启动yarn集群

1、启动yarn集群：start-yarn.sh
2、验证启动是否成功：jps、8088端口

spark1：resourcemanager、nodemanager

spark2：nodemanager

spark3：nodemanager

安装包：https://download.csdn.net/download/huaicainiao/11160858