centos7安装hadoop

centos7安装hadoop

三台主机,分被担任master、slave1、slave2的角色

1、修改三台主机的主机名、hosts文件

hostnamectl set-hostname 主机名

vi /etc/hosts

2、安装jdk环境,本次安装java-1.8.0版本(也可使用源码安装jdk环境)

yum -y install epel-release

yum -y install java-1.8.0 java-1.8.0-devel

3、三台主机之间做免密登录

Hadoop的master与slave之间的数据传输会使用SSH,因此我们还需要对Hadoop环境所用的系统主机设置SSH免密码登录,注意:自己对自己也要设置免密登录。

4、下载hadoop

在apache官网(http://mirrors.hust.edu.cn/apache/)下载hadoop,本次实验下载版本为hadoop-3.1.1.tar.gz

5、部署hadoop(三台)

tar -xzvf hadoop-3.1.1.tar.gz

mv hadoop-3.1.1 /opt/hadoop

6、编辑配置文件

vi /opt/hadoop/etc/hadoop/core-site.xml ##三台都编辑

fs.defaultFS

hdfs://hadoop-master:9000

hadoop.tmp.dir

/tmp

vi /opt/hadoop/etc/hadoop/hadoop-env.sh ##三台都编辑

export JAVA_HOME=/usr

export HADOOP_HOME=/opt/hadoop

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

vi /opt/hadoop/etc/hadoop/hdfs-site.xml ##只修改master

dfs.namenode.http-address

hadoop-master:50070

dfs.namenode.name.dir

/var/hadoop/name

dfs.replication

2

dfs.datanode.data.dir

/var/hadoop/data

vi /opt/hadoop/etc/hadoop/mapred-site.xml ##只修改master

mapreduce.framework.name

yarn

vi /opt/hadoop/etc/hadoop/workers ##只修改master

注意:这里可以只设置slave1和slave2,这样master系统就不会作为DataNode节点

hadoop-master

hadoop-slave1

hadoop-slave2

vi /opt/hadoop/etc/hadoop/yarn-site.xml ##只修改master

yarn.resourcemanager.hostname

hadoop-master

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-service-.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.nodemanager.resource.cpu-vcores

1

7、初始化并启动服务

/opt/hadoop/bin/hdfs namenode  -format ##初始化hadoop服务

/opt/hadoop/sbin/start-all.sh ##启动服务

使用浏览器访问http://hadoop-master:50070可访问,即为hadoop安装成功

测试:

hadoop集群安装完成后,可以使用命令进行简单的可用性测试

查看集群状态

hadoop dfsadmin –report

查看hdfs目录

hadoop fs -ls /

上传文件到hdfs

hadoop fs -put /root/ceshi.txt /

下载hdfs中文件

hadoop fs -get /ceshi.txt

在hdfs中创建目录

hadoop fs -mkdir -p /books/txt

你可能感兴趣的:(centos7安装hadoop)