Hadoop集群搭建

Linux集群搭建

1、新建虚拟机

创建一个centos镜像，命名为hadoop1，剩下两个待基础环境配置好后，直接克隆即可

2、基础环境配置

• hadoop：Index of /dist/hadoop/common/hadoop-2.7.3 (apache.org)
• JDK:：Java Archive | Oracle

1.1、JDK

安装目录：/usr/local

①解压

tar -zxvf jdk-8u102-linux-x64.tar.gz -C /usr/local/

②配置环境变量

vi /etc/profile

添加

export JAVA_HOME=/usr/local/jdk1.8.0_102

export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

③加载环境变量

source /etc/profile

1.2、Hadoop

安装目录：/usr/local/hadoop-2.7.3

①解压

tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/

②修改配置文件

a.添加环境变量

cd /usr/local/hadoop-2.7.3/etc/hadoop/
vi hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_102

source /etc/profile

b.选择文件系统和临时目录

vi core-site.xml

添加

<property>
<name>fs.defaultFSname>
<value>hdfs://hadoop1:9000value>
property>
<property>
<name>hadoop.tmp.dirname>
<value>/usr/local/hadoop-2.7.3/tmpvalue>
property>

c.修改分布式文件系统相关配置

vi hdfs-site.xml

添加

<configuration>
<property>
<name>dfs.secondary.http.addressname>
property>

<property>
<name>dfs.namenode.name.dirname>
<value>/usr/local/hadoop-2.7.3/data/namevalue>
property>

<property>
<name>dfs.datanode.data.dirname>
<value>/usr/local/hadoop-2.7.3/data/datavalue>
property>

<property>
<name>dfs.replicationname>
<value>3value>
property>

<property>
<value>hadoop1:50090value>
property>
configuration>

d.使用yarn框架

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

添加

<configuration>
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
configuration>

e.配置yarn

vi yarn-site.xml

添加

<property>
<name>yarn.resourcemanager.hostnamename>
<value>hadoop1value>
property>

<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>

f.修改节点列表

vi slaves

改成

hadoop2
hadoop3

1.3、关闭防火墙

service firewalld stop
systemctl disable firewalld

3、克隆虚拟机

克隆两个分别为hadoop2、hadoop3，修改主机名

hostnamectl set-hostname hadoop1
hostnamectl set-hostname hadoop2
hostnamectl set-hostname hadoop3

4、配置网卡

防止网络状态改变，改为静态地址

路径根据个人网络接口和dns网关进行修改

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736

BOOTPROTO=static
IPADDR=192.168.43.132
NETMASK=255.255.255.0
GATEWAY=192.168.43.2
DNS1=192.168.43.2
DNS2=192.168.43.3

sudo systemctl restart network

同理将hadoop2、hadoop3设置好

5、修改host映射

vi /etc/hosts

192.168.43.132 hadoop1
192.168.43.133 hadoop2
192.168.43.134 hadoop3

6、配置免密登录SSH

用MobaXterm同时操控三台机器

• 安装免密登录客户端：yum install -y openssh-clients

• 生成公钥跟私钥：ssh-keygen

• 发送公钥跟私钥：ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

启动集群

在hadoop1上执行，只能执行一次

hadoop namenode -format

运行

start-all.sh

验证集群

1、JPS

2、访问web端

192.168.43.132:50070

192.168.43.132:8088

参考链接

https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/
Hadoop详细集群搭建_hadoop集群搭建_RomanyK的博客-CSDN博客