Hadoop 集群搭建 3. Hadoop集群配置

hadoop 2.8.3 下载地址：
链接：https://pan.baidu.com/s/14LQjOEiWcXJnhuf5lRzzSA 密码：ma86
jdk 下载地址：

链接：https://pan.baidu.com/s/1iiJoVbrD6tiXlJekfaaS2A 密码：i9fs

1. 集群组网环境

主机名	IP	系统版本	hadoopnode,hadoop	进程名称
hadoopmaster	192.168.5.180	CentOS7	namenode,master	SecondaryNameNode,NameNode,jobtracker
hadoopslave1	192.168.5.181	CentOS7	datanode,slaver01	DataNode,jobtracker
hadoopslave2	192.168.5.185	CentOS7	datanode,slaver02	DataNode,jobtracker

2.操作系统与相关操作Linux安装

虚拟机软件：VMware

CentOS7 镜像

按照组网环境完成搭建即可

修改主机名：

vim /etc/hostname

hadoopmaster

hadoopslave1

hadoopslave2

修改hosts：

vim /etc/hosts

192.168.5.180 hadoopmaster

192.168.5.181 hadoopslave1

192.168.5.185 hadoopslave2

Window相关软件：

Linux远程连接工具：xshell 、crt

Linux远程连接文件拷贝工具：WinSCP

3、Linux【SSH免密登录】

SHH免密互通配置

• hadoopmaster 与 hadoopslave1 互通
• hadoopmaster 与 hadoopslave2 互通

打开SSH相关配置：

vim /etc/ssh/sshd_config

RSAAuthentication yes

PubkeyAuthentication yes

重启ssh服务：

systemctl restart sshd.service

生成公钥：

cd ~

mkdir .ssh

cd .ssh

touch authorized_keys

ssh-kengen -t rsa

cat id_rsa.pub >> authorized_keys

通过scp 命令将公钥复制到对应机器

例：将 hadoopmaster 公钥复制到 hadoopslave1 上面

cd ~/.ssh/cat id_rsa.pub [email protected]:~/.ssh/id_rsa_master.pub

将复制过来的公钥追加至 authorized_keys 即可

cat id_rsa_master.pub >> authorized_keys

4、Java 安装与配置

cd /

mkdir data

cd data

mkdir jdk

假如提示 wget 找不到执行： yum install wget -y

解压安装：

tar -zxvf jdk-8u161-linux-x64.tar.gz -C ./jdk

配置 java 环境变量：

vim /etc/profile

#壁虎漫步JDK相关配置

export JAVA_HOME=/data/jdk/jdk1.8.0_161

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:${JAVA_HOME}/jre

export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile

java -version

组网环境内的机器以同上的方法安装即可.

5、Hadoop 安装与配置

cd /data

mkdir hadoop

解压安装：

tar -zxvf hadoop-2.8.3.tar.gz -C ./hadoop

配置 hadoop Linux 环境变量：

vim /etc/profile

#hadoop相关配置

export HADOOP_HOME=/data/hadoop/hadoop-2.8.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

source /etc/profile

配置 hadoop 环境变量：

cd /data/hadoop/hadoop-2.8.3/etc/hadoop

vim hadoop-env.sh

#export JAVA_HOME=${JAVA_HOME}

export JAVA_HOME=/data/jdk/jdk1.8.0_161

配置 core-site.xml：

cd /data/hadoop/hadoop-2.8.3/etc/hadoop

vim core-site.xml

hadoop.tmp.dir

file://data/hadoop/hadoop-2.8.3/dfs/tmp

fs.defaultFS

hdfs://hadoopmaster:9000

fs.default.name

hdfs://hadoopmaster:9000

配置 hdfs-site.xml：

cd /data/hadoop/hadoop-2.8.3/etc/hadoop

vim hdfs-site.xml

dfs.replication

1

dfs.namenode.name.dir

file:/data/hadoop/hadoop-2.8.3/dfs/name

dfs.datanode.data.dir

file:/data/hadoop/hadoop-2.8.3/dfs/data

dfs.namenode.secondary.http-address

hadoopmaster:50090

上述配置三台配置一样即可.

配置 hadoopmaster 下的 slaves

cd /data/hadoop/hadoop-2.8.3/etc/hadoop

vim slaves

hadoopslave1

hadoopslave2

配置完毕 ！

格式化HDFS:

配置完分布式信息后，需格式化HDFS

hadoop namenode -format

hdfs namenode -format

格式化操作，仅对namenode有效，对其它节点无效。

格式化成功，并且状态码为0，说明Hadoop集群配置有效。

启动/停止Hadoop：

start-dfs.sh

stop-dfs.sh

查看 hdfs 下面的文件

hdfs dfs -ls /

上传文件至 hdfs 上

hdfs dfs -put yum.log hdfs://hadoopmaster:9000/

HDFS 授权：

hdfs dfs -chmod -R 777 /