一、虚拟机环境准备
1、设置静态IP
设置静态IP:编辑vim /etc/sysconfig/network-scripts/ifcfg-eth0,改成以下内容
如果是CentOS7版本没有ifcfg-eth0,则把/etc/sysconfig/network-scripts/ifcfg-ens33重命名为ifcfg-eth0,再改成如下即可。(如果一直修改不成功,用dhclient命令)
TYPE=Ethernet
BOOTPROTO=static
NAME=eth0
DEVICE=eth0
ONBOOT=yes
IPADDR=172.16.247.138
PREFIX=24
GATEWAY=172.16.247.2
DNS1=172.16.247.2
2、修改主机名
改主机名:编辑vim /etc/sysconfig/network
改HOSTNAME=那一行
3、关闭防火墙
CentOS7版本后防火墙默认使用firewalld
//临时关闭
systemctl stop firewalld
//禁止开机启动
systemctl disable firewalld
4、创建hadoop用户
//创建用户
useradd hadoop
//修改密码
passwd hadoop
5、配置这个用户为sudoers,使具有root权限
vim /etc/sudoers
在root ALL=(ALL) ALL
下面添加hadoop ALL=(ALL) NOPASSWD:ALL
保存时wq!强制保存
6、改Hosts
vim /etc/hosts
在文件后追加
172.16.247.138 hadoop138
172.16.247.139 hadoop139
172.16.247.140 hadoop140
172.16.247.141 hadoop141
172.16.247.142 hadoop142
172.16.247.143 hadoop143
也可以用脚本改
vim test.sh
#!/bin/bash
for ((i=138;i<=143;i++))
do
echo "172.16.247.$i hadoop$i" >> /etc/hosts
done
bash test.sh
7、在/opt目录下创建两个文件夹software和module,并把所有权赋给hadoop用户
mkdir /opt/software /opt/module
chown hadoop:hadoop /opt/software /opt/module
关机,快照,克隆
二、安装JDK
1、卸载现有JDK
(1)查询是否安装Java软件:
rpm -qa | grep java
(2)如果安装的版本低于1.7,卸载该JDK:
sudo rpm -e 软件包
(3)查看JDK安装路径:
which java
2、用SecureFX工具将JDK导入到opt目录下面的software文件夹下面,解压
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
3、配置JDK环境变量
打开/etc/profile文件
sudo vi /etc/profile
在profile文件末尾添加JDK路径(shitf+g)
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
让修改后的文件生效
source /etc/profile
java -version查看是否安装成功
三、安装Hadoop
Hadoop下载地址:
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
1、用SecureFX工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面
2、解压安装文件到/opt/module下面
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
3、将Hadoop添加到环境变量
打开/etc/profile文件
sudo vi /etc/profile
在profile文件末尾添加hadoop路径:(shitf+g)
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
让修改后的文件生效
source /etc/profile
hadoop version查看是否安装成功
四、Hadoop目录结构
1、查看Hadoop目录结构
2、重要目录
(1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例