day1-Hadoop运行环境搭建

一、虚拟机环境准备

1、设置静态IP
设置静态IP:编辑vim /etc/sysconfig/network-scripts/ifcfg-eth0,改成以下内容
如果是CentOS7版本没有ifcfg-eth0,则把/etc/sysconfig/network-scripts/ifcfg-ens33重命名为ifcfg-eth0,再改成如下即可。(如果一直修改不成功,用dhclient命令)

TYPE=Ethernet
BOOTPROTO=static
NAME=eth0
DEVICE=eth0
ONBOOT=yes
IPADDR=172.16.247.138
PREFIX=24
GATEWAY=172.16.247.2 
DNS1=172.16.247.2

2、修改主机名
改主机名:编辑vim /etc/sysconfig/network
改HOSTNAME=那一行

3、关闭防火墙
CentOS7版本后防火墙默认使用firewalld

//临时关闭
systemctl stop firewalld
//禁止开机启动
systemctl disable firewalld

4、创建hadoop用户

//创建用户
useradd hadoop
//修改密码
passwd hadoop

5、配置这个用户为sudoers,使具有root权限
vim /etc/sudoers
root ALL=(ALL) ALL下面添加hadoop ALL=(ALL) NOPASSWD:ALL
保存时wq!强制保存

6、改Hosts
vim /etc/hosts
在文件后追加

172.16.247.138  hadoop138
172.16.247.139  hadoop139
172.16.247.140  hadoop140
172.16.247.141  hadoop141
172.16.247.142  hadoop142
172.16.247.143  hadoop143

也可以用脚本改
vim test.sh

#!/bin/bash
for ((i=138;i<=143;i++))
do
  echo "172.16.247.$i  hadoop$i" >> /etc/hosts
done

bash test.sh

7、在/opt目录下创建两个文件夹software和module,并把所有权赋给hadoop用户

mkdir /opt/software /opt/module
chown hadoop:hadoop  /opt/software /opt/module

关机,快照,克隆

二、安装JDK

1、卸载现有JDK
(1)查询是否安装Java软件:

rpm -qa | grep java

(2)如果安装的版本低于1.7,卸载该JDK:

sudo rpm -e 软件包

(3)查看JDK安装路径:

which java

2、用SecureFX工具将JDK导入到opt目录下面的software文件夹下面,解压

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

3、配置JDK环境变量
打开/etc/profile文件

sudo vi /etc/profile

在profile文件末尾添加JDK路径(shitf+g)

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

让修改后的文件生效

source /etc/profile

java -version查看是否安装成功

三、安装Hadoop

Hadoop下载地址:
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

1、用SecureFX工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面

2、解压安装文件到/opt/module下面

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

3、将Hadoop添加到环境变量
打开/etc/profile文件

sudo vi /etc/profile

在profile文件末尾添加hadoop路径:(shitf+g)

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

让修改后的文件生效

source /etc/profile

hadoop version查看是否安装成功

四、Hadoop目录结构

1、查看Hadoop目录结构

目录结构

2、重要目录
(1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例

你可能感兴趣的:(day1-Hadoop运行环境搭建)