Centos下安装Hadoop【历时三天亲测有效】
Centos下安装Hadoop
-
- 前言
- 一、虚拟机环境准备
- 二、安装JDK
- 三、安装Hadoop
- 四、Hadoop目录结构
前言
本文将带大家来详细安装Hadoop，大致分为三个步骤：①虚拟机环境准备②安装JDK③安装Hadoop前提条件：具备Linux操作系统基础，并且已安装虚拟机。
版本说明：
VMware
Centos6.8
SecureCRT工具
jdk1.8
hadoop2.7
点击获取安装包：https://pan.baidu.com/s/1qH-ffnzQDjryuV9kHXlUAA?pwd=k6kj
点击链接获取Linux全套学习笔记：https://download.csdn.net/download/qq_41250372/85555180
SecureCRT使用教程：https://blog.csdn.net/qq_41250372/article/details/125136658
一、虚拟机环境准备
1.虚拟机网络模式设置为NAT
2.克隆虚拟机
详情请看《使用VMware备份操作系统》
3.修改克隆虚拟机的静态IP
3.1使用命令：vim /etc/udev/rules.d/70-persistent-net.rules进入如下页面，删除eth0该行；将eth1修改为eth0，同时复制物理ip地址。
3.2修改IP地址
使用命令：vim /etc/sysconfig/network-scripts/ifcfg-eth0，老师的初始页面是这个样子的：
修改之后是这个样子的：
3.3执行命令：service network restart重启网络服务。
3.4重启：reboot
4.修改主机名
4.1查看主机名命令：hostname
4.2修改主机名：vi /etc/sysconfig/network
4.3配置主机名与IP同步
使用命令：vim /etc/hosts
4.4、重启reboot
4.5、验证之前的操作是否成功
4.6修改window7的hosts文件
- 进入C:\Windows\System32\drivers\etc路径
- 打开hosts文件并添加如下内容>
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
192.168.1.109 hadoop109
192.168.1.110 hadoop110
5.关闭防火墙
- 查看防火墙开机启动状态
[root@hadoop101 ~]# chkconfig iptables --list
- 关闭防火墙
[root@hadoop101 ~]# chkconfig iptables off
二、安装JDK
1.在/opt目录下创建文件夹
- 在/opt目录下创建module、software文件夹
[sun@hadoop101 opt]$ sudo mkdir module
[sun@hadoop101 opt]$ sudo mkdir software
- 修改module、software文件夹的所有者cd
[sun@hadoop101 opt]$ sudo chown sun:sun module/ software/
[sun@hadoop101 opt]$ ll
总用量 8
drwxr-xr-x. 2 sun sun 4096 1月 17 14:37 module
drwxr-xr-x. 2 sun sun 4096 1月 17 14:38 software
2. 卸载现有JDK
- 查询是否安装Java软件
[sun@hadoop101 opt]$ rpm -qa | grep java
- 如果安装的版本低于1.7，卸载该JDK
[sun@hadoop101 opt]$ sudo rpm -e 软件包
- 查看JDK安装路径
[sun@hadoop101 ~]$ which java
3.用SecureCRT工具将JDK导入到opt目录下面的software文件夹下面
- 切换software文件夹
cd /opt/software
-
“alt+p”进入sftp模式
-
选择jdk1.8拖入
4.在Linux系统下的opt目录中查看软件包是否导入成功
[sun@hadoop101 opt]$ cd software/
[sun@hadoop101 software]$ ls
jdk-8u144-linux-x64.tar.gz
5.解压JDK到/opt/module目录下
[sun@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
6. 配置JDK环境变量
- 先获取JDK路径
[sun@hadoop101 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144
- 打开/etc/profile文件
[sun@hadoop101 software]$ sudo vi /etc/profile
在profile文件末尾添加JDK路径
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
- 保存后退出
:wq
- 让修改后的文件生效
[sun@hadoop101 jdk1.8.0_144]$ source /etc/profile
7. 测试JDK是否安装成功
[sun@hadoop101 jdk1.8.0_144]# java -version
java version "1.8.0_144"
注意：重启（如果java -version可以用就不用重启）
[sun@hadoop101 jdk1.8.0_144]$ sync
[sun@hadoop101 jdk1.8.0_144]$ sudo reboot
三、安装Hadoop
1.用SecureCRT工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面
- 切换到sftp连接页面，选择Linux下编译的hadoop jar包拖入
2.进入到Hadoop安装包路径下
[sun@hadoop101 ~]$ cd /opt/software/
3.解压安装文件到/opt/module下面
[sun@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
4.查看是否解压成功
[sun@hadoop101 software]$ ls /opt/module/
hadoop-2.7.2
5. 将Hadoop添加到环境变量
- 获取Hadoop安装路径
[sun@hadoop101 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2
- 打开/etc/profile文件
[sun@hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile
在profile文件末尾添加JDK路径：（shitf+g）
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
- 保存后退出
:wq
- 让修改后的文件生效
[sun@ hadoop101 hadoop-2.7.2]$ source /etc/profile
6. 测试是否安装成功
[sun@hadoop101 hadoop-2.7.2]$ hadoop version
Hadoop 2.7.2
7. 重启(如果Hadoop命令不能用再重启)
[sun@ hadoop101 hadoop-2.7.2]$ sync
[sun@ hadoop101 hadoop-2.7.2]$ sudo reboot
四、Hadoop目录结构
1.查看Hadoop目录结构
[sun@hadoop101 hadoop-2.7.2]$ ll
总用量 52
drwxr-xr-x. 2 sun sun 4096 5月 22 2017 bin
drwxr-xr-x. 3 sun sun 4096 5月 22 2017 etc
drwxr-xr-x. 2 sun sun 4096 5月 22 2017 include
drwxr-xr-x. 3 sun sun 4096 5月 22 2017 lib
drwxr-xr-x. 2 sun sun 4096 5月 22 2017 libexec
-rw-r--r--. 1 sun sun 15429 5月 22 2017 LICENSE.txt
-rw-r--r--. 1 sun sun 101 5月 22 2017 NOTICE.txt
-rw-r--r--. 1 sun sun 1366 5月 22 2017 README.txt
drwxr-xr-x. 2 sun sun 4096 5月 22 2017 sbin
drwxr-xr-x. 4 sun sun 4096 5月 22 2017 share
2.重要目录
- bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
- etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
- lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
- sbin目录：存放启动或停止Hadoop相关服务的脚本
- share目录：存放Hadoop的依赖jar包、文档、和官方案例
3 Hadoop官方文档
- 官网：https://hadoop.apache.org/