Hadoop之本地运行模式基本环境配置
Hadoop之本地运行模式基本环境配置
非专业生产环境配置
JDK安装包：jdk-8u212-linux-x64.tar.gz 提取码：l5go
Hadoop安装包：hadoop-3.1.3.tar.gz 提取码：2juv
1.服务器准备
1.1 配置必要的环境（初始化状态下的服务器）
yum install -y epel-release psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop
配置成功：
1.2 配置IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改为：
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=你的静态IP
PREFIX=24
GATEWAY=网关
DNS1=域名解析
1.3 修改主机名
vim /etc/hostname
1.4 配置主机名映射
vim /etc/hosts
添加如下内容：
IP地址 主机名
IP地址 主机名
如：
192.168.202.101 Hadoop101
1.5 关闭防火墙（生产环境下勿设置）
暂时关闭防火墙，每次开机自动开启防火墙
systemctl stop firewalld
永久关闭防火墙，每次开机不会自动启动
systemctl disable firewalld
1.6 创建普通用户并赋予root权限
创建用户
useradd 用户名
修改用户名密码
在这里插入代码片
修改/etc/sudoers在该文件的第93行添加如下内容，进入vim模式，93+shift+g跳转到第93行
vim /etc/sudoers
root ALL=(ALL) ALL
用户名 ALL=(ALL) NOPASSWD:ALL
添加完，使用 :wq! 强制保存退出
1.7 在/opt目录下创建module、software文件夹，并修改所有权
创建module文件夹，用于存放用户已安装程序
mkdir /opt/module
创建software文件夹，用于存放安装程序包
mkdir /opt/software
修改文件夹的所有权
chown 用户名:用户名 /opt/module /opt/software
1.8 切换用户
su - 用户名
2.安装JDK
2.1 切换到/opt/software目录下
cd /opt/software
2.2 使用xftp工具将JDK安装包上传到当前目录（/opt/software）
2.3 解压JDK安装包到/opt/module目录下
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module
2.4 配置环境变量
新建my_env.sh，并配置安装路径
sudo vim /etc/profile.d/my_env.sh
添加如下内容：
#JAVA_HOME
JAVA_HOME=/opt/module/jdk1.8.0_212
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME
保存并退出 :wq!
source命令使之生效
source /etc/profile
查看JDK安装及环境配置是否成功，没有错误输出则正常
java -version
或
echo $PATH
3.安装Hadoop
3.1 切换到/opt/software/目录下
cd /opt/software
3.2 使用xftp工具将Hadoop安装包上传到当前目录（/opt/spftware）
3.3 解压Hadoop安装包/opt/module下
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module
3.4 配置Hadoop的环境变量
sudo vim /etc/profile.d/my_env.sh
添加如下内容：
#HADOOP_HOME
HADOOP_HOME=/opt/module/hadoop-3.1.3
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH JAVA_HOME HADOOP_HOME
保存并退出 :wq!
source命令使之生效
source /etc/profile
查看hadoop安装及环境配置是否成功，没有报错则正常
hadoop version
或
echo $PATH
4.测试运行
使用本地运行模式测试运行官方的WordCount案例
切换到/opt/module/hadoop-3.1.3目录下，创建wcinput文件夹：
mkdir wcinput
在wcinput目录下创建一个wc.input文件并编辑该文件
vim wcinput/wc.input
在该文件中添加如下内容：
hadoop yarn
hadoop mapreduce
I love hadoop
I love hadoop
I love hadoop
保存退出 :wq
执行share目录下的MapReduce程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcouput
查看输出结果
cat part-r-00000
