hadoop环境

集群Linux环境搭建

1. 注意事项

1.windows系统确认所有的关于VmWare的服务都已经启动
2.确认好VmWare生成的网关地址
3. 确认VmNet8网卡已经配置好了IP地址和DNS
4. 登录账号、密码：root 123456

2. 复制虚拟机

3. 虚拟机修改Mac和IP

1.集群规划
node01 192.168.174.100

2.设置ip和Mac地址
① 每台虚拟机更改mac地址

vim /etc/udev/rules.d/70-persistent-net.rules

② 每台虚拟机更改IP地址:

vim /etc/sysconfig/network-scripts/ifcfg-eth0

③ 每台虚拟机修改对应主机名
vi /ect/sysconfig/network
HOSTNAME=node01
④ 每台虚拟机 设置ip和域名映射
vim /etc/hosts

3.附：
ping.www.baidu.com
按住shift zz 保存退出；zq 不保存退出，q表示放弃
终止命令：ctrl+c
重启：reboot
4.
node01
mac地址 00:0C:29:DB:1E:7B
IPADDR=192.168.40.100
GATEWAY=192.168.40.2
NETMASK=255.255.255.0
DNS1=8.8.8.8

node02
Mac地址 00:0C:29:7C:D0:DC
IPADDR=192.168.40.200
GATEWAY=192.168.40.2
NETMASK=255.255.255.0
DNS1=8.8.8.8

node03 这个暂时建不了
Mac地址 00:0C:29:E0:36:D8
IPADDR=192.168.40.300
GATEWAY=192.168.40.2
NETMASK=255.255.255.0
DNS1=8.8.8.8

4. 虚拟机关闭防火墙和SELinux

1.关闭防火墙

service iptables stop   #关闭防火墙
chkconfig iptables off  #禁止开机启动

2.关闭selinux

#修改selinux的配置文件
vi /etc/selinux/config

5. 虚拟机免密码登录

第一步：三台机器生成公钥与私钥
ssh-keygen -t rsa
第二步：拷贝公钥到同一台机器
ssh-copy-id node01
第三步:复制第一台机器的认证到其他机器
scp /root/.ssh/authorized_keys node02:/root/.ssh
scp /root/.ssh/authorized_keys node03:/root/.ssh
测试：
ssh node02
exit

6.三台机器时钟同步

安装
yum install -y ntp
启动定时任务
crontab -e
随后在输入界面键入
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

辅助软件的安装

1. 准备

查看自带的openjdk并卸载：
rpm -qa | grep java
rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64
创建安装目录：
mkdir -p /export/softwares #软件包存放目录
mkdir -p /export/servers #安装目录

2. 安装xshell、xftp

xshell命令：
i进入编辑模式
esc 退出编辑模式
:wq 退出并保存
:q! 退出不保存

3. JDK安装

1)查看自带的openjdk并卸载：
rpm -qa | grep java
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
2)创建安装目录
mkdir -p /opt/software #软件包存放目录
mkdir -p /opt/module
3)通过xftp上传文件并解压 JDK 到/opt/module 目录下
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
4)配置 JDK 环境变量
cd /etc/profile.d/
sudo vim /etc/profile.d/my_env.sh
添加如下内容
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
5) source 一下/etc/profile 文件，让新的环境变量 PATH 生效
source /etc/profile

4. Hadoop安装

1)用 XShell 文件传输工具将 hadoop-3.1.3.tar.gz 导入到 opt 目录下面的 software 文件夹下面
2)解压安装文件到/opt/module 下面
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
3)打开/etc/profile.d/my_env.sh 文件
sudo vim /etc/profile.d/my_env.sh
在 my_env.sh 文件末尾添加如下内容：
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
4)让修改后的文件生效
[atguigu@hadoop102 hadoop-3.1.3]$ source /etc/profile
6)测试是否安装成功
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop version

集群配置（暂停）