win10虚拟机搭建 Hadoop集群

1 在虚拟机安装centos7

2 安装网络工具

centos7最小化安装没有 ifconfig命令
yum -y install net-tools

3 centos7 修改网卡名字为eth0

修改网卡名字为eth0

4 修改主机名

vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=node1

最后还要分别 修改 /etc/hostname

5 修改 IP 地址

vim /etc/sysconfig/network-scripts/ifcfg-eth0

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="eth0"
UUID="41203fac-73cf-4b2d-bd9d-d7c5f72d7aa8"
DEVICE="eth0"
ONBOOT="yes"
IPADDR="192.168.73.101"
NETMASK="255.255.255.0"
GATEWAY="192.168.73.2"

6 设置 DNS 解析

vi /etc/resolv.conf

# Generated by NetworkManager
nameserver 192.168.73.2

7 修改 hosts 文件

vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.73.101 node1
192.168.73.102 node2
192.168.73.103 node3
192.168.73.104 node4

8 将yum源改为阿里云

改变yum源为阿里云

9 安装配置JDK

9.1 检查是否已经安装

rpm -qa | grep jdk

9.2 安装JDK 包

rpm -i /PATH/TO/PACKAGE_FILE
-h: 以#显示进度；每个#表示2%; 
-v: 显示详细过程 
-vv: 更详细的过程
rpm -ivh /PATH/TO/PACKAGE_FILE 
–nodeps: 忽略依赖关系； 
–replacepkgs: 重新安装，替rpm换原有安装； 
–force: 强行安装，可以实现重装或降级；

rpm -ivh --prefix=/usr/apps jdk-8u181-linux-x64.rpm

9.3 配置环境变量

配置环境变量：编辑/etc/profile 或者 ~/.bash_profile
export JAVA_HOME=/usr/apps/jdk1.8.0_181-amd64
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

9.4 让 vim 显示行号

10 克隆节点

10.1 修改新节点的IP

vim /etc/sysconfig/network-scripts/ifcfg-eth0
删掉HWADDR（物理地址）和UUID，重启系统会自动创建，根据个人情况修改成如下配置

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="eth0"
DEVICE="eth0"
ONBOOT="yes"
IPADDR="192.168.73.102"
NETMASK="255.255.255.0"
GATEWAY="192.168.73.2"

10.2 修改主机名

vim /etc/sysconfig/network

# Created by anaconda
NETWORKING=yes
HOSTNAME=node2

10.3 其他节点进行类似的操作

11 配置免密登录

11.1 生成密钥对

ssh-keygen

11.2 将密钥对配置到node1,node2,node3,node4

12 添加hadoop 用户

四个节点同时操作

useradd hadoop
passwd hadoop

12.1 为 Hadoop 用户添加sudo 权限

vim /etc/sudoers

13 配置hadoop

13.1 安装文件上传工具

yum -y install lrzsz

13.2 在 /home/hadoop 目录下新建apps 文件夹，将源码压缩包上传

13.3 解压

tar -zxvf hadoop-2.7.6.tar.gz

13.4 配置 hadoop 环境变量

sudo vim /etc/profile

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

将配置文件拷贝到node2,node3,node4
sudo scp /etc/profile node2:/etc/

同时操作所有节点，重新加载配置文件
source /etc/profile

13.5 配置各类 xml 文件

配置文件所在目录 /home/hadoop/apps/hadoop-2.7.6/etc/hadoop

13.5.1 配置 hadoop-env.sh

13.5.2 配置 core-site.xml

<configuration>

<property>
<name>fs.defaultFSname>
<value>hdfs://node1:9000value>
property>

<property>
<name>hadoop.tmp.dirname>
<value>/home/hadoop/hdpdatavalue>
property>

configuration>

13.5.3 配置 hdfs-site.xml

<configuration>

<property>
<name>dfs.replicationname>
<value>2value>
property>

configuration>

13.5.4 配置 mapred-site.xml.template

<configuration>

<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>

configuration>

重命名 mv mapred-site.xml.template mapred-site.xml

13.5.5 配置 yarn-site.xml

<configuration>


<property>
<name>yarn.resourcemanager.hostnamename>
<value>node1value>
property>

<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>


configuration>

13.6 一键启动配置

/home/hadoop/apps/hadoop-2.7.6/etc/hadoop/slaves

node2
node3
node4

13.7 把配置文件分发到各个节点

scp -r apps node2:/home/hadoop/

13.8 格式化 NameNode

hadoop namenode -format

13.9 测试安装

13.9.1 启动HDFS start-dfs.sh

发现报错：

[hadoop@node1 ~]$ start-dfs.sh
Starting namenodes on [node1]
node1: chown: changing ownership of ‘/home/hadoop/apps/hadoop-2.7.6/logs’: Operation not permitted
node1: starting namenode, logging to /home/hadoop/apps/hadoop-2.7.6/logs/hadoop-hadoop-namenode-node1.out
node1: /home/hadoop/apps/hadoop-2.7.6/sbin/hadoop-daemon.sh: line 159: /home/hadoop/apps/hadoop-2.7.6/logs/hadoop-hadoop-namenode-node1.out: Permission denied

解决方法：将hadoop主目录授权给当前用户(各节点都操作一次)
sudo chown -R hadoop /home/hadoop
再次启动hdfs

13.9.2 启动YARN

13.9.3 网页管理界面

将node1,node2,node3,node4的IP地址添加到 windows 的 hosts 文件
前提要关闭 节点上的防火墙，关闭防火墙开机启动 centos7关闭防火墙

启动： systemctl start firewalld
关闭： systemctl stop firewalld
查看状态： systemctl status firewalld 
开机禁用  ： systemctl disable firewalld
开机启用  ： systemctl enable firewalld

HDFS管理界面 http://node1:50070

Mapreduce 管理界面 http://node1:8088