1.简单集群规划

1.集群规划

规划.png

2.集群搭建步骤：

1.linux集群环境准备

• 三节点(Centos6.9x64) 配置NAT网络制式
  ①.切换NAT模式,创建自定义子网
  

  (注：绝大多数情况第一步就能够解决问题，图例只说明配置方式，具体网段使用可能会有改变)
  

  nat.jpeg
  
  ②.虚拟机配置NAT模式下创建的子网
  

  nat2.jpeg
  
  

  ③.windows VMnet8 适配器重启,适配NAT自定义的子网

  
  
  

  nat3.jpeg

• 修改ip(克隆机mac地址冲突解决)；
  vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0 // 网卡
TYPE=Ethernet 
UUID=05392599-a739-4d03-8453-4747d559204b // 网络节点标识
ONBOOT=yes // 开机启动网卡
NM_CONTROLLED=yes // 运行非root用户控制
PREFIX=24
BOOTPROTO=static // 静态
HWADDR=00:0c:29:02:23:f4 // mac地址
IPADDR=192.168.1.104      // ip
NETMASK=255.255.255.0   // 子网掩码
GATEWAY=192.168.1.2    // 网关
DNS1=192.168.1.2          // 域名解析服务器
DNS2=223.5.5.5
DEFROUTE=yes   
IPV6INIT=no          // 关闭ipv6

注：对应克隆机存在mac冲突问题，手动生成新mac地址，然后替换即可；

vim /etc/udev/rules.d/70-persistent-net.rules

mac.jpeg

vim /etc/sysconfig/network-scripts/ifcfg-eth0 修改HWADDR, 重启生效

• 修改hosts、hostname;
  vim /etc/hosts

192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104

     vim /etc/sysconfig/network

HOSTNAME=hadoop10X

• 创建普通用户admin，并开放sudo权限；
  useradd admin
  passwd admin （密钥）
  vim /etc/sudoers

root    ALL=(ALL)       ALL
admin   ALL=(ALL)       NOPASSWD:ALL

• 配置admin用户ssh免密登录（普通用户操作）；
  su - admin
  ssh-keygen -t rsa
  ssh-copy-id -i admin@hadoop10X (SecureCRT Select All Session)
  ssh hadoop10X (免密切换测试)
• 关闭防火墙与Selinux
  service iptables stop
  chkconfig iptables off
  vim /etc/sysconfig/selinux

SELINUX=disabled

• 配置集群内网NTP(时间同步服务)；
  方案1：快速同步集群时间
     service ntpd stop # 停止所有节点的ntpd服务
     ntpd hadoop104 # hadoop102~3 都手动向hadoop104同步时间
     service ntpd start # 重启ntpd 时间同步服务
     clock --systohc # 系统时钟同步给硬件时钟

    方案2：配置集群内网时间同步服务
      详见 1.1 ntp 集群时间同步服务

ntp.jpeg

• 优化yum源，改为国内镜像；
  详见： 1.2 yum仓库

2.源码编译hadoop2.7.2-src,添加lzo,snappy压缩模块;

      详见： 1.3 hadoop-2.7.2-src源码编译(snappy)

3.简单集群搭建(hadoop102上普通用户admin)

      详见： 1.4 集群搭建

• mr案例演示

4.高可用集群搭建

• hdfs 高可用
• yarn 高可用

5.节点动态退役与服役

6.常用命令

7.常用API

8.hdfs读写流程

9.yarn作业提交流程

10.机架感知

11.文件归档

12.快照

13.回收站