hdp 2.6.4 扩容增加数据节点

标签(空格分隔): 大数据平台构建


  • 一: 新增节点的数据系统初始
  • 二: 增加数据节点的步骤

一:新增节点的数据系统初始

1.1 系统主机名:

系统:RHEL7.5x64
cat /etc/hosts

172.17.100.21   ZY-001.flyfish
172.17.100.22   ZY-002.flyfish
172.17.100.23   ZY-003.flyfish
172.17.100.24   ZY-004.flyfish

ZY-004.flyfish 作为增加节点

hdp 2.6.4 扩容增加数据节点_第1张图片

1.2 新增节点关闭防火墙与selinux

yum install -y firewall* iptable* 

  (1) 关闭firewalld

 systemctl stop firewalld.service
 systemctl disable firewalld.service
 firewall-cmd --state

 (2) 关闭iptables 
 iptables -F
 systemctl stop iptables.service 
 service iptables save
 systemctl disable iptables.service 

 (3) 禁用 selinux 

  sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config  
  setenforce 0
  getenforce 0
  sestatus

  重启机器

  reboot

hdp 2.6.4 扩容增加数据节点_第2张图片

1.3 无密钥登录

做root用户无密钥认证

 ssh-keygen ---一直敲回车到最后

 cat id_rsa.pub >> authorized_keys 

 将所有的公钥导入authorized_keys  分发到 所有的 机器的.ssh/ 下面

 然后测试

 ---

 ssh zy-004.flyfish

hdp 2.6.4 扩容增加数据节点_第3张图片

hdp 2.6.4 扩容增加数据节点_第4张图片

hdp 2.6.4 扩容增加数据节点_第5张图片

1.4 ZY-004.flyfish时间同步 ZY-001.flyfish

login:

   ZY-002.flyfish

scp /etc/chrony.conf ZY-004.flyfish:/etc/

login:
  ZY-004.flyfish

  service chronyd stop 
  service chronyd start
  chkconfig chronyd on 

  chronyc sources -v 

image_1ce933r041kne8ieisc1hsnq0o2a.png-115kB

hdp 2.6.4 扩容增加数据节点_第6张图片

hdp 2.6.4 扩容增加数据节点_第7张图片

1.5 句柄数更改

login:  

ZY-001.flyfish

scp /etc/security/limits.conf zy-004.flyfish:/etc/security/

image_1ce93kvr817sp1a1u1c7q15dkjm4c.png-56.2kB

1.6 同步yum源

cd /etc/yum.repos.d/
scp ambari.repo hdp.gpl.repo hdp.repo ZY-004.flyfish:/etc/yum.repos.d/

login: 

ZY-004.flyfish

mount /dev/cdrom /media/
yum makecache

image_1ce94bn4amqkuan1k2u9t3je6t.png-114.1kB

hdp 2.6.4 扩容增加数据节点_第8张图片

1.7 安装 jdk

login:

ZY-001.flyfish

scp jdk-8u162-linux-x64.tar.gz ZY-004.flyfish:/root

scp /etc/profile ZY-004.flyfish:/etc/

login:

ZY-004.flyfish

tar -zxvf jdk-8u162-linux-x64.tar.gz -C /training/

cd /training 

ln -s jdk1.8.0_162/ jdk

source /etc/profile 

java -version 

hdp 2.6.4 扩容增加数据节点_第9张图片

1.8 : 关于补丁包

libtirpc-0.2.4-0.10.el7.x86_64.rpm  
libtirpc-devel-0.2.4-0.10.el7.x86_64.rpm
---
scp libtirpc-* ZY-004.flyfish:/root

login 
ZY-004.flyfish

rpm -ivh libtirpc-* 

hdp 2.6.4 扩容增加数据节点_第10张图片

二: 增加数据节点的步骤

hdp 2.6.4 扩容增加数据节点_第11张图片

hdp 2.6.4 扩容增加数据节点_第12张图片

hdp 2.6.4 扩容增加数据节点_第13张图片

hdp 2.6.4 扩容增加数据节点_第14张图片

hdp 2.6.4 扩容增加数据节点_第15张图片

hdp 2.6.4 扩容增加数据节点_第16张图片

hdp 2.6.4 扩容增加数据节点_第17张图片

hdp 2.6.4 扩容增加数据节点_第18张图片

hdp 2.6.4 扩容增加数据节点_第19张图片

hdp 2.6.4 扩容增加数据节点_第20张图片

hdp 2.6.4 扩容增加数据节点_第21张图片