基于ambari的大数据平台搭建-01环境初始化
基于ambari的大数据平台搭建-01环境初始化
0. 服务器准备
个人搭建学习用，所以用VMware建5台虚拟机作为服务器集群
- 安装VMware（略）。
- 新建5台虚拟机（略）,建议先装一台，配置后克隆节省时间。
1.主机名及ip规划
- 在本地通过cmd输入ipconfig查看主机默认网关与子网掩码
ipconfig
#得到网关及子网掩码信息
以太网适配器 以太网:
连接特定的 DNS 后缀 . . . . . . . :
本地链接 IPv6 地址. . . . . . . . :XXX
IPv4 地址 . . . . . . . . . . . . : XXX
子网掩码 . . . . . . . . . . . . : 255.255.255.0
默认网关. . . . . . . . . . . . . : 192.168.31.1
- ip规划
| 主机名 | ip |
|---|---|
| ambari1 | 192.168.31.101 |
| ambari2 | 192.168.31.102 |
| ambari3 | 192.168.31.103 |
3.进入安装好的虚拟机，修改虚拟器IP地址
vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=dhcp
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=d91763a4-c870-4ee7-bdd1-0a16f78660ea
DEVICE=ens33
# 将ONBOOT改为yes,添加ip地址、网关以及子网掩码配置
ONBOOT=yes
IPADDR=192.168.31.101
GATEWAY=192.168.31.1
NETMASK=255.255.255.0
# 重启network
systemctl restart network
5.修改hostname
vi /etc/hostname
# 将主机名改为ambari1
6.配置hosts主机名识别
vi /etc/hosts
# 添加主机名与ip
192.168.31.101 ambari1
192.168.31.102 ambari2
192.168.31.103 ambari3
192.168.31.104 ambari4
192.168.31.105 ambari5
7.编辑网络配置文件
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=
3.关闭防火墙及seliunx
#查看防火墙状态
firewall-cmd --state
#停止firewall
systemctl stop firewalld.service
#禁止firewall开机启动
systemctl disable firewalld.service
#进入到/etc/selinux/config文件将SELINUX=enforcing改为SELINUX=disabled
vi /etc/selinux/config
4.重启
sync
reboot
5.验证
#查看主机名
hostname
#查看ip
ip addr
#查看是否能ping通外网
ping 192.168.132.2
6.软硬件要求
1.需要yum和rpm(RHEL/CentOS/Oracle Linux)
2.需要zypper 和 php_curl (SLES)
3.需要apt (Debian/Ubuntu)
4.需要scp, curl, unzip, tar, and wget
5.需要OpenSSL (v1.01, build 16 or later)
6.需要Python 2.7.X(以上软件没有的需要提前安装)
7.Ambari主机应具有至少1 GB内存，500M可用内存。20g磁盘空间。
# 查看内存
free -m
8.建议的最大打开文件描述符数为10000或更多。要检查为最大打开文件描述符数设置的当前值，请在每个主机上执行以下shell命令：
ulimit -Sn
ulimit -Hn
# 如果输出没有10000 可以设置为10000
ulimit -n 10000
8.启用ntp
yum install -y ntp
systemctl enable ntpd
- 检测umask值
umask
#如果不是0022
echo umask 0022 >> /ect/profile
6.配置JDK
1.安装前检查是否有Jdk
rpm -qa | grep java
#卸载
rpm -e | grep java
2.下载jdk
#查看版本配套jdk
https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersions
# 准备安装HDP3.1.4 只支持java8
# 在JAVA官网下载即可
3.将下载好的JDK文件上传到Linux系统/opt/software
#创建文件夹用于
mkdir -p /opt/software
mkdir -p /opt/module
5.解压jdk到/opt/module
tar -zxvf jdk-8u241-linux-x64.tar.gz -C /opt/module/
6.配置java环境变量=/opt/module/jdk1.8.0_241
#修改配置文件
vi /etc/profile
#在文件最后加入
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
#使配置生效
source /etc/profile
7. 克隆其他机器
克隆完成后需修改主机名及ip地址
8.附录-其他相关命令
#查看ip及uuid等信息
ip addr
#查看网卡物理地址
nmcli con show
#如果uuid与网卡不匹配 可用命令查看网卡对应的uuid
uuidgen ens33
#重启网络配置
systemctl restart network
#如遇错误可查看日志
cat /var/log/meesage | grep network
dbus-send --system --print-reply --dest=com.redhat.ifcfgrh1 /com/redhat/ifcfgrh1 com.redhat.ifcfgrh1.GetIfcfgDetails string:"/etc/sysconfig/network-scripts/ifcfg-ens33" 2>/dev/null