cdh6.0安装部署

1.环境准备

1.1.安装包

下载地址：https://archive.cloudera.com/cdh6/6.0.1/parcels/
https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x86_64/
安装包清单：

系统和iso镜像：

1.2.物理机或虚拟机

cdh集群至少三台物理机或虚拟机，各主机内存在16G以上；
使用虚拟机搭建集群要求：windows宿主机关闭防火墙，不休眠；三台虚拟机桥接；

1.3.远端操作软件推荐xshell

 
 

2.安装准备

2.1.更改系统语言（不推荐）

修改文件vim /etc/locale.conf【重新登录Xshell生效】【centos6：vim /etc/sysconfig/i18n】
LANG=“en_US.UTF-8” 或 LANG=“zh_CN.UTF-8” 或 LANG=“zh_CN.GB2312”
只是让时间显示中文：env LANG=en_US.UTF-8 date

2.2.主机名和集群映射

①各主机设置不同主机名：
vim /etc/hostname【推荐设置为master slave1 slave2】
【7.0的/etc/hostname，对应6.0的/etc/sysconfig/network】
注意：修改后需重启生效；若不想重启并立即生效可执行hostname master后重连 Xshell 即可；
②各主机设置主机名映射：【不推荐添加192.168.1.161 archive.cloudera.com】

127.0.0.1  		localhost
192.168.1.161  	master
192.168.1.162  	slave1
192.168.1.163  	slave2

2.3.禁用透明大页面压缩

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

2.4.优化交换分区

修改文件vim /etc/sysctl.conf 【追加一行】

vm.swappiness = 10

执行生效：sysctl -p /etc/sysctl.conf

2.5.文件限制ulimit

修改文件限制vim /etc/security/limits.conf：【重新登录生效】

* soft noproc 11000
* hard noproc 11000
* soft nofile 4100
* hard nofile 4100 

2.6.制作本地yum源

请参照本人另一篇博客：2.1 服务器rhel6和rhel7配置本地或网络yum源

• ①备份原yum仓库：

  cp -r /etc/yum.repos.d /etc/yum.repos.d.bak
  rm -rf /etc/yum.repos.d/*
  

• ②虚拟机制作yum源：【制作较快，但不推荐】
  【确保vmware软件右下角“光盘”“已连接”】

  mkdir /mnt/cdrom-yum
  mount /dev/sr0 /mnt/cdrom-yum【每次开机需执行】
  df -h  【查看挂载】
  vim /etc/yum.repos.d/yum.repo
  [yum]
  name=cdrom-yum
  baseurl=file:///mnt/cdrom-yum
  enabled=1
  gpgcheck=0
  

  清除yum缓存：yum clean all
  本地yum是否成功：yum list
  可使用仓库：yum repolist
• ③物理机或虚拟机制作本地yum源：【推荐】
  上传iso镜像并挂载：

  mkdir /mnt/cdrom-yum1
  mount /dev/centos7.iso /mnt/cdrom-yum1
  

  将cdrom-yum1发送到每台主机并改名/mnt/cdrom-yum；【其他步骤同上】
• ④物理机或虚拟机制作网络yum源：【可联网时推荐】

  wget -O /etc/yum.repos.d/CentOS