1.1 说明
CDH官方有具体安装部署文档,及步骤详情
http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/installation_installation.html
此处为第一种方式Cloudera Manager 自动安装
Cloudera Manager 5的要求和支持的版本具体详情
http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cm_ig_cm_requirements.html
1.2 部署前准备工作
做好下述工作,部署起来基本不会出问题
1) 群集主机必须具有正常工作的网络名称解析系统和格式正确的 /etc/hosts 文件。所有群集主机必须正确配置正向和反向主机 DNS 解析。
2) 用root用户操作,集群间ssh无密码登录畅通,从而可以确保创建所需的目录,以及确保流程和文件都由适当的用户所拥有(例如,hdfs 和 mapred 用户)。
a) ssh-keygen -t rsa 生成密匙
b) cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys
c) ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]:~/.ssh/authorized_keys 将匙导入到authorized_keys文件
3) 必须禁用ipv6(重启后生效)。
a) vi /etc/modprobe.conf加上两条
b) alias net-pf-10 off
c) alias ipv6 off
d) 验证禁用ipv6是否成功 ip address list
4) 关闭防火墙。或者开放特定端口,端口太多,直接关闭防火墙。
a) Service iptables stop
b) chkconfig iptables off
5) 对于 RedHat 和 CentOS,每个主机上的 /etc/sysconfig/network 文件必须包含您为该主机设置(或验证)的主机名
6) Cloudera Manager 和 CDH 使用多个用户帐户和组来完成任务。用户帐户和组的设置取决于您选择安装的组件。请勿删除这些帐户或组,也不要修改其权限。确保现有系统不会防止这些帐户和组正常工作。
7) 调整集群时间同步。可做时间服务器(ntp server)
8) 关闭SELinux(重启后生效)。
a) vi /etc/rc.local
b) 设置SELINUX=disabled
9) 最大限度使用物理内存。
a) Vi /etc/sysctl.conf 添加
b) vm.swappiness = 0
c) sysctl -p 更改生效
10) 关闭“透明大页面”,它可能会导致重大的性能问题。
a) 执行echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
b) 将执行命令添加到/etc/rc.local
1.3 部署
1、 下载执行oudera-manager-installer.bin
http://www.cloudera.com/content/www/en-us/downloads/cdh/5-4-8.html 下载网址
wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
chmod u+x cloudera-manager-installer.bin
./cloudera-manager-installer.bin
2、 然后一直下一步,accept等,直到执行完成。
3、 访问http://主机:7108页安装
4、登录 Cloudera Manager Admin Console。默认凭据包括:用户名:admin密码:admin。Cloudera Manager 不支持更改已安装帐户的 admin 用户名。
5、选择要安装的 Cloudera Manager 版本
6、通过主机名和 IP 地址范围查找您指定的群集主机
7、使用 SSH 连接至每台主机以安装 Cloudera Manager Agent 和其他组件
8、(可选)在群集主机上安装 Oracle JDK。如果您选择不安装 JDK,则必须在运行向导之前按照官方说明将其安装在所有群集上
9、提供ssh登录凭据
10、开始安装
11、下载CDH parcel,这个比较大,大概1.5G左右
12、检查主机的正确性,如果有问题,按照检查提示进行解决(按照我部署前的准备工作进行准备,这里不会有问题)。
13、选择要安装的服务,选择所有服务也可以自定义服务,自己试验搭建内存较小,可以选择核心hadoop
14、设置数据库,并测试连接
15、 集群设置,大多都是一些目录的设置,默认即可
16、首次启动
安装完成!
17、安装完成后,里面会有一些错误,按照提示进行修改配置即可(有些不影响使用)。