安装方式B使用从ClouderaManager依赖库下载的包进行安装。安装JDK、Agents、CDH、Managed Service有多种方式可供选择:
在开始安装之前,需要先安装好Cloudera Manager
注:CDH集群部署不支持在docker容器中进行
a.使用单用户模式进行配置(单用户模式:在单用户模式下,Cloudera Manager Agent和所有的流程由服务由Cloudera Manager 开始作为一个单独的配置管理用户和组。)
b.在RHEL 5和CentOS 5 系统中确认已经安装Python 2.6(CDH5需要Python支撑)
c.安装并配置外部数据库(Oracle、MySQl或者PostgreSQL)
http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_installing_configuring_dbs.html#concept_i2r_m3m_hn
Cloudera建议安装产品使用包管理工具,如RHEL系统兼容的yum
SLES使用zypper, Debian/Ubuntu 使用apt-get. 这些工具依赖于repositories 文件指定的路径来安装软件。比如说,Cloudera维护着网络可以访问的repositories 软件库,用来供CDH和Cloudera Manager安装。有以下两种安装策略可供选择:
当使用一个内部存储库时,必须将repo或list文件复制到Cloudera Manager服务器主机上,并更新存储库属性指向内部存储库url(指的是安装界面上需要输入的repo库地址)。
1.下载对应的Cloudera Manager repo文件(cloudera-manager.repo)
RHEL/CentOS 6: https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo
2.拷贝这个文件到 /etc/yum.repos.d/
路径下
这一步在Cloudera Manager 的主机上安装 JDK 和Cloudera Manager Server 包
可以使用repository依赖库进行在线安装,也可以在Oracle官网自己下载JDK安装包进行安装
$ sudo yum install oracle-j2sdk1.7
1.安装Cloudera Manager Server 包,需要提前在本地host主机上安装好数据库,或者可以通过网络访问一个数据库。这个host主机不需要是集群中的一个成员,在Cloudera Manager Server主机上,输入如下的命令对Cloudera Manager 包进行安装:
$ sudo yum install cloudera-manager-daemons clodera-manager-server
2.如果你选择了Oracle 数据库用于Cloudera Manager,在CM server的host主机上编辑 /etc/default/cloudera-scm-server
文件。定位以export CM_JAVA_OPTS
开头的那一行,将-Xmx2G
改为-Xmx4G
你可以使用Cloudera Manger 安装Oracle JDK,Cloudera Manager Agent,CDH 和一些管理服务安装包,当然也可以手动进行安装。
注意:如果你想启动Cloudera Manager Server 和 Agent,不能在这之前启动HDFS、MapReduce。
1.在Cloudera Manager Server主机上运行如下的命令:
sudo service cloudera-scm-server start
如果没有正常启动,查看链接定位问题:
http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_troubleshooting.html#cmig_topic_19
1.等待几分钟让Cloudera Manager Server完全启动,输入tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
可以观察启动过程。
如果Cloudera Manager Server没有启动,点击 http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_troubleshooting.html#cmig_topic_19 查看安装和升级问题定位
2.在浏览器中输入http://Server host:7180
,Server host是运行CM的主机的限定域名或者ip地址。
3.使用username:admin psw:admin登陆
4.出现用户条款页面, 接受,下一步
出现3个版本
基本版 Flex版 企业数据中心版
选择基本版就好了
下一步
选择哪些主机将CDH和管理服务
1.搜索并选择要安装服务的主机
举例:
范围定义 | 匹配的主机 |
---|---|
10.1.1.[1-4] | 10.1.1.1, 10.1.1.2, 10.1.1.3, 10.1.1.4 |
host[1-3].company.com | host1.company.com, host2.company.com, host3.company.com |
host[07-10].company.com | host07.company.com, host08.company.com, host09.company.com, host10.company.com |
点击搜索,勾选需要安装服务的主机
2.点击继续 出现集群安装选择依赖库的界面
注意: 你不能使用Parcels包和tar包在同一集群安装软件。如果你已经安装了CDH和服务安装包,将不能继续使用parcels安装方式进行
1.选择软件安装方式(Parcles)和对应的版本号
sudo service cloudera-scm-agent restart
:2.如果你已经在集群上所有的主机上手动安装了Agent和JDK
3.选择安装Oracle Java SE开发工具包(JDK)
如果您已经安装了JDK,不选择这个选项
4.选择单用户模式(可选),点击“Continue”继续
5.指定主机的一下安装参数
root用户的密码在本步中不会被保存,所以你安装完之后,可以修改用户密码,不会对这些软件的使用造成任何影响
6.点击“Continue”
parcel安装过程中会进行相应的提示
7.如果安装完成,点击“Finish”
后期更新