安装路径 A — 通过 Cloudera Manager 自动安装
- Cloudera Manager 自动安装 Oracle JDK、Cloudera Manager Server、嵌入式 PostgreSQL 数据库、Cloudera Manager Agent、CDH、管理服务软件至群集主机,并为 Cloudera Manager Server 和 Hive Metastore 以及 Cloudera Management Service 角色(可选)配置数据库。建议概念部署演示和证明使用路径,但不建议产品部署使用,因为它不能扩展,随着群集的增长可能需要进行数据库迁移。要使用此方法,服务器和群集主机必须满足以下要求:
- 可使用根帐户或具有无密码权限的账户登录 Cloudera Manager Server 主机。
- 允许 Cloudera Manager Server 主机在同一端口具有统一的 SSH 访问,可访问所有主机。更多信息,请参阅 网络和安全要求。
- 所有主机必须具有访问标准软件包存储库以及 archive.cloudera.com 或包含必要安装文件的本地存储库的权限。
对于以上三点要求,我的集群是满足的,之前配置了hadoop用户之间的免秘钥登录,所有主机都可以访问网络。
Pre-requisites: multiple, Internet-connected Linux machines, with SSH access, and significant free space in /var and /opt. 确认之后 三部到位
$ wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
$ chmod u+x cloudera-manager-installer.bin
$ sudo ./cloudera-manager-installer.bin
最后一步的时候,报错,hadoop不在superdoers中。进行配置即可。
增加 hadoop ALL=(ALL) ALL
这一步是赋予用户hadoop所有root的权限。
执行第三步:
接下来一些列对话框,跳过即可,接着就是安装jdk
解决:我删除了
/etc/yum.repos.d/下面的几个repo文件:
-rw-r--r-- 1 root root 195 Oct 19 14:54 cloudera-manager.repo
-rw-r--r-- 1 root root 195 Oct 19 14:54 cloudera-manager.repo.rpmnew
-rw-r--r-- 1 root root 290 Dec 10 02:21 cloudera-manager.repo.rpmsave
然后重新安装就回复正常了,可能是之前我独自下载了一个repo文件的问题。
然后怎么知道正在安装呢?我想的是安装流量监控软件看网络是否有下载网速。
iptraf软件是一个监控网络的好工具,安装在这里不在介绍,点击这个链接查看详细步骤。
我得到了我的机器的下载jdk的网速:
可见网速十分缓慢。可能是办公室网络比较慢,用的源是越南的,而我所在地没有源,所以速度也就只能这样了。
到这里想起月凤先生讲过的一些道理。顺势而为,顺其自然是最好的方式,网速既然只有这样,那就这样最好。请耐心等待变盘的时刻。
耐心等待下终于安装好了,接下来安装server,中间等待的时间可能有10多分钟,一定要有耐心,不然中途退出就不好了。这个安装界面因为进度条显示不是实时的,总怀疑是不是出了什么问题,所以在这之前安装一个网络监控软件是一个很不错的选择,对于我这种需要安全感的人而言,看到网络tcp保持连接有网速,就觉得安心,也就不会怀疑停在这个界面是不是出了什么问题。
当然,另外一个好的选择就是
tail -f /var/log/cloudera-manager-installer/3.install-cloudera-manager-server.log 查看日志,不过也不是实时的貌似。
+------------------ Installing ------------------+
| . Cloudera Manager Server . |
| 40% |
| cloudera-manager-server |
| |
+------------------------------------------------+
这个时候的网速还是很快的:
可能因为cdh太大,还是要等待很长时间才会完成。粗略计算:jdk130MB+server
Total download size: 481 M 一共需下载600MB,需要二十分钟到三十分钟。
完成安装之后:
+--------------------------------------------------------- Next step ----------------------------------------------------------+
| Point your web browser to http://node1.com:7180/. Log in to Cloudera Manager with username: 'admin' and password: 'admin' to |
| continue installation. (Note that the hostname may be incorrect. If the url does not work, try the hostname you use when |
| remotely connecting to this machine.) If you have trouble connecting, make sure you have disabled firewalls, like iptables. |
|------------------------------------------------------------------------------------------------------------------------------|
| < OK > |
+------------------------------------------------------------------------------------------------------------------------------+
看到node1.com,我们需要在其他机器上打开这个链接,因此在本地计算机配置hosts文件加入:
192.168.122.128 node1.com
192.168.122.129 node2.com
192.168.122.130 node3.com
打开链接,显示登录框,表示我们安装成功:
接下来进行CDH的安装了。