hadoop再次集群搭建（5）-CDH Install

   登录 http://node1.com:7180/.用户名和密码都是admin。启动服务命令是

service  cloudera-scm-server start

最开始两个页面直接continue,然后会出现下面这个页面：

可以看出我们可以通过Cloudera Manager安装的hadoop组件。

接下来，配置我们要安装的服务器有哪些：

我这里有三台服务器。

接下来选择cdh版本：我选择最新的5.5.1

是否安装jdk:

是否是单用户模式：我选择不适用

单用户模式的详细信息参阅： http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/install_singleuser_reqts.html?scroll=xd_583c10bfdbd326ba--69adf108-1492ec0ce48--7ade

在常规 Cloudera Manager 部署中，管理每个主机上的 Hadoop 进程的 Cloudera Manager Agent 以根用户运行。但是，某些环境限制对根帐户的访问。

Cloudera Manager 5.3 提供了单用户模式，从而满足了对些类环境的要求。在单用户模式中，Cloudera Manager Agent 和所有由 Cloudera Manager 所管理服务运行的进程作为单个配置的用户和组启动。在系统上运行的 Hadoop 进程之间，单用户模式确定 Hadoop 与系统其他部分（隔离以外）之间的隔离的优先级。

在 Cloudera Manager 部署中，单用户模式为全局模式，并且适用于所有由该 Cloudera Manager 实例管理的群集。

默认情况下，单用户为 cloudera-scm，并且在以下部分所描述的配置步骤中假定该用户用单用户。但是，也支持其他用户。如果选择其他用户，请在以下步骤中使用所选用户替换 cloudera-scm，并执行 使用非默认单用户 中的附加步骤。

接下来提供集群的 ssh登录配置。

这里选择了root用户，选择hadoop怎么弄都不行，现在还是没有找到原因。我的hadoop是有user权限的，不知道为什么不行。

接下来就是安装界面：

可以查看details看到运行的脚本。也可以通过网络监控查看下载的速度：

可以看出下载速度其实挺快的。有这个网络监控工具可以大致看到集群内部的连接状态：

安装过程中node2老是报错，经过检查原来是node2上面的hosts文件配置错误，导致不能创建socket。所以集群一定要保证每一台服务器都可以相互通信，这是前提。

然后就是安装cdh了：

下载完成，分发：这里下载只是在server这个机器上下载，下载一次之后分发给其他的服务器：

安装成功之后，进行集群检查，出现如下提示：

第一个警示是：系统的交换参数是60而集群要求的是10，需要进行修改

第二个是 Transparent Huge Page Compaction开启，会极大的影响集群的性能，需要关闭。

修改步骤：

第一个是  /proc/sys/vm/swappiness的值为60 而不是10，而这个文件是不能够修改的。解决方法是修改 /etc/sysctl.conf 增加vm.swappiness=10在最后

第二个直接运行echo never > /sys/kernel/mm/transparent_hugepage/defrag 然后增加同样的命令道系统初始化的脚本中。 /etc/rc.local 加在这个文件里面

然后是设置集群

集群配置我选择默认，感觉node1服务比较多，配置低的盆友可以适当均匀一下。

然后是测试数据库：集群需要使用数据库进行工作，包括hive等进行存储元数据

完成安装：

Charles 于2015-12-17 Phnom Penh

版权说明：

本文由Charles Dong原创，本人支持开源以及免费有益的传播，反对商业化谋利。

CSDN博客：http://blog.csdn.net/mrcharles

个人站：http://blog.xingbod.cn

EMAIL：[email protected]