centos7 cdh安装记录

我在安装centos的时候遇到了不少坑，这里简单记录一下。以备后用。

安装cdh的过程大致可理解为，先在一台机器上安装cloudera manager server。然后再把cloudera manager 的 agent分发到各个节点。这样就可以依赖clouder manager去管理集群中的各个节点。最后在cloudera manager里面去选择需要安装的hadoop服务。推荐在线安装，虽然很多问题需要去解决，但起码能更清晰的知道每一步该做什么。

安装流程网上太多了，我自己也不见得写得比人家好。自己根据版本去搜索一个，这里推荐一个我参考的离线安装版本-链接。

我是在线安装的过程，所以抽取了一些步骤。有些东西是不需要的，比如配置ssh免密钥登录，这个就不需要。到时候直接用root账户安装就好了。或者有sudo权限的user用户。

所以我的安装流程大致为：

安装mysql数据库，供cloudera manager server使用；
下载cdh安装包，mysql-connector-java.jar 连接库，配置安装文件；
在每个节点安装cloudera-manager-agent，这步可提前安装。因为在后面的图形界面里安装费时很长，直接yum install cloudera-manager-agent就好了。
启动clouder-scm-server；
进入cloudera manager页面，安装cdh。

cloudera manager的安装包可从这里下载：
http://archive.cloudera.com/cm5/cm/5/
里面有cloudera不同的版本。centos7就明显的表示为操作系统。还有一个参数，el6/el7也表示操作系统的内核。el6就能和centos6兼容，因为centos6自带有python2.6以及相关的内核。不能简单安装一个python2.7去编译支持centos7的cloudera包，因为内核也要升级。同理，el7的包只能在centos7上进行安装。所以，如果你的集群服务器不是同一个版本。就会一直卡在这个问题：

安装失败。 无法接收 Agent 发出的检测信号。
请确保主机的名称已正确配置。
请确保端口 7182 可在 Cloudera Manager Server 上访问（检查防火墙规则）。
请确保正在添加的主机上的端口 9000 和 9001 空闲。
检查正在添加的主机上 /var/log/cloudera-scm-agent/ 中的代理日志（某些日志可在安装详细信息中找到）。
如果在 Cloudera Manager 中启用为代理使用 TLS 加密（管理 -> 设置 -> 安全），请确保 /etc/cloudera-scm-agent/config.ini 在正在添加的主机上有 use_tls=1。重启相应的代理，并单击此处的重试链接。

我因为两个原因在这个问题上卡了很久。其中一个就是我的主节点是centos7，另一个节点是centos6。log倒是有提示python2.6不能连接到目标主机，目标主机是python2.7的编译版本。另一个原因说起来都想哭，记住，所有linux服务器，不要以下划线命名主机名。比如datanode_01这种绝对不允许。虽然大多数linux服务不会因为这个原因出错。但cdh的安装会。而且，cdh5.10的log不提示原因，就一直卡在上面的错误。后来我回退到cdh5.5再安装一次才发现这个错误是由linux主机名不能有下划线这个原因引起的。

还遇到不少错误，这里把几个费劲的记录一下：

编辑参数的时候提示：

Error while committing the transaction

这个原因是数据库编码照成的，可以作如下操作。

alter table CONFIGS         modify `VALUE` longtext character set utf8 collate utf8_general_ci;
alter table CONFIGS_AUD     modify `VALUE` longtext character set utf8 collate utf8_general_ci;
alter table GLOBAL_SETTINGS modify `VALUE` longtext character set utf8 collate utf8_general_ci;
alter table USER_SETTINGS   modify `VALUE` longtext character set utf8 collate utf8_general_ci;
alter table AUDITS modify `MESSAGE` longtext character set utf8 collate utf8_general_ci;
alter table REVISIONS modify `MESSAGE` longtext character set utf8 collate utf8_general_ci;

hive数据库启动不了提示如下错误

MetaException(message:Version information not found in metastore. )
Either your MetaData is incorrect, or you need to enable "datanucleus.autoCreateTables"

这个错误需要在hive的配置里作如下修改，可通过图形界面搜索，设置：

hive.metastore.schema.verification=false
datanucleus.autoCreateSchema=true

hive数据库一定要latin，其他库选择utf8.
cloudera-scm-agent 启动或激活的时候报如下错误：

ERROR    Caught unexpected exception in main loop.
Traceback (most recent call last):
  File "/usr/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.10.0-py2.7.egg/cmf/agent.py", line 710, in __issue_heartbeat
    self._init_after_first_heartbeat_response(resp_data)
  File "/usr/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.10.0-py2.7.egg/cmf/agent.py", line 947, in _init_after_first_heartbeat_response
    self.client_configs.load()
  File "/usr/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.10.0-py2.7.egg/cmf/client_configs.py", line 682, in load
    new_deployed.update(self._lookup_alternatives(fname))
  File "/usr/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.10.0-py2.7.egg/cmf/client_configs.py", line 432, in _lookup_alternatives
    return self._parse_alternatives(alt_name, out)
  File "/usr/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.10.0-py2.7.egg/cmf/client_configs.py", line 444, in _parse_alternatives
    path, _, _, priority_str = line.rstrip().split(" ")
ValueError: too many values to unpack

这个错误我是通过如下方法解决的（参考了这篇文章）：
a. 找到下面这个文件；

/usr/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.10.0-py2.7.egg/cmf/client_configs.py

b. 好习惯是先备份这个文件；
c. 把该文件从第443行到459行替换成如下内容：

if line.startswith("/"):
        if len(line.rstrip().split(" "))<=4:
          path, _, _, priority_str = line.rstrip().split(" ")

          # Ignore the alternative if it's not managed by CM.
          if CM_MAGIC_PREFIX not in os.path.basename(path):
            continue

          try:
            priority = int(priority_str)
          except ValueError:
            THROTTLED_LOG.info("Failed to parse %s: %s", name, line)

          key = ClientConfigKey(name, path)
          value = ClientConfigValue(priority, self._read_generation(path))
          ret[key] = value

        else:
          pass
    return ret

d. 重启cloudera-scm-agent 服务。

centos7 cdh安装记录

你可能感兴趣的:(centos7 cdh安装记录)