CDH-5.15.1安装(Ubuntu16.04)

CDH对应jar

https://repository.cloudera.com/artifactory/cloudera-repos/
http://archive.cloudera.com/cdh5/cdh/5/

转摘地址：

Ubuntu16.04上搭建CDH5.14集群

---

前言：

由于搭建的服务器是公司买的阿里云服务器，运维组还做了安全策略配置，导致遇到的坑比自己搭建的服务器多很多。

以下包必须安装，踩了俩天的坑，还是请教大神帮忙解决了。许多报错日志乱七八糟，但究其原因还是缺包。稍后再贴报错。

apt-get install libmysqlclient-dev

pip install mysql-python

apt-get install python-lxml

apache2是为了下载httpd

apt-get install apache2

---

CentOS【没测过】

yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel
yum -y install httpd
yum -y install mod_ssl

---

过程中踩过的坑

• hostname invalid

CDH搭建了三次，这个问题在第二次出现了，环境Centos7+CDH5.14.4。这个问题没有解决，查询了一大堆之后，只是说hostname没有配置好，但我能ping的通，telnet通。之后由于业务原因，要求我换阿里云服务器搭建。我在第三次搭建的时候，我换了Ubuntu16.04+CDH5.15.1。搭建之前我先确保了hostname文件、hosts文件已配置好，能ping通。然后执行python -c 'import socket; print socket.getfqdn(), socket.gethostbyname(socket.getfqdn())，查看是否一致。至此往后搭建就没有出现过这个问题了。
PS：环境最好能一次成功，后来删除增加弄乱了，会非常复杂。

• Unable to verify database connection.

2018-10-22 19:04:45,204 INFO CommandPusher:com.cloudera.cmf.service.AbstractOneOffHostCommand: Unsuccessful 'HueTestDatabaseConnection' 2018-10-22 19:04:45,204 INFO CommandPusher:com.cloudera.cmf.service.AbstractDbConnectionTestCommand: Command exited with code: 1 2018-10-22 19:04:45,205 INFO CommandPusher:com.cloudera.cmf.service.AbstractDbConnectionTestCommand: self._setup(name) File "/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/hue/build/env/lib/python2.7/site-packages/Django-1.6.10-py2.7.egg/django/conf/__init__.py", line 49, in _setup self._wrapped = Settings(settings_module) File "/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/hue/build/env/lib/python2.7/site-packages/Django-1.6.10-py2.7.egg/django/conf/__init__.py", line 128, in __init__ mod = importlib.import_module(self.SETTINGS_MODULE) File "/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/hue/build/env/lib/python2.7/site-packages/Django-1.6.10-py2.7.egg/django/utils/importlib.py", line 40, in import_module __import__(name) File "/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/hue/desktop/core/src/desktop/settings.py", line 326, in "PASSWORD" : desktop.conf.get_database_password(), File "/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/hue/desktop/core/src/desktop/conf.py", line 1695, in get_database_password password = DATABASE.PASSWORD_SCRIPT.getc File "/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/hue/desktop/core/src/desktop/lib/conf.py", line 154, in get return self.config.get_value(data, present=present, prefix=self.prefix, coerce_type=True) File "/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/hue/desktop/core/src/desktop/lib/conf.py", line 270, in get_value return self._coerce_type(raw_val, prefix) File "/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/hue/desktop/core/src/desktop/lib/conf.py", line 290, in _coerce_type return self.type(raw) File "/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/hue/desktop/core/src/desktop/lib/conf.py", line 721, in coerce_password_from_script raise subprocess.CalledProcessError(p.returncode, script) subprocess.CalledProcessError: Command '/opt/cm-5.15.1/run/cloudera-scm-agent/process/51-HUE-test-db-connection/altscript.sh sec-2-password' returned non-zero exit status 126 2018-10-22 19:04:45,205 INFO CommandPusher:com.cloudera.cmf.model.DbCommand: Command 71(HueTestDatabaseConnection) has completed. finalstate:FINISHED, success:false, msg:Unexpected error. Unable to verify database connection. 2018-10-22 19:04:45,275 INFO CommandPusher:com.cloudera.cmf.service.AbstractOneOffHostCommand: Successful 'HiveTestDatabaseConnection' 2018-10-22 19:04:45,275 INFO CommandPusher:com.cloudera.cmf.service.AbstractDbConnectionTestCommand: Command exited with code: 0 2018-10-22 19:04:45,275 INFO CommandPusher:com.cloudera.cmf.service.AbstractDbConnectionTestCommand: + '[' -z /opt/jdk ']' +verify_java_home +'[' -z /opt/jdk ']'

分析过程：首先单独拿出来执行/opt/cm-5.15.1/run/cloudera-scm-agent/process/51-HUE-test-db-connection/altscript.sh sec-2-password，报错，发现JAVA_HOME环境变量找不到，修改之后。再次执行，还是报错，提示密码不能为空。可以判断出来是密码的问题，后面也找到对应文件硬编码文件加了我本机的密码，再次整个执行，报错就简单了，提示缺少包。我的问题是没有安装mysql客户端，也就是前面的apt-get install libmysqlclient-dev。

• 无法接收到agent检测信号

1、Python文件不匹配；参考http://www.cnblogs.com/lion.net/archive/2014/09/02/3950619.html中_io的设置
2、日志文件不存在，在config.ini中把log_file放开
3、/etc/hosts/中主机和ip配置问题
4、防火墙是否关闭，ubuntu是ufw disable
5、端口配置，config.ini中端口是否配置的为7182
6、集群时间是否同步，安装ntp同步时间
7、ssh私钥的问题-----我现在正在查这个问题呢，前边都配完了，但是仍然无法检测到信号，我没有使用私钥，不知道是不是跟这个有关系

上述问题是我百度到的，我第二次安装遇到了这个问题，但没有解决就让我换机子重新搭了，应该是公司运维小伙伴对hosts做了什么手脚。第三次搭建，我先将节点的agent都起好了，才进入安装界面，这样就直接跳过新主机安装，直接进行分配。

20180316120031397.jpg

• CDH安装Kafka初始启动OutOfMemoryError

参考：CDH5.11添加kafka服务及其初始启动OutOfMemoryError失败解决

• Permission deny

这个问题找了好久，定位到sh文件，和执行的文件夹。我的是安装spark2时候，spark用户chmod u+x spark所属文件时候提示权限不足。郁闷了很久，最后无奈找运维，结果运维那边安全限制比较高，开放之后就ok了，真的想打人。