CM&CDH傻瓜安装教程（完美）

虽然我是菜鸟，但是这个安装是自己电脑搭建的，按照步骤下去，一定不会报错。--------有帮助就粉下吧！！！

下载地址

http://archive.cloudera.com/cm5/    CM

http://archive.cloudera.com/cdh5/parcels/5.10.0.41/    CDH

 

 

官网链接

https://www.cloudera.com/downloads.html

 

 

 

一.前期准备

1.准备centos7

2.jdk1.7    (不支持1.8，直接解压配置环境变量即可)

3.MySQL5.5

 

（1）安装mysql5.5，直接在master节点安装

  （2）上传zip，输入 unzip 包名 ，进行解压

  （3）输入 yum -y remove mariadb-libs-1:5.5.44-2.el7.centos.x86_64 解决兼容问题

  （4）输入 rpm -ivh MySQL-server-5.5.54-1.el7.x86_64.rpmMySQL-client-5.5.54-1.el7.x86_64.rpm MySQL-devel-5.5.54-1.el7.x86_64.rpm  ，进行安装

  （5）安装成功后，输入 service mysql start 启动mysql

   (6)输入chkconfig mysql on 设置为开机自启动

   (7)输入mysqladmin -uroot password admin  ，设置密码为admin

   (8)输入mysql -u root -p 进入mysql

   (9)输入create database oozie DEFAULT CHARACTER SET utf8; 建库

    输入create database hive DEFAULT CHARACTER SET utf8; 建库

    输入create database manager DEFAULT CHARACTER SET utf8; 建库

      输入create database hbase DEFAULT CHARACTER SET utf8; 建库

   (7)输入GRANT ALL PRIVILEGES ON *.* TO 'root'@'master' IDENTIFIED BY 'admin' WITH GRANTOPTION; 远程授权

   (8)输入FLUSH PRIVILEGES; 刷新修改

    输入exit 退出

   (9)所有节点执行 useradd --system--home=/opt/cloudera-manager/cm-5.4.3/run/cloudera-scm-server --no-create-home

     --shell=/bin/false --comment "Cloudera SCM User"cloudera-scm  添加用户

   (10)新建/usr/share/java 目录，将mysql驱动包放入，并改名为 mysql-connector-java.jar

4.clouder manager 5.10.0

5.CDH5.10

 

 

二.安装准备

 

1.配置主机名字（每天机器都要配）

vi /etc/hosts   --配置主机映射        我这里配置的master    跟slave

vi /etc/hostname --编写主机名字      IP 主机名（每天都要配置）

 

2.同步时间 （都要）

  我用的是：

sudo date -s "2017-08-05 19:49:00"

还可以用ntp 服务。

 

3.关闭防火墙   （都要）

 

 （1）查看命令：service iptables status

 （2）关闭：chkconfig iptables off

 

4.配置ssh无密码登录  （都要）

 

（1）输入 ssh-keygen -t dsa -P '' -f~/.ssh/id_dsa 创建一个无密码的公钥，

 -t是类型的意思，dsa是生成的密钥类型，-P是密码，’’表示无密码，-f后是密要

 生成后保存的位置

（2）输入 cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys 将公钥id_dsa.pub

 添加进keys，这样就可以实现无密登陆ssh

（3）ssh master    （验证）

     sshslave      （验证）

（4）我自己配了2台，所有都要配置这个。

 

 

5.禁用selinux

 

（1）vi /etc/selinux/config   将SELINUX=enforcing改为SELINUX=disabled，修改完成后重启机器生效。(2台都要)

（2）用getenforce查看   结果Disabled这个。

 

6.所有节点输入 yum -y install chkconfigpython bind-utils psmisc libxslt zlib sqlite

 cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libsredhat-lsb      --下载依赖

 

 

三.CM安装

（1）在master节点输入 /opt/cloudera 新建目录

   上传tar包到新建的目录并解压    （master即为主节点）

（2）输入 vi/opt/cloudera/cm-5.10.0/etc/cloudera-scm-agent/config.ini   修改配置文件中的server.hosts为master，（主节点的主机名）

（3) 将 /opt/cloudera/ 用scp命令同步到所其他节点

     我这里是  scp -r /opt/cloudera  root@slave:/opt/

 (4) 在主节点输入 mkdir /opt/cloudera/parcel-repo/ 新建文件夹，然后输入chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/赋予权限

 (5) 在从节点输入 mkdir /opt/cloudera/parcels/ 新建文件夹，然后输入chown cloudera-scm:cloudera-scm /opt/cloudera/parcels/ 赋予权限

 (6) 将下载好的3个文件（1个json文件和2个parcel文件）上传到主节点的 /opt/cloudera/parcel-repo/ 目录

     1.CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel     

    2.CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel.sha

    3.manifest.json

 

 (7) 进入主节点的 /opt/cloudera/cm-5.10.0/share/cmf/schema/ 目录，输入 ./scm_prepare_database.sh mysql cm -hmaster -uroot -p --scm-hostmaster scm scm scm 初始化数据库

 

 

四.CM启动

   1.主节点中进入 /opt/cloudera/cm-5.10.0/etc/init.d/ 目录，输入./cloudera-scm-server start 启动服务端，再输入./cloudera-scm-agent start 启动agent

   2.在所有从节点进入 /opt/cloudera/cm-5.10.0/etc/init.d/ 目录，输入./cloudera-scm-agent start 启动agent

   3.打开浏览器，访问主节点的7180端口，首次启动需要多等待一些时间才能访问到，因为cloudera manager正在初始化一些数据表（有些浏览器可能会无法访问，这里我用谷歌可以访问到这个页面）

   4.进入页面后，用户名和密码都是 admin，点击登陆

 

五．CDH安装

 

 

剩下一直点继续。

安装完成会显示下面问题

解决：

1．在所有节点输入 sysctl vm.swappiness=10 按照建议，更改交换空间

2．在所有节点输入 vi /etc/sysctl.conf ，在最后加入vm.swappiness=10 ，使配置永久生效

3.在所有节点执行 echo never >/sys/kernel/mm/transparent_hugepage/defrag ，然后点击完成

  

　选安装hbase集群，我遇见的如果选择上面的HBASE，那么后面有一个输入账号密码的位置，然后HUE这个表检测会失败，没找到原因，然后自定义选择hbase就不会出现需要添加这个HUE。

 

 

 内存不足 ，然后HDFS格式化超时。在服务器上应该不会出现这种问题。

谢谢谢大家                           -----------犀牛。学无止境

有用就粉吧。