大数据生产环境部署 CDH5
大数据平台生产环境部署
CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。
ClouderaManager（本文以下简称为CM）则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化.
环境要求
Cloudera Manager5安装遇到很多的问题，安装ClouderaManager如果不注意，会成为一部血泪史。为了避免多次、重复安装不成功，所以你需要具备以下条件。
1. 内存要足够大，主机必须至少有10 GB的RAM；
2. 必须具有root或无密码sudo访问主机；
3. 如果使用root，则主机必须接受相同的root密码；
4. 主机必须具有Internet访问权限才能使向导从中安装软件 archive.cloudera.com；
5. 运行支持的操作系统：
软件下载与安装
CM下载地址：http://archive.cloudera.com/cm5/cm/5/
CDH下载地址：http://archive.cloudera.com/cdh5/parcels/5.11/
准备工作（系统环境准备）
建议：以下所有操作均在root下完成，否侧，出现错误，10个有9个都是目录权限问题，根据log查错即可。
1.打通SSH，设置ssh无密登陆（所有节点）
（1）进入到我的home目录
cd ~/.ssh
（2）生成公钥和私钥：
ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免密登录的目标机器上（别忘了copy给本机一份）
ssh-copy-id dt013190
ssh-copy-id dt013191
...
ssh-copy-id dt013199
最后通过ssh ip 命令可以登录到其他服务节点及视为成功。（提示：退出使用 exit 命令）
2.JDK安装
首先卸载自带的OpenJdk，有些linux会默认自带较低版本的jdk如Centos。
使用命令rpm -qa | grep java查询java相关的包，命令rpm -e --nodeps包名并卸载它们，如果什么都没有则没有默认安装的jdk，直接进行下一步即可。
去Oracle的官网下载jdk的rpm安装包，并使用rpm -ivh 包名安装之。
这里不建议使用最新版本的jdk，因为oracle官网更新的jdk版本要高于CDH官方推荐的最高版本，会出现兼容性警告。
3.关闭防火墙以及SELINUX
在所有的节点上执行，因为涉及到的端口太多，临时关闭防火墙是为了安装起来更方便。安装完毕后可以根据需要设置防火墙策略，保证集群安全。
关闭防火墙（重启生效）（所有节点）
chkconfig iptables off 
关闭SELinux（重启生效）（所有节点）
(SELinux主要作用就是最大限度地减小系统中服务进程可访问的资源（最小权限原则）)
vi /etc/selinux/config
SELINUX=disabled
重启后使用如下命令检查一下：sestatus –v 
出现disable即为成功
4 配置hosts
vi /etc/hosts
5.配置NTP时间同步服务
6.创建CM用的数据库
Mysql已经安装,
--hive数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci ;
--集群监控数据库
create database reoprt DEFAULT CHARSET utf8 COLLATE utf8_general_ci ;
--hue数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
-- oozie数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
Cloudrea Manager安装
创建cloudera-scm用户（每个节点都要创建）
useradd --system --home-dir /opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
安装Cloudera Manager Server
首先需要安装Python，CentOS7默认安装了Python2.7
主节点解压安装cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz到/opt文件夹
tar -xvf cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz -C /opt
将MySQL驱动复制到/opt/cm-5.12.1/share/cmf/lib中
配置MySQL的远程访问权限
grant all privileges on *.* to 'root'@'%' identified by 'root';
flush privileges;
1
初始化CM的元数据库
/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -uroot -proot -h127.0.0.1(或者远程数据库的地址) --scm-host cdh1 scm scm scm
mysql指定数据库类型，cm为元数据库名，-u为数据库用户名，-p为数据库密码，-h为数据库地址，–scm-host 为cm主节点地址，最后三个scm不用理会，是从官网直接上copy过来的
执行完毕后如果报Access denied，检查一下是否启用了global id，如果启用了，禁用即可。原因在于上述脚本执行语句时在建表过程中会执行select命令，而启用了global id的情况下不允许这种操作。
建库成功后会发现MySQL的用户表里多出一个名为scm的用户，host为CM主节点的host，执行
use mysql;
update user set host='%' where User='scm';
grant all privileges on *.* to 'scm'@'%';
flush privileges;
安装Cloudera Manager Agent
修改/opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。
将主节点的/opt/cm-5.12.1同步到其它节点
scp /opt/cm-5.12.1 root@cdh2:/opt
将Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（如没有parcel-repo，需要手动创建）
cp CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel /opt/cloudera/parcel-repo/
cp CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
cp manifest.json /opt/cloudera/parcel-repo/
启动Cloudera Manager Server
创建以下三个文件夹
mkdir -p /var/lib/cloudera-scm-server
mkdir -p /var/lib/cloudera-scm-agent
mkdir -p /var/lib/cloudera-scm-server-db/data
/opt/cm-5.12.1/etc/init.d/cloudera-scm-server start #启动成功后等5分钟左右查看进程会出现7180端口
启动Cloudera Manager Agent
所有节点通过/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start启动Agent服务。 （所有节点都要启动Agent服务，包括主节点）
查看进程出现9000等端口代表启动成功
启动CM
在浏览器访问http://IP:7180输入账号密码（初始均为admin）出现如下界面：
点继续，然后根据自己的需要来配置相关项，
启动成功后的界面：
启动hue
遇到的问题
1免密登陆失败
两台服务器之间免密登陆IP1能连到IP2,但是从IP2连不到IP1
解决办法:ssh免密登陆重新配置,使得IP2可免密登陆IP1
2创建数据库是hue报错
解决方法:
在/usr/lib64/mysql中加入libmysqlclient.so.18 改成libmysqlclient.so.18.0.0
然后 ln -sf libmysqlclient.so.18 libmysqlclient.so.18.0.0
然后
vi /etc/ld.so.conf
后面增加一条记录：
/usr/lib64/mysql （libmysqlclient_r.so.18 和libmysqlclient.so.18.0.0所在目录）
保存后执行命令使之生效：ldconfig
重新启动服务