在虚拟机中搭建CDH版本的大数据平台
研究生期间有幸接触到当前流行大数据，好在学校在硬件上还比较给力，我有一台光硬盘就48T的服务器。于是在服务器上搭建了CDH版本的大数据平台。闲话少说，此教程针对大数据平台搭建的研究，并有一定的Linux命令基础，或者搭建过apache版本的hadoop。
所需文件放在我的百度网盘大数据相关文件中，密码是g7as
cloudera-manager-el6-cm5.3.3_x86_64.tar.gz
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha
manifest.json
jdk-8u77-linux-x64.rpm
mysql-connector-java-5.1.13-bin.jar
下面就开始分享我的搭建过程
1.下载CentOS-6.5-x86_64-bin-DVD1.iso，安装到虚拟机中，作为主机n1
2.将下载好的jdk-8u77-linux-x64.rpm放入安装好centos操作系统的n1节点中，使用rpm -ivh jdk-8u77-linux-x64.rpm 实现自动安装jdk 接下来修改配置文件 使用命令vi /etc/profile打开配置文件，添加如下配置
exportJAVA_HOME=/usr/java/jdk1.8.0_77
exportJRE_HOME=$JAVA_HOME/jre
exportPATH=$JAVA_HOME/bin:$PATH 最后保存配置文件，注意 source /etc/profile 算是一个激活吧，不然重开机后可能没有成功修改配置文件
3.修改配置文件
查看命令 cat /proc/sys/vm/swappiness 一般情况下都是60
vi /etc/sysctl.conf 添加 vm.swappiness=0 保存退出 重启后再查看 就回是0
操作这个是为了最后一步安装检查集群节点时出现警告
具体原理请看http://blog.csdn.net/wulantian/article/details/36184943
4.关闭防火墙
临时关闭：service iptables stop
永久关闭：chkconfig iptables off
查看关闭状况：service iptables status
5.关闭SELINUX
将SELINUX=enforcing 改为SELINUX=disabled（重启后生效）
查看SELINUX状态 /usr/sbin/sestatus -v
若SELinux status 为disabled 即为关闭
6.以n1节点为母节点克隆出两个子节点n2,n3
7.对所有节点操作
修改相应主机名，和配置集群ip地址
修改主机名 命令 vi /etc/sysconfig/network
修改主机ip地址 命令 vi /etc/hosts
8.打通ssh
所有节点 使用命令ssh-keygen -t rsa
n1主节点 cat idrsa.pub >> authorized_keys
scp authorized_keys root@n2:~/.ssh
n2从节点 cat idrsa.pub >> authorized_keys
scp authorized_keys root@n3:~/.ssh
n3从节点 cat idrsa.pub >> authorized_keys
chmod 600 authorized_keys
scp authorized_keys root@n2:~/.ssh
scp authorized_keys root@n1:~/.ssh
操作完成后，就能实现各个节点免密钥登录了
9.ntp同步
n1主节点
yum install ntp
chkconfig ntpd on //开机自启动
chkconfig --list ntpd
先手动同步
ntpdate -u 202.112.10.36
修改配置 /etc/ntp.conf
1.去掉#restrict ip mask 255.255.255.0 nomodify notrap 前面的#
允许内网其他机器同步时间
restrict ip mask 255.255.255.0 nomodify notrap
2.所有 server 前加上# 并添加下面的新的server
server 210.72.145.44 perfer
server 202.112.10.36
server 59.124.196.83
保存
启动 service ntpd start
查看是否同步ntpstat
n2,n3从节点
yum install ntp
chkconfig ntpd on
vi /etc/ntp.conf
所有 server 前加上# 并添加下面的新的server
server 主节点n1
保存
ntpdate -u 主节点n1
启动
service ntpd starty
查看是否同步ntpstat
不太明白的，可以参考http://acooly.iteye.com/blog/1993484
10.主节点n1安装mysql，并创建数据库，和对root用户授权
yum install mysql-server
设置开机启动
chkconfig mysqld on
启动mysql
service mysqld start
设置root用户和初始密码
mysqladmin -u root password 'root'
进入mysql
mysql -uroot -proot
创建数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
授权root用户在主节点上拥有所有数据库访问权限
grant all privileges on *.* to 'root'@'主节点n1' identified by 'root' with grant option;
flush privileges;
11.n1主节点安装ClouderaManager server
n1主节点
将cloudera-manager-el6-cm5.3.3_x86_64.tar.gz放入/opt目录下
tar -zxvf cloudera-manager-el6-cm5.3.3_x86_64.tar.gz
复制mysql-connector-java-5.1.13-bin.jar到 /opt/cm-5.3.3/share/cmf/lib/目录下
初始化Cloudera Manager5的数据库
/opt/cm-5.3.3/share/cmf/schema/scm_prepare_database.sh mysql cm -h localhost -uroot -proot --scm-host localhost scm scm scm
修改Agent配置文件
vi /opt/cm-5.3.3/etc/cloudera-scm-agent/config.ini
server_host=主节点n1
复制文件到Agent节点
scp -r /opt/cm-5.3.3 root@n2:/opt/
scp -r /opt/cm-5.3.3 root@n3:/opt/
所有节点创建cloudera-scm用户
useradd --system --home=/opt/cm-5.3.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment"Cloudera SCM User" cloudera-scm
12.安装CDH
将前面下载CHD5.3.3 三个安装文件复制到到主节点的/opt/cloudera/parcel-repo/目录下
修改parcel-repo文件夹权限，给用户cloudera-scm权限：
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
13.至此基本完成环境的安装，所有节点快照一下，避免出错后，能够返回
14.启动server和agent
n1主节点 /opt/cm-5.3.3/etc/init.d/cloudera-scm-server start 启动服务端。
n1、n2、n3所有节点 /opt/cm-5.3.3/etc/init.d/cloudera-scm-agentstart 启动Agent服务。
启动后可通过浏览器访问 http://cdh1;hadoop.com:7180，用户名和密码默认为均为admin
接下来就可以在网页上进行安装了
注意启动所有服务之前对hive的配置添加Mysql驱动
cp /opt/cm-5.3.3/share/cmf/lib/mysql-connector-java-5.1.13-bin.jar /opt/cloudera/parcels/CDH-5.3.3- 1.cdh5.3.3.p0.5/lib/hive/lib/
否则会在安装服务时，由于找不到mysql驱动，安不上hive，中断服务安