cloudra安装hadoop集群

http://archive-primary.cloudera.com/cdh5/parcels/5.3.2/
http://www.cnblogs.com/oftenlin/p/4217670.html
http://www.jianshu.com/p/57179e03795f
准备工作

以下步骤要在所有节点上执行
1.1修改hostname
vi /etc/sysconfig/network
1.2关闭SELinux
查看SELinux状态getenforce
若SELinux没有关闭，按照下述方式关闭
vi /etc/selinux/config
修改SELinux=disabled。重启生效，可以等后面都设置完了重启主机
1.3关闭防火墙
sudo service iptables stop
sudo chkconfig iptables off
sudo chkconfig iptables --list
1.4网络配置
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
IPADDR=192.168.1.110
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
DNS1=8.8.8.8
DNS2=8.8.4.4
GATEWAY=192.168.1.1
1.5修改host
127.0.0.1          localhost#必须配置
# CDH Cluster
192.168.88.149   h01
192.168.88.148   h02
192.168.88.150   h03


配置绵密登录

2.提前下载(本教程中，CM和CDH版本均为5.2.0)
2.1下载cloudera-manager.repo下载cloudera-manager.repo #########333http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo
2.2下载CM installer   #######http://archive.cloudera.com/cm5/installer/5.2.0/cloudera-manager-installer.bin
2.3下载CM rpms，目录下全部下载出来 #######http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.2.0/RPMS/x86_64/
2.4下载CDH Parcel文件，只需要下载图中所示的3个文件
#http://archive.cloudera.com/cdh5/parcels/5.2.0/CDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcel
#http://archive.cloudera.com/cdh5/parcels/5.2.0/CDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcel.sha1 ###.sha1文件后缀更改为.sha，同时把内容只保留hash码部分
#http://archive.cloudera.com/cdh5/parcels/5.2.0/manifest.json

3.Cloudera Manager安装[所有节点]
3.1将cloudera-manager.repo文件拷贝到所有节点的/etc/yum.repos.d/文件夹下
mv cloudera-manager.repo /etc/yum.repos.d/
3.2验证repo文件是否起效[root@h01 ~]#
 vi /etc/yum.conf
timeout=50000
yum list|grep cloudera
如果列出的不是你安装的版本，执行下面命令重试
yum clean all
yum list | grep cloudera
3.3将之前下载的rpms文件拷贝到所有节点下（任意目录）
切换到rpms目录下，执行
yum -y install *.rpm
3.4下载CDH将之前下载的Parcel那3个文件拷贝到/opt/cloudera/parcel-repo目录下（如果没有该目录，请自行创建）
mv manifest.json /opt/cloudera/parcel-repo
root@h02 soft]# mv CDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcel /opt/cloudera/parcel-repo
mv CDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcel.sha1 /opt/cloudera/parcel-repo
mv CDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcel.sha1 CDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcel.sha
至此，/opt/cloudera/parcel-repo下面有三个文件： CDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcel
mainfest.json
CDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcel.sha

在master 节点安装daemons、server、agent（先装daemons）(rpm -ivh *.rpm)
yum --nogpgcheck localinstall cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm
yum --nogpgcheck localinstall cloudera-manager-server-5.2.1-1.cm521.p0.109.el6.x86_64.rpm
yum --nogpgcheck localinstall cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm（注：agent安装需要联网）
在slave-1、slave-2节点安装daemons、agent（先装daemons）
yum --nogpgcheck localinstall cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm
yum --nogpgcheck localinstall cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm（注：agent安装需要联网）
在master、slave-1、slave-2 节点安装JDK、oraclejdk
rpm -ivh jdk-6u31-linux-amd64.rpm

##############以下步骤请只在主节点上执行：
将下载好的bin文件拷贝到主节点任意目录下
进入该目录，给bin文件赋予可执行权限
sudo chmod +x ./cloudera-manager-installer.bin
安装CM
./cloudera-manager-installer.bin
/etc/cloudera-scm-server/db.properties
接下来全部next和yes就行了，因为所需要的rpm包已经提前下载下来了，这个过程会进行的非常快。

master节点配置cloudera manager
.启动cm server ：service cloudera-scm-server start

4.添加cm server服务 ：chkconfig cloudera-scm-server on

5.启动cm agent ：chkconfig cloudera-scm-agent on

6.添加cm agent服务 ：service cloudera-scm-server start

九、修改所有节点的agent 配置文件

/etc/cloudera-scm-agent/config.ini 将配置文件中的host 改成 cdh-master

十、在slave节点配置cloudera manager  agent程序

1.启动cm agent ：chkconfig cloudera-scm-agent on

2.添加cm agent服务 ：service cloudera-scm-server start
十一、测试agent和server是否通信成功
   service cloudera-scm-server status
   service cloudera-scm-agent status
   netstat –anp | grep 7182
  # server 端开启的是7182端口，用于和agent进行通讯
   启动失败时可以查看日志
   server 日志 /var/log/cloudera-scm-server
   agent 日志 /var/log/cloudera-scm-agent
CDH集群安装
CM安装成功后浏览器输入http://ip:7180,ip是CM安装的主机ip或者主机名。显示如下界面，用户名和密码都输入admin，进入web管理界面。




二、卸载步骤

记录卸载过程和问题。现有环境Cloudera Manager + (1 + 2 )的CDH环境。
1、先在Manage管理端移除所有服务。
2、删除Manager Server
在Manager节点运行
 /usr/share/cmf/uninstall-cloudera-manager.sh如果没有该脚本，则可以手动删除，先停止服务：
 service cloudera-scm-server stop
 service cloudera-scm-server-db stop然后删除：
 yum remove cloudera-manager-serversudo
 yum remove cloudera-manager-server-db3 、删除所有CDH节点上的CDH服务，先停止服务：
  service cloudera-scm-agent hard_stop卸载安装的软件：
 yum remove 'cloudera-manager-*' hadoop hue-common 'bigtop-*'4、删除残余数据：
  rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera*
  5、kill掉所有Manager和Hadoop进程（选作，如果你正确停止Cloud Manager和所有服务则无须此步）

$ for u in hdfs mapred cloudera-scm hbase hue zookeeper oozie hive impala flume; do sudo kill $(ps -u $u -o pid=); done6、删除Manager的lock文件
在Manager节点运行：
rm /tmp/.scm_prepare_node.lock至此，删除完成。
/var/log/cloudera-manager-installer/3.install-cloudera-manager-server.log
http://archive-primary.cloudera.com/cm5/redhat/5/x86_64/cm/5.2.1/RPMS/x86_64/