配置步骤
有node1、node2、node3三台机器,node1是server、agent,node2、node3是agent
一、网络环境的配置
1、新建虚拟机
2、配置网络,能ping通外网
3、配置ip和主机名的映射
二、配置主节点到从节点的免密登录
1、ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
2、cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
三、关闭防火墙
1、service iptables stop
2、chkconfig iptables off(永久关闭防火墙)
四、SELINUX关闭
1、执行命令
setenforce 0
2、vi /etc/selinux/config (SELINUX=disabled)
五、安装JDK配置环境变量
1、export JAVA_HOME=/usr/java/jdkXXX
2、export PATH=PATH
3、export CLASSPATH=.:JAVA_HOME/lib/tools.jar
六、设置时间同步,分别执行以下命令
1、cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
2、ntpdate us.pool.ntp.org
3、echo "0 */8 * * * /usr/sbin/ntpdate us.pool.ntp.org" >> /var/spool/cron/root
七、在server的节点上(node1)安装配置mysql
详见hive的配置
八、下载第三方依赖包
yum install -y chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
九、Cloudera Manager 安装
1、安装Cloudera Manager Server、Agent (3个节点都安装)
1、创建文件架
mkdir /opt/cloudera-manager
2、解压Cloudera Manager的安装包
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
2、创建用户cloudera-scm (3个节点都创建)
3、配置CM Agent
1、修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中 server_host以及server_port
2、3个节点的都设成server_host=node1,server_port=默认的
4、配置CM Server数据库
1、拷贝mysql jar文件到目录 /usr/share/java/
2、注意jar包名称要修改为mysql-connector-java.jar
3、在server所在的节点执行下列命令
1、grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
2、cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
3、./scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp --scm-host node1 scm scm scm
格式:数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器
5、创建Parcel目录
1、 Server节点
– mkdir -p /opt/cloudera/parcel-repo
– chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
2、 Agent节点
– mkdir -p /opt/cloudera/parcels
– chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
6、制作CDH本地源
下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json和CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha,将这三个文件放
到server节点的 /opt/cloudera/parcel-repo下。
7、启动CM Server、Agent
• cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
• ./cloudera-scm-server start – Sever首次启动会自动创建表以及数据,不要立即关闭或重启,否则需要删除所有表及数据重新安装
• ./cloudera-scm-agent start
8、测试
• 访问:http://server所在的节点的ip:7180,
• 用户名、密码:admin
• 若可以访问,则CM安装成功