Cloudera-Manager安装配置详解

一、系统环境准备
	1、网络配置
		vi /etc/sysconfig/network
			NETWORKING=yes
			HOSTNAME=node03
		vi /etc/hosts
			192.168.126.101    node01
			192.168.126.102    node02
			192.168.126.103    node03
			192.168.126.104    node04
	2、SSH免密钥登录
		ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
		ssh-copy-id
	3、防火墙关闭
		service iptables stop
		chkconfig iptables off
	4、SELINUX关闭
		setenforce 0
		vi /etc/selinux/config (SELINUX=disabled)
	5、安装JDK配置环境变量
		export JAVA_HOME=/usr/java/jdk1.7.0_67
		export PATH=$JAVA_HOME/bin:$PATH
	6、安装NTP
		yum install ntp			安装
		service ntpd start		启动NTP时间服务器
		chkconfig ntpd on		设置NTP开机自动启动
		chkconfig | grep ntp	查看NTP是否正常运行
	7、安装配置mysql
		1、安装mysql
			yum install mysql-server
		2、开启mysql
			service mysqld start
		3、设置开机启动
			chkconfig mysqld on
		4、进入mysql
			mysql
		5、修改mysql权限:并设置密码为123
			GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;
		6、删除多余会对权限造成影响的数据
			delete from user where host!='%';
		7、刷新权限
			flush privileges;
	8、下载第三方依赖包
		yum install -y chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
二、ClouderaManager安装
	1、安装Cloudera Manager Server、Agent
		mkdir /opt/cloudera-manager
		tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
	2、每一台节点创建用户cloudera-scm!!!!!
		useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
	3、创建Parcel目录
		Server节点
			mkdir -p /opt/cloudera/parcel-repo
			chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
		Agent节点
			mkdir -p /opt/cloudera/parcels
			chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
	4、配置CM Agent
		vi /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini
		server_host=node01
	5、配置CM Server数据库
		创建JDBCjar的存放目录
			mkdir /usr/share/java
		把JDBC cp到/usr/share/java目录
		注意jar包名称要修改为mysql-connector-java.jar

		mysql添加temp用户
			grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
		刷新权限
			flush privileges;
		执行脚本
			cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
			./scm_prepare_database.sh mysql temp -h node01 -utemp -ptemp --scm-host node01 scm scm scm
		查看以下文件查看配置是否成功
			vi /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-server/db.properties
		格式:数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器
	6、制作CDH本地源
		下载好文件
		CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
		manifest.json
		将这两三个文件放到server节点的/opt/cloudera/parcel-repo下。
		!!!打开manifest.json文件,里面是json格式的配置,找到与下载版本相对应的hash码,新建文件,文件名与你的parel包名一致,并加上.sha后缀,将hash码复制到文件中保存

	7、将node01配置好的解压文件分发到其他节点
		scp /opt/cloudera-manager/* node02:`pwd`
	8、启动CM Server、Agent
		cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
		./cloudera-scm-server start
		Sever首次启动会自动创建表以及数据,不要立即关闭或重启,否则需要删除所有表及数据重新安装
		./cloudera-scm-agent start

启动后就可以在node01:7180中使用UI对集群进行操作

你可能感兴趣的:(java对集群的操作)