Centos7 安装Cm6.3.1+Cdh6.3.2
资源合集地址：
先初始化服务器然后修改hosts文件，每个服务器上都要配置
vim /etc/hosts
master 192.168.5.10
node1 192.168.5.11
node2 192.168.5.12Linux服务器免密登录
ssh-keygen -t rsa
cd /root/.ssh/
ssh-copy-id master
输入 yes然后输入服务器密码
ssh-copy-id node1（同上）
ssh-copy-id node2（同上）yum -y install httpd createrepo
systemctl start httpd
systemctl enable httpd（不用执行）createrepo .将当前目录rpm添加到仓库，可以使用yum install 安装
创建目录
上传资源包到任意目录
mkdir -p /var/www/html/cloudera-repos/cm6.3.1
unzip cm6.3.1.zip -d /var/www/html/cloudera-repos/cm6.3.1
mkdir -p /var/www/html/cloudera-repos/cm6.3.1 #目录不存在创建
unzip parcel-repo.zip -d /opt/cloudera/parcel-repo/
把下图需要的文件移进来
创建yum源
cd /etc/yum.repos.d
vim cloudera-manager.repo内容如下
[cloudera-manager]
name=Cloudera Manager 6.3.1
baseurl=http://master/cloudera-repos/cm6.3.1
gpgcheck=0
enabled=1将 /etc/yum.repos.d/cloudera-manager.repo复制到其他节点上
yum clean all && yum makecache
yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server mkdir -p /usr/share/java/
上传到mysql-connector-java.jar /usr/share/java/；mysql驱动名必须改成mysql-connector-java.jar
创建scm数据库
-
mysql数据库与CM Server是同一台主机
执行命令：/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root 123456 -
mysql数据库与CM Server不在同一台主机上
执行命令：/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm -h--scm-host scm scm scm
启动服务
systemctl start cloudera-scm-server访问http:192.168.5.10/7180 admin/admin
自定义存储库地址
http://master/cloudera-repos/cm6.3.1/
检查服务问题
解决方法每个节点都加
sysctl vm.swappiness=10
cat /proc/sys/vm/swappiness
echo 'vm.swappiness=10'>> /etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
vi /etc/rc.local
最后一行后面添加
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
Root无hdfs权限问题
1、在Linux执行如下命令增加supergroup
groupadd supergroup
2、如将用户root增加到supergroup中
usermod -a -G supergroup root
3、同步系统的权限信息到HDFS文件系统
sudo -u hdfs hdfs dfsadmin -refreshUserToGroupsMappings
4、查看属于supergroup用户组的用户
grep 'supergroup:' /etc/group
一键卸载脚本
https://blog.csdn.net/wzy0623/article/details/102946646