搭建CDH流程记录

搭建CDH流程记录

• 如何搭建本地yum源
  1.配置yum源这里使用 阿里源 http://mirrors.aliyun.com/repo/Centos-7.repo

wget  http://mirrors.aliyun.com/repo/Centos-7.repo

2.安装http软件

yum install httpd -y

3.配置httpd.conf

 vi /etc/httpd/conf/httpd.conf
 在 AddType application/x-gzip .gz .tgz 添加 .parcel
 例： AddType application/x-gzip .gz .tgz .parcel

4.启动httpd服务

 systemctl start httpd  #启动服务
 systemctl enable httpd #开机自启动

访问web页面，如果无法访问可能是防火墙没有关
但是此时并不能作为其他主机的yum源地址，还需要在当前文件夹下做如下操作

yum install createrepo
createrepo .

此时可以作为yum源供本地服务器下载文件

• 未在已配置的存储库中找到任何parcel需要在/opt/cloudera/parcel-repo/文件夹下放下如下文件才可被识别然后重启服务

systemctl restart cloudera-scm-server

• 无法连接数据库
  解决方法：在mysql内执行下列语句

grant all privileges on *.* to root@'%' identified by 'root' with grant option;

flush privileges;

3.若以上的方法未能生效，尝试执行

#grant all privileges on *.* to 'root'@'cdh1' identified by 'root' with grant 
grant all privileges on *.* to 'root'@'主机名' identified by 'root' with grant option;flush privileges;

如果如下页面总是出现多处错误(no GCs detected)，可能是虚拟机分配的内存资源不够，多重试几次就可以，也可以加大虚拟机的内存大小

查看cloudera-scm-server报错日志
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

搭建成功后，各个节点的可用空间不足，下次搭建时需要注意给虚拟机分配足够的磁盘空间(至少30G)

参考链接
CDH搭建
CDH搭建三部曲，搭建yum源，安装前期配置，前台的安装配置
免费版CDH环境搭建(附带免费下载地址)