免费版CDH环境搭建(附带免费下载地址)
cloudera manage cdh6.3.3即以后的版本已经收费(下面附带cdh6.3.2免费版下载地址)
一 docker搭建
二 安装包搭建(附带下载地址)
一.docker单节点安装
1.下载docker cloudera manage
# 搜索cloudera包
docker search cloudera
#拉取镜像
docker pull docker.io/cloudera/quickstart
启动镜像
docker run -d --name cdh --hostname=cloudera --privileged=true -p 7180:7180 -p 8020:8020 -p 8022:8022 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8890:8890 -p 60010:60010 -p 10002:10002 -p 25010:25010 -p 25020:25020 -p 18088:18088 -p 8088:8088 -p 19888:19888 -p 7187:7187 -p 11000:11000 -p 8888:8888 -p 2181:2181 -p 10000:10000 cloudera/quickstart /bin/bash -c '/usr/bin/docker-quickstart && /home/cloudera/cloudera-manager --express --force && service ntpd start && tail -F /var/log/*.log'访问web管理界面
默认用户名: admin
默认密码: admin
http://localhost:7180/
二 .安装包搭建
资源下载地址 CDH6.3.2 整套 hdfs,hbase,spark,hive,hue等等 失效连接在2023/1/7已经更新补上
链接：https://pan.baidu.com/s/1hyxUbziugDQ4WYR9egzNTg?pwd=1111
提取码：1111下载之后解压所有文件如下:
所有节点安装 (注意,如果之前安装过cdh,重装需要将之前的环境全部卸载掉,如何卸载干净百度查)
(1)配置ssh免密登录 (上网查)
(2)配置时间同步 (上网查)
(3)安装jdk1.8 (上网查)
(4)安装MySql (上网查)
(5)配置httpd
所有节点安装
yum install httpd主节点启动httpd服务 httpd数据默认存放位置 /var/www/html/
systemctl start httpd(6)配置cm
主节点将资料cm6.3.1-redhat7.tar.gz 解压后放入 /var/www/html/目录下的 /cloudera-repos/cm6 目录下
tar zxvf /cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 
主节点赋值权限
chmod -R ugo+rX /var/www/html/cloudera-repos/cm6在其他节点验证httpd是否成功
wget http://主节点ip:80/cloudera-repos/cm6/RPM-GPG-KEY-cloudera
所有节点配置
[cloudera-manager]
name=Cloudera Manager
baseurl=http://主节点ip:80/cloudera-repos/cm6
gpgkey=http://主节点ip:80/cloudera-repos/cm6/RPM-GPG-KEY-cloudera
gpgcheck=1
enabled=1
autorefresh=0
type=rpm-md
所有节点将cloudera-manager.repo放置到/etc/yum.repos.d/目录
cp /cloudera-manager.repo /etc/yum.repos.d/cloudera-manager.repo 所有节点导入GPG key
rpm --import http://主机点ip:80/cloudera-repos/cm6/RPM-GPG-KEY-cloudera安装服务
# 在主节点安装cloudera agent和cloudera server
yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server -y
# 在其他节点安装ccloudera agent
yum install cloudera-manager-daemons cloudera-manager-agent -y在mysql中创建元数据
create database amon default character set utf8 default collate utf8_general_ci;
create database rman default character set utf8 default collate utf8_general_ci;
create database hue default character set utf8 default collate utf8_general_ci;
create database metastore default character set utf8 default collate utf8_general_ci;
create database sentry default character set utf8 default collate utf8_general_ci;
create database nav default character set utf8 default collate utf8_general_ci;
create database oozie default character set utf8 default collate utf8_general_ci;设置用户权限,开启远程连接
grant all on *.* to 'root'@'%' identified by 'root对应的密码';
flush privileges;主节点下载mysql驱动
#创建驱动存放目录
mkdir /usr/share/java
# 下载驱动
wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.49/mysql-connector-java-5.1.49.jar
#将驱动存入目录
mv mysql-connector-java-5.1.49.jar /usr/share/java/mysql-connector-java.jar初始化CM数据库 登录密码中 重新初始化需要删除文件 /var/lib/cloudera-scm-agent/cm_guid
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h数据库ip -uroot -p'密码' --scm-host 主节点ip 数据库名称 数据库用户名 数据库密码示例:
安装parcels对应的4个文件如下
修改文件名
mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha将这四个文件放入目录/opt/cloudera/parcel-repo下(数据包目录)
cp CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel /opt/cloudera/parcel-repo/
cp CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha /opt/cloudera/parcel-repo/
cp CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 /opt/cloudera/parcel-repo/
# 覆盖manifest.json (yes)
cp manifest.json /opt/cloudera/parcel-repo/
操作示例:
(7)添加cloudera-scm-server与cloudera-scm-agent的java_home 配置jdk
#下载jdk
yum install java-1.8.0-openjdk-devel
# 修改配置server的jdk,如果使用yum安装,可以不用修改
# vim /etc/default/cloudera-scm-server
# 修改配置agent的jdk,如果使用yum安装,可以不用修改
# vim /etc/default/cloudera-scm-agent开启主节点CM Server
systemctl start cloudera-scm-server修改agent配置信息,指定 CM Server的连接地址
vi /etc/cloudera-scm-agent/config.ini查看日志
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
访问页面
localhost:7180默认用户名 admin 默认密码 admin
开启所有CM agent
systemctl start cloudera-scm-agent查看日志
tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log目录解释 配置环境变量可以使用 /opt/cloudera/parcels/ 目录
/var/log/cloudera-scm-installer : 安装日志目录
/var/log/* : 相关日志文件（相关服务的及CM的）
/usr/share/cmf/ : 程序安装目录
/usr/lib64/cmf/ : Agent程序代码
/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录
/usr/bin/postgres : 内嵌数据库程序
/etc/cloudera-scm-agent/ : agent的配置目录
/etc/cloudera-scm-server/ : server的配置目录。
/opt/cloudera/parcels/ : Hadoop相关服务安装目录
/opt/cloudera/parcel-repo/ : 下载的服务软件包数据，数据格式为parcels
/opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据
/etc/hadoop/* : 客户端配置文件目录代码段 小部件