Centos7.3安装CDH6.0.1
CDH6.0以上版本安装都适用，已经成功搭建CDH6.0.1和6.2企业级平台。
版本
| 类型 | 版本 | 下载 |
| Linux | Centos7.3 | |
| CDH | CDH6.0.1 | CM官方下载 CDH官方下载 |
| JDK | jdk-8u211 | 网盘下载 |
| 数据库 | MySQL5.7.27 | 官方下载 |
| JDBC | mysql-connector-java-5.1.47 | Maven下载 |
部分软件网盘
官方安装文档
服务器信息
| IP | Hostname | CPU | 内存 | 硬盘 |
| 192.168.100.45 | cdh-master | 32 | 64G | 16T |
| 192.168.100.46 | cdh-slave01 | 32 | 64G | 16T |
| 192.168.100.47 | cdh-slave02 | 32 | 64G | 16T |
前置环境配置：
Centos7.3安装CDH6.0.1之基础环境配置
CDH6.0.1默认组件版本
1. 安装Cloudera Manager
yum在线安装速度太慢，不推荐,当然也可以采用本地yum源的方式安装快点。
这里直接采用离线rpm。
1. 下载rpm文件
cloudera-manager-server-6.0.1-610811.el7.x86_64.rpm
cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm
cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm三个都上传都到cdh-master
从节点cdh-slave01、cdh-slave02上传daemons和agent
2. 安装
cdh-master：（按顺序全部安装）
rpm -ivh cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm
rpm -ivh cloudera-manager-server-6.0.1-610811.el7.x86_64.rpm
rpm -ivh cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm
cdh-slaves:（只安装daemons 和agent）
rpm -ivh cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm
rpm -ivh cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm
CM安装出现问题，参照：Centos7.3安装CDH6.0.1之CM安装问题
3. 修改服务器地址（所有节点）
vim /etc/cloudera-scm-agent/config.ini
server_host=cdh-master
server_port=7182
4. 启动agent（所有节点）
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
tail -F /var/log/cloudera-scm-agent/cloudera-scm-agent.log5. 设置CM数据库
sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm
6. 启动
sudo systemctl start cloudera-scm-server
可以查看启动情况：
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
sudo systemctl status cloudera-scm-server显示以下信息说明启动完成：
INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.
查看agent日志
tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log
7. 登录WEB
web：http://192.168.100.41:7180
账号密码：admin
显示如下界面，CM安装完成。
2.安装CDH
1. 关闭服务
systemctl stop cloudera-scm-server
systemctl stop cloudera-scm-agent2.下载
CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel
CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha256
manifest.json
3. 上传
上传到 /opt/cloudera/parcel-repo/，没有则手动创建，修改.sha256文件后缀为.sha，在manifest.json中查看el7的序列输入到.sha文件中。CDH6以上的.sha1直接修改为.sha即可。
echo "2e650f1f1ea020a3efc98a231b85c2df1a50b030" > CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha
4. 修改用户和组
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*
5. 安装
启动服务，登录CM，http://192.168.100.45:7180，进入初始化界面。
systemctl start cloudera-scm-agent
systemctl start cloudera-scm-server
Psycopg2版本太低问题：至少2.5.4以上。
安装依赖
yum install postgresql-devel postgresql-libs python-devel gcc
下载psycopg2,几百K,可以直接下载
wget http://initd.org/psycopg/tarballs/PSYCOPG-2-7/psycopg2-2.7.7.tar.gz
解压
tar -zxvf psycopg2-2.7.7.tar.gz -C /opt/apps/
cd /opt/apps/psycopg2-2.7.7
安装
python setup.py build
python setup.py install
更新配置以后的界面。
内存被调拨过度问题
Memory Overcommit Validation Threshold
主机 cdh-slave02 上的内存被调拨过度。总内存分配额是 57.5 GiB 个字节，但是 RAM 只有 62.8 GiB 个字节（其中的 12.6 GiB 个字节是保留给系统使用的）。如需获得分配详细信息，请访问“主机”页面上的“资源”选项卡。重新配置主机上的角色以降低总内存分配额。请注意：Java 最大堆大小乘以 1.3 等于近似的 JVM 开销。
其实就是在节点上组件设置的内存超过了可用内存。默认总内存的0.8可用，0.2分配给Linux系统，这个参数可调。64G内存可以用51.2左右。
进入 主机 -> 选择节点 -> 资源 -> 内存 可用查看内存分配，在配置里搜索memory相关的调整即可。
HDFS和YARN优化：大数据组件部分优化