大数据基础学习笔记（安装CDH的环境配置）-CDH-5.15

1.下载软件地址(（以centos7.4）)
CDH安装包地址：
http://archive.cloudera.com/cdh5/parcels/5.14.0/
CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel
CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1
manifest.json

Cloudera Manager下载地址:
http://archive.cloudera.com/cm5/cm/5/
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el7-cm5.14.0_x86_64.tar.gz

2.网络配置

vim /etc/sysconfig/network

vim /etc/hosts

（内网） 

 

3.SSH免密匙登录

1.生成RSA秘钥对
   在XShell下方输入框中输入命令ssh-keygen -t rsa，然后回车执行。再回车3次，即可生成RSA秘钥对
 2.查看密钥对文件
   ls .ssh              
   id_rsa 私钥  
   id_rsa.pub 公钥
 3.将每个节点的公钥拷贝到authorized_keys
   可以通过命令ssh-copy-id，将本机公钥复制到其他节点的authorized_keys目录，这样本机即可免秘钥登录其他节点。
      （按照提示输入“yes”和密码，即可将node1的公钥复制到node1、node2和node3节点。（复制本机，可以实现免密登录本机））
      ssh-copy-id node1
      ssh-copy-id node2
      ssh-copy-id node3
      在三个节点都执行
  4.测试免密登录
    ssh node1   
    ssh node2
    ssh node3
    在三个节点中查看ls .ssh ，ll .ssh，cat .ssh/authorized_keys，cat .ssh/known_hosts
  5.退出ssh登录
     exit

4.防火墙关闭

service iptables stop
chkconfig iptables off

（本人是买的阿里云服务器，查看关闭防火墙地址https://www.jianshu.com/p/4a9958d2e859）

5.selinux关闭

setenforce 0 （临时生效）
修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）

 6.安装jdk1.8，环境变量

JAVA_HOME=/usr/java/jdk1.8.0_161
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

立即生效source /etc/profile

检查是否成功java -version

7.安装NTP

yum install ntp 安装NTP
systemctl enable ntpd.service 自启动
pgrep ntpd //查看相关进程
service ntpd status 查询ntpd的状态
ntpdate -u ntp.sjtu.edu.cn  时间的误差

配置NTP服务（所有节点）
集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。
具体思路如下：
master节点作为ntp服务器与外界对时中心同步时间，随后对所有slave节点提供时间同步服务。
所有slave节点以master节点为基础同步时间。
所有节点安装相关组件：yum install ntp。完成后，
配置开机启动：chkconfig ntpd on,检查是否设置成功：chkconfig --list ntpd其中2-5为on状态就代表成功。

主节点配置
在配置之前，先使用ntpdate手动同步一下时间，免得本机与对时中心时间差距太大，使得ntpd不能正常同步。
这里选用0.asia.pool.ntp.org作为对时中心,ntpdate 0.asia.pool.ntp.org。
ntp服务只有一个配置文件（/etc/ntp.conf），配置好了就OK。
 这里只给出有用的配置，不需要的配置都用#注掉，这里就不在给出：
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
server 0.asia.pool.ntp.org prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

配置文件完成，保存退出，启动服务，执行如下命令：service ntpd start
检查是否成功，用ntpstat命令查看同步状态，出现以下状态代表启动成功：

如果出现异常请等待几分钟，一般等待5-10分钟才能同步。

配置ntp客户端（所有slave节点）
driftfile /var/lib/ntp/drift
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1
restrict -6 ::1
server node1
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

保存退出，请求服务器前，请先使用ntpdate手动同步一下时间：
ntpdate -u node1 (主节点ntp服务器)
启动服务：
service ntpd start

如果时间同步不成功可以看看网址http://blog.itpub.net/26524307/viewspace-1063924/

8.安装mysql

可以参考的《学习hadoop遇到的问题（安装mysql时，密码找不到）》这篇文章

9.下载第三方依赖包
在线安装命令  yum install
需要安装的第三方依赖包
chkconfig
python
bind-utils
psmisc
libxslt
zlib
sqlite
fuse
fuse-libs
redhat-lsb
cyrus-sasl-plain
cyrus-sasl-gssapi
yum install chkconfig python bind-utils psmisc libxslt zlib sqlite fuse fuse-libs redhat-lsb cyrus-sasl-plain cyrus-sasl-gssapi