centos6安装cdh
centos6安装cdh
- 1. 离线包的准备
-
- 1. 下载虚拟机镜像
- 2. 安装Oracle的JDK
- 3. cm下载
- 4. CDH文件下载
- 2. 开始搭建
-
- 1. **修改主机名和修改IP和主机的对应关系(**所有节点**)**
-
- a.**修改主机名**
- b.**修改IP和主机的对应关系**
- 2.**打通所有节点的ssh**(所有节点执行)：
-
- a.检查服务sshd是否有开启
- b.生成密钥
- c.注册其他机器
- d.检查是否都可以免密登录
- 3.安装java环境（所有节点）
-
- a.新建一个文件夹用来放java
- b.解压tar.gz
- c.配置环境变量
- d.使配置文件生效
- 4.主节点安装mysql(使用yum安装)
-
- a.执行yum -y install mysql-server
- b.设置开机自启：chkconfig mysqld on
- c.启动mysql服务：service mysqld start
- d.登录msyql:mysql -u root -p(第一次可以直接回车登录)
- e.更改密码以及远程登录
-
- 1.更改密码
- 2.创建元数据库
- 3.开启远程权限
- 4.远程连接测试
- 5.关闭防火墙和SELinux(所有节点)
- 6.安装ntpd时间同步服务(所有节点)<此处有问题，待解决>
- 7.安装CM(主节点)
-
- a.将cm包上传至/opt下
- b.解压
- c.下载JDBC连接器
- d.主节点生成cm专用的数据库
- e.修改cm的配置文件
- f.同步到其他agent
- g.在所有节点创建cloudera-scm用户
- h.准备CDH5的Parcel文件
- i.启动服务
- 8.安装CDH
-
- a.打开cm的web界面：
- b.选择要装的版本
- c.选择主机
- d.群集安装
- e.等待分配
- f.安装集群服务
-
- 1.分配完成
- 2.检验主机正确性
- 3.自定义安装
- 4.集群角色分配
- 5.数据库连接
- 6.群集设置(无需更改)
- 7.等待群集安装
- 8.安装完成
- 3.搭建完成检测
-
- 1.在任一节点执行：
- 2.查看hdfs目录(任一节点)
- 3.登录hive(任一节点)
- 4.遇到的问题
-
- a.cm的webui界面主机只有一台，没有三台
-
- 参考博客
#目的：
使用windows上的虚拟机使用cm和cdh离线包搭建hadoop和hive。
1. 离线包的准备
1. 下载虚拟机镜像
链接： http://mirrors.aliyun.com/centos/6.10/isos/x86_64/，这是cetos6系统的镜像，注意选择“CentOS-6.10-x86_64-bin-DVD1.iso”，不要选择liveDVD。（tips：系统镜像自带ssh,yum,wget），使用Vmware station安装虚拟机（过程略）
2. 安装Oracle的JDK
我选择的是1.8，链接：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html；选择64位的linux的压缩包
；
3. cm下载
Cloudera Manager下载地址：
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.1.3_x86_64.tar.gz
4. CDH文件下载
地址：http://archive.cloudera.com/cdh5/parcels/5.1.3/，下载文件为：parcel，sha1(下载后将后缀改为sha)以及manifest.json
2. 开始搭建
1. 修改主机名和修改IP和主机的对应关系(所有节点)
a.修改主机名
vi /etc/sysconfig/network，修改hostname，（我这里改为hadoop1，2）
NETWORKING=yes
HOSTNAME=hadoop1
b.修改IP和主机的对应关系
vi /etc/hosts
主机1ip 主机名
主机2ip 主机名
主机3ip 主机名
类似
2.打通所有节点的ssh(所有节点执行)：
a.检查服务sshd是否有开启
service sshd status查看
b.生成密钥
ssh-keygen，一路回车就好
c.注册其他机器
ssh-copy-id 主机名，例如ssh-copy-id hadoop1，也要给自己注册，输入yes，以及root账户的密码
d.检查是否都可以免密登录
随便挑选一台主机，执行：ssh hadoop1
3.安装java环境（所有节点）
a.新建一个文件夹用来放java
mkdir /usr/download
然后使用xftp软件，将刚刚下载的java上传，用rz(使用yum install lrzsz安装)也可以
b.解压tar.gz
cd /usr/download
tar -vxf jdk-8u251-linux-x64.tar.gz
c.配置环境变量
vi /etc/profile
#在最后面加上#
export JAVA_HOME=/usr/download/jdk1.8.0_251
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
d.使配置文件生效
source /etc/profile
#判断是环境变量是否生效#
java -version
执行结果应该是：（一定要带64-Bit的）
4.主节点安装mysql(使用yum安装)
a.执行yum -y install mysql-server
b.设置开机自启：chkconfig mysqld on
c.启动mysql服务：service mysqld start
d.登录msyql:mysql -u root -p(第一次可以直接回车登录)
e.更改密码以及远程登录
1.更改密码
执行mysql -u root -p回车登录之后：
use mysql;
select user,password,host from user;
#设置密码为root#
update user set password=PASSWORD('root')
应该是如下效果（再把空的user删掉delete from user where user = “”）：
2.创建元数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
3.开启远程权限
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
FLUSH PRIVILEGES;
4.远程连接测试
windows使用navicat或者sqlyog连接虚拟机的mysql，如果发现连不上，先把虚拟机的防火墙关掉：service iptables stop
5.关闭防火墙和SELinux(所有节点)
执行以下命令：
#关闭防火墙#
service iptables stop （临时关闭）
chkconfig iptables off （重启后生效）
#关闭selinux#
setenforce 0 （临时生效）
vi /etc/selinux/config(修改SELINUX=disabled) （重启后永久生效）
6.安装ntpd时间同步服务(所有节点)<此处有问题，待解决>
yum install ntpd
vim /etc/ntp.conf
#主节点改为以下#
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap
server cn.ntp.org.cn prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
#从节点改为以下#
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
#这里是主节点的主机名或者ip
server hadoop1
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
7.安装CM(主节点)
a.将cm包上传至/opt下
建议使用xftp软件，速度较快
b.解压
cd /opt
tar -vxf cloudera-manager-el6-cm5.1.3_x86_64.tar.gz
c.下载JDBC连接器
mysql-connector下载地址：https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.13，选择jar包，并将jar包上传放置在/opt/cm-5.1.3/share/cmf/lib/下
d.主节点生成cm专用的数据库
在主节点执行代码
/opt/cm-5.1.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm
e.修改cm的配置文件
vi /opt/cm-5.1.3/etc/cloudera-scm-agent/config.ini
f.同步到其他agent
scp -r /opt/cm-5.1.3 hadoop3:/opt
g.在所有节点创建cloudera-scm用户
useradd --system --home=/opt/cm-5.1.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
h.准备CDH5的Parcel文件
将以下三个文件放置到主节点的/opt/cloudera/parcel-repo下
- CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel
- CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1(将后缀改为.sha)
- manifest.json
i.启动服务
主节点先执行：
/opt/cm-5.1.3/etc/init.d/cloudera-scm-server start
然后所有节点执行：
/opt/cm-5.1.3/etc/init.d/cloudera-scm-agent start
主节点：
8.安装CDH
a.打开cm的web界面：
以上步骤正常启动后，打开浏览器，输入主节点ip:7180端口，可以看到以下图片（这个码打得就很灵性），用户名和密码都是admin（对，跟路由器一样）
b.选择要装的版本
当然选择免费的咯
----------------------------------点击继续
c.选择主机
我这边只有两台，先凑合一下
d.群集安装
直接点击继续，如果这里有问题，一定检查下**/opt/cloudera/parcel-repo下的文件，尤其是sha1**，是否更改了后缀
e.等待分配
f.安装集群服务
1.分配完成
2.检验主机正确性
此时可以先在每个节点上执行
echo 0 > /proc/sys/vm/swappiness
##将jdbc放到hive的lib库下
cp /opt/cm-5.1.3/share/cmf/lib/mysql-connector-java-5.1.33.jar /opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hive/lib
3.自定义安装
4G的虚拟机内存不够装那么多，老老实实的自定义hadoop，zookeeper和hive吧
选择的是：hdfs,hive,mr,yarn,zookeeper
4.集群角色分配
不用改
5.数据库连接
6.群集设置(无需更改)
7.等待群集安装
8.安装完成
奥力给！
3.搭建完成检测
1.在任一节点执行：
#查看节点角色
jps
主节点
从节点
2.查看hdfs目录(任一节点)
hdfs dfs -ls /
3.登录hive(任一节点)
登录hive，可以正常登录即可，可能会有点卡，是因为虚拟机的内存问题
hive
4.遇到的问题
a.cm的webui界面主机只有一台，没有三台
1.关闭server和agent服务
/opt/cm-5.1.3/etc/init.d/cloudera-scm-server stop
/opt/cm-5.1.3/etc/init.d/cloudera-scm-agent stop
2.删除主节点的mysql中的cm库
3.删除所有节点的/opt/cm-5.1.3/lib/cloudera-scm-agent/下的文件
4.重新启动服务
参考博客
https://www.cnblogs.com/CaptainLin/p/7089766.html