一、Linux文件系统准备
1. 拍摄快照
登录阿里云控制台,拍摄快照,注意有几个关键点尽量拍摄快照,系统初始状态、CM环境准备完成、CM安装完成、CDH安装完成。
2. 挂载设备
三个主机都执行。
- 创建挂载目录
$mkdir /data
- 查看设备
$df -h $fdish -l
得知/dev/vdb没有挂载
- 格式化设备
$mkfs.ext3 /dev/vdb
- 编写开机自动挂载脚本
$mkdir /opt/shell/ $vim /opt/shell/mymount.sh
#!/bin/bash # mount -o rw /dev/vdb /data
- 修改权限
$chmod 777 /opt/shell/mymount.sh
- 设置开机运行
$vim /etc/rc.local
在文件中加入一行
/opt/shell/mymount.sh
二、系统环境准备
1. 网络配置
- 修改hostname。三台机器分别改为cdh01、cdh02、cdh03。
$vim /etc/sysconfig/network
- 重启网络服务。
$service network restart
- 修改IP与主机名的对应关系。
vi /etc/hosts
内网ip1 cdh01
内网ip2 cdh02
内网ip3 cdh03
2. SSH两两免密码登录
三个云主机要设置自身免密码登录,并且三个云主机之间设置两两免密码登录。以cdh01为例:
- 设置自身免密码登录
在cdh01产生密钥,将公钥追加重定向到认证文件中。在三台机器中都执行如下命令:
$ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
- cdh01免密码登录到cdh02
将cdh01的公钥远程拷贝到cdh02中,这时需要输入cdh02的密码;再在cdh02中将已经远程拷贝过来的cdh01的公钥追加重定向到cdh02的认证文件中。这是因为私钥加密,公钥解密,cdh01与cdh02通信需要先用私钥加密,私钥加密的要用公钥解密,所以要将cdh01的公钥追加到cdh02的认证文件中。
$scp ~/.ssh/id_dsa.pub root@cdh02:~ $cat ~/id_dsa.pub >> ~/.ssh/authorized_keys
- cdh01免密码登录到cdh03
$scp ~/.ssh/id_dsa.pub root@cdh03:~ $cat ~/id_dsa.pub >> ~/.ssh/authorized_keys
同理可以完成cdh02免密码登录到cdh01和cdh03,cdh03免密码登录到cdh01和cdh02。
3. 关闭防火墙
- 临时关闭
$service iptables stop
- 永久关闭需重启生效
$chkconfig iptables off
4. 关闭SELINUX
$vim /etc/selinux/config
将SELINUX=enforcing 修改为 SELINUX=disabled
- 查看SELINUX状态
$/usr/sbin/sestatus
执行$/usr/sbin/sestatus,可见SELINUX status:(enabled:开启;disabled:关闭)
5. 安装JDK
- 采用RPM包安装
$rpm -ivh jdk-7u79-linux-x64.rpm
- 配置环境变量
$vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_79 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
- 使环境变量生效
$source /etc/profile
6. 安装时间同步
- 所有节点安装NTP
$yum -y install ntp
- 设置开机启动
$chkconfig ntpd on
- 检查是否设置成功
$chkconfig --list ntpd
- 设置时间同步
$ntpdate -u ntp1.aliyun.com
7. 主节点安装MySQL
- 查看并卸载之前版本
查看系统是否安装了MySQL,使用命令
$rpm -qa | grep mysql
卸载命令类似下面
$rpm -ev mysql-*.RHEL4.1 $yum -y remove mysql-libs-5.1.71-1.el6.x86_64
- 继续查看是否有未删尽的目录
$find / -name mysql
删除查找出的所有mysql目录,例如:
$rm -rf /var/lib/mysql $rm -rf /var/lib/mysql $rm -rf /usr/lib64/mysql $rm -fr /usr/include/mysql
- 手动删除my.cnf文件
卸载后/etc/my.cnf有可能不会删除,需要进行手工删除。
rm -f /etc/my.cnf
- 再次查找机器是否安装mysql
$rpm -qa|grep -i mysql
如果无结果,说明已经卸载彻底。
- 安装mysql
使用如下命令安装Server和Client:
$rpm -ivh MySQL-server-5.6.*.rpm $rpm -ivh MySQL-client-5.6.*.rpm $rpm -ivh MySQL-devel-5.6.*.rpm
注意MySQL的版本选择5.5或5.6,因其和Hadoop生态圈的Oozie、Hue、Hive/Impala、Sqoop等的兼容性比较好。
- 启动MySQL
查看状态
$service mysql status
如果没有运行,则使用如下命令启动:
$service mysql start
- 设置开机启动
$chkconfig –add mysql