centos07安装高可用集群实战从零开始

从centos06过来的人喜欢使用命令行性质的黑窗口。显然cnetos7中的inittab中已经无法修改，但还是可以看到修改方法介绍。
命令行中：cat /etc/inittab

获取当前模式 systemctl get-default
修改启动模式为命令行模式 systemctl set-default multi-user.target
1.在安装集群之前请确保系统安装了jdk等必备软件。开始克隆虚拟机。

2.修改虚拟机名称和存放位置，选择完整克隆，不要链接克隆。一路下一步等待

3.克隆完成修改完主机映射和主机名，网络ip.ping通网络，类同参考搭建centos7虚拟机，至少准备三台虚拟机。

4.配置虚拟机之间通信配置免密登录
在 centos登录状态下，输入命令 ssh-keygen 或者 ssh-keygen -t rsa
你会发现，在/home/centos/.ssh 目录下生成了公钥文件

复制公钥文件到授权列表
cat ./id_rsa.pub >> authorized_keys
修改文件权限
chmod 600 ./authorized_keys

先手动在子节点创建文件夹mkdir -p .ssh
将该授权文件 authorized_keys 文件复制到子节点
scp ./authorized_keys centos@centos07:~/.ssh/
scp ./authorized_keys centos@centos08:~/.ssh/
如果还需要输入密码则是权限问题，需要把子节点授权
chmod 755 /home/centos
chmod 700 .ssh
chmod 600 .ssh/authorized_keys
每个节点来一次，保证每个节点可以正常互信
安装高可用集群之前需要提前安装好zookeper，注意防火墙折腾我老半天。

5.上传解压安装包

6.进入/home/centos/hadoop-2.7.6/etc/hadoop
修改 hadoop-env.sh 配置文件，添加 jdk 安装目录配置

7.修改core-site.xml

8.cp mapred-site.xml.template mapred-site.xml
修改 mapred-site.xml

9.修改 yarn-site.xml


10.6、 修改 slaves
vi slaves
添加 datanode 的节点地址：

11.分发安装包到子节点
scp -r hadoop-2.7.6 centos@centos08:~
scp -r hadoop-2.7.6 centos@centos09:~
12.各个节点并分别配置环境变量
sudo vi /etc/profile
添加两行：
export HADOOP_HOME=/home/centos/hadoop-2.7.6
export PATH=$PATH:$JAVA_HOME/bin;$HADOO{P}_{H}OME/bin;$HADOOP_HOME/sbin
保存退出
12.至此配置工作全部完成，接下来是
初始化操作。
启动zookeeper。三个节点分别启动
zkServer.sh start
zkServer.sh status
13.分别在每个 zookeeper（也就是规划的三个 journalnode 节点，不一定跟 zookeeper
节点一样）节点上启动 journalnode 进程
hadoop-daemon.sh start journalnode



如果报错根据报错信息检查配置文件，我就报错

修改成功后，jps。可以看到进程journalnode

14.在主节点centos07上进行格式化操作
namenode 上执行格式化操作
hadoop namenode -format

然后会在 core-site.xml 中配置的临时目录中生成一些集群的信息在另一个 namenode 上执行：hadoop namenode -bootstrapStandby
15.格式化 ZKFC
hdfs zkfc -formatZK
16.免密一定要做好自己给自己也要追加一次，不然namenode起不来

17.、 启动 HDFS
start-dfs.sh

至此进程全部启起来