Hadoop生态集群搭建之各种报错解决方案
Hadoop生态集群搭建过程报错解决
- 一、流程介绍
-
- 准备工作（附VMware14、Xshell6、hadoop-2.6.4/2.7.3版本、Linux版jdk1.8、hbase-1.2.4、zookeeper-3.4.10）
- 二、我结合多次踩坑的经历，总结出了几大类问题的解决方案及预防措施
-
- 1. 防火墙没有关闭，墙裂推荐永久关闭防火墙！！！（以下是CentOS 7的命令）
- 2.设置静态IP地址（将介绍一种全新玩法）
- 3. Windows上的文件传输到虚拟机里（XShell 登场，实例展示）
- 4. 虚拟机拍个快照。（随便搞，不痛苦）
- 5. Hadoop、zookeeper、hbase报错解决方案。
一、流程介绍
先创建一个虚拟机，并设置NAT网络模式，固定IP地址。再修改虚拟机名称，配置hosts文件。接着安装java环境，配置环境变量。配置SSH免密登录，配置NTP服务（时间同步）。安装hadoop，配置相应的hadoop文件，克隆出多个虚拟机作为从节点，修改、增添从节点信息，搭建集群，实现分布式环境。后续再添加其他组件，如zookeeper（先）、hbase（后）。
准备工作（附VMware14、Xshell6、hadoop-2.6.4/2.7.3版本、Linux版jdk1.8、hbase-1.2.4、zookeeper-3.4.10）
链接：Hadoop集群搭建安装包
提取码：trnr
创建虚拟机可以参考这个博客
看完肯定会系列之——VMware创建CentOS7虚拟机并使用MobaXterm连接
先表明自己的环境：
VMware15 pro
jdk1.8
Hadoop-2.7.3（hadoop版本会涉及到与hbase等组件版本兼容问题）
zookeeper-3.4.10
hbase-1.2.4
我虚拟机创建了一个主节点(master)、三个从节点：（name + IP地址）
master 192.168.10.127
slave1 192.168.10.131
slave2 192.168.10.132
slave3 192.168.10.133
二、我结合多次踩坑的经历，总结出了几大类问题的解决方案及预防措施
1. 防火墙没有关闭，墙裂推荐永久关闭防火墙！！！（以下是CentOS 7的命令）
问题出现在ping不通 ip、外网地址 和 配置ssh免密登录时。
#查看当前防火墙状态
systemctl status firewalld
#关闭防火墙，重启会自动开启防火墙
systemctl stop firewalld
#永久关闭防火墙，重新开机后不会自动开启防火墙
systemctl disable firewalld
首先，需要先执行 systemctl stop firewalld 关闭防火墙，再执行systemctl disable firewalld 才可以实现永久关闭防火墙。
2.设置静态IP地址（将介绍一种全新玩法）
寻找配置网卡的文件，其中ens33是我网络配置文件的名称，每个人的文件名不都一样，需要了解自己文件对应的名字。可以使用命令cd /etc/sysconfig/network-scripts 进入目录再用命令 ls 查看：
配置网卡的文件名称都是ifcfg-开头（仅限centos 7系统，其他的不清楚），名字例如： ifcfg-ens33、ifcfg-eno16777736、 ifcfg-eth0等，但是一个网卡只对应一个配置文件。找到属于你对应的文件，使用 vi 命令进入编辑。举例（在相应目录下,使用相对路径）： vi ifcfg-ens33
进入能看见类似的内容就证明你找对了√
现在介绍一种不同于大多数帖子的做法，流行的做法是让你在上面的文件中添加、修改信息。通常的做法可以参考 虚拟机CentOS7系统配置网络说明(最全) 这篇博客。
所以，下面我将介绍一种方案（先声明：我不是用接下来的做法完成的，但是我测试过是可行的，若有行不通的地方欢迎讨论交流）
接下来，牢记GATEWAY（虚拟机默认网关），NETMASK（子网掩码）,DNS
可以通过在虚拟机软件，编辑 -> 虚拟网络编辑器
然后：
接着：
然后我们切换到windows主机，点击网络 --> 属性 --> 更改适配器设置 -->
最最最关键的是第五步：
- IP地址前三段要与虚拟机网关相同，即192.168.10，使其处于同一网段，这样子主机可以上网，虚拟机也可以联网。第四段的值随意，最好不与虚拟机相同，值的范围 1~254.
- 子网掩码照填.
- 默认网关，也要处于同一网段即可.
配置好后，我们进入虚拟机开始 手动设置静态ip：
此虚拟机IP地址 要与虚拟机默认网关处于同一网段，即最后一段数字自定义。
进入相应文件添加信息（#注释掉的不用在意），命令 ： vi /etc/sysconfig/network
#网络是否工作，此处一定不能为no
NETWORKING=yes
#hostname只要不太随意，都可以。重点是上面一定要填yes
打开/etc/resolv.conf文件，查看DNS服务器地址有没有被正常写入。
最后，打开终端输入命令
#重启网络服务
service network restart
#查看该虚拟机ip
ip a
我们ping测试一下（Ctrl + Z 可以停止）：
成功！
3. Windows上的文件传输到虚拟机里（XShell 登场，实例展示）
使用XShell等可以通过 xftp协议传输文件的工具进行传输。我当时将jdk直接拖进虚拟机去解压时报错了，甚至导致我vmware14崩溃，所以换成了VMware15 pro [捂脸痛哭]。而想要使用ftp工具，需要知道自己虚拟机的IP地址。可以通过命令 ifconfig或者ip a 查看：
Xshell的下载很简单，在此不再赘述。
开始（以我已经创建好的来举例截图）：
-
点击新建 -->
填上 名称、所连接的对应虚拟机IP地址
再点击用户身份验证（此处建议直接连接root用户，填上对应的root密码）：
点击确定，然后直接点击 确定并保存 即可。 -
打开建好的会话连接，接下来开始从Windows上传输文件到虚拟机里。
点击 新建文件传输
弹出来的窗口，直接点取消：
小技巧：打开xftp后进入需要解压的目录下，传输后使用命令解压会简单点。
然后就可以将文件拖进来了，放心拖没问题。
下面是实例的视频展示：
先 新建一个xftp会话标签 --> cd /usr/local 进入要解压放置的目录下 --> 将hive安装包拖入，完成
解压命令： tar -zxvf 文件名 -C 解压路径
实例：
tips：
- 提高生产力的小技巧，用TAB键可以自动补全，在下面的动图可以看见，我敲hive文件名时，敲到一小部分文件名时按tab键，一长串文件名自动补全了。
- 我这里没有指定解压路径，默认解压到当前目录下。参数去掉v，就看不见一长串的解压过程.
解压后，我将文件名改成了hive，并将压缩包删除掉。
# mv 原文件名 新文件名。这个命令会生成一个你自定义名称的文件(内容不变)，原文件不保留 会被删掉.
mv apache-hive-2.1.1-bin hive
# rm -rf 文件名 。这个命令可以 不用询问直接删除整个文件，谨慎使用.
rm -rf apache-hive-2.1.1-bin.tar.gz
如图所示：
传输解压 完成！
4. 虚拟机拍个快照。（随便搞，不痛苦）
当我们弄好一个阶段的搭建工作后，常常会因为一个操作，导致前功尽弃。心态爆炸！
但是，如果事先拍个快照，不管出现什么失误，我们都可以返回之前的环境状态。及时补救
名称随意，描述可以说明 快照的时间 及 已经配置好的环境等。
点击管理快照，选择想要恢复快照。
点击 “是”，然后稍等片刻，就会回到你快照那个时间节点的状态。
温馨提醒：自己玩一玩的话，记得时常更新删除快照，不要保留太多。
5. Hadoop、zookeeper、hbase报错解决方案。
篇幅、精力问题，会另外专门写这系列报错解决的博客。
如果集群搭建过程中有报错问题，欢迎一起交流讨论哦 : )
发现一位博主写得很不错，他写了一系列的集群搭建教程，对新手十分友好，故推荐给大家。 同时建议大家参考教程时要多查阅，先大致浏览一遍，注意自己的路径，再进行操作。
看完肯定会系列之——CentOS7下安装和配置Hadoop以及Hadoop集群