Hadoop入门学习笔记——一、VMware准备Linux虚拟机
视频课程地址：https://www.bilibili.com/video/BV1WY4y197g7
课程资料链接：https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8
Hadoop入门学习笔记（汇总）
目录
- 一、VMware准备Linux虚拟机
-
- 1.1. VMware安装Linux虚拟机
-
- 1.1.1. 修改虚拟机子网IP和网关
- 1.1.2. 安装Linux虚拟机
- 1.2. VMware克隆三台Linux虚拟机
- 1.3. 为三台虚拟机配置固定IP
- 1.4. 配置免密登录
- 1.5. JDK环境部署
- 1.6. 防火墙、SELinux、时间同步配置
-
- 1.6.1. 关闭防火墙
- 1.6.2. 关闭SELinux
- 1.6.3. 配置时间同步
- 1.7. 使用VMware快照功能保存当前已配置好的初始环境
一、VMware准备Linux虚拟机
1.1. VMware安装Linux虚拟机
VMware虚拟机安装程序下载地址（需要自己想办法激活）：https://download3.vmware.com/software/WKST-1750-WIN/VMware-workstation-full-17.5.0-22583795.exe
CentOS操作系统镜像下载地址：https://vault.centos.org/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso
1.1.1. 修改虚拟机子网IP和网关
下载后，先安装VMware虚拟机，安装成功后，需改虚拟机网络配置。
1、在“编辑”-“虚拟网络编辑器”中修改NAT8网卡的子网IP地址；
2、进入编辑器后，选择“VMnet8”网卡，然后点击右下角的“更改设置”按钮；
3、获取管理员权限后，选择“VMnet8”网卡，将其子网IP修改为“192.168.88.0”；
4、点击“NAT设置”按钮，在NAT设置界面，将网关IP修改为“192.168.88.2”，并保存上述设置。
1.1.2. 安装Linux虚拟机
1、通过VMware菜单中的“文件”-“新建虚拟机”创建一个新的虚拟机；
2、选择前面下载的CentOS操作系统镜像；
3、输入Linux系统用户名和密码（该密码也是root的密码）；
4、填写虚拟机名称和虚拟机的存放位置；
5、之后一直下一步、完成，然后虚拟机开始自己安装，直至安装完成，此过程视个人电脑和网络情况可能需要半小时左右，中间不用任何操作，待系统安装完毕后，虚拟机会自动重启，看到如下界面，代表安装成功。
1.2. VMware克隆三台Linux虚拟机
1、将前面安装好的虚拟机关机，然后在VMware左侧的菜单中，鼠标右键刚才安装好的虚拟机，选择“管理”-“克隆”；
2、然后点击下一页按钮，直到“克隆方法”界面；
3、在克隆方法界面选择“创建完整克隆”，然后继续下一页；
4、重命名虚拟机名称为node1，选择克隆出来的虚拟机存放的路径，然后点击“完成”按钮，VMware就会克隆出一个一摸一样的虚拟机，此过程很快，一般3~5秒的样子；
5、依照上述方法，再克隆出node2和node3，总共3台虚拟机出来；
6、此时先别启动这3台虚拟机，先对3台虚拟机的内存大小进行调整，分别将node1调整到4GB，node2和node3调整成2GB；
7、内存调整完毕后，分别将node1、2、3开机，在开机时，VMware会弹窗提示“无法连接虚拟设备 ide1:0…”，直接点“否”即可，至此，虚拟机克隆完毕，后续我们使用的也是这3台虚拟机。
1.3. 为三台虚拟机配置固定IP
1、三台虚拟机分别启动后，在虚拟机中打开命令行，修改主机名，输入如下命令：
# 切换成root用户
[itheima@locahost ~]$ su -
# 修改当前虚拟机的主机名，这里只演示node1，node2和node3命令相同，只是最后的参数需要修改成node2和node3
[root@locahost ~]# hostnamectl set-hostname node1
2、上述命令执行完毕后，关闭命令行，并重新打开命令行，此时可以看到命令行内的主机名已经变成了node1、node2和node3
3、在命令行里切换到root用户，并执行如下命令：
vim /etc/sysconfig/network-scripts/ifcfg-ens33
4、打开ifcfg-ens33文件后，将其中BOOTPROTO配置项的值修改为static，然后再在文件末尾追加如下内容：
IPADDR="192.168.88.101"
NETMASK="255.255.255.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"
其中，在node1虚拟机中，IPADDR的值为192.168.88.101，node2虚拟机的IPADDR的值为192.168.88.102，node3虚拟机的IPADDR的值为192.168.88.103；
5、修改网网卡配置后，在命令行中重启网卡，执行如下命令：
systemctl restart network
然后可以使用ifconfig命令查看及其的IP地址，查看上述修改是否成功。
1.4. 配置免密登录
1、修改Windows系统（本机，非虚拟机）的hosts文件（目录为C:\Windows\System32\drivers\etc\），将如下内容追加在hosts文件末尾并保存
192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3
2、使用本机的ssh工具连接三台虚拟机（node1、node2、node3），后续所有的命令通过ssh工具操作；
3、分别修改三台虚拟机的hosts文件，此处以node1为例，在命令行中输入
vim /etc/hosts
在hosts文件中追加如下内容：
192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3
保存并退出，然后同样的步骤修改node2和node3的hosts文件。
4、在三台虚拟机上分别执行ssh-keygen -t rsa -b 4096命令，然后一路回车到底，给三台虚拟机分别生成好自己的密钥；
5、在三台虚拟机上都执行如下命令，完成免密登录的授权操作：
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
执行命令过程中，有配置项需要确认输入yes，然后，还需要输入root密码；
6、可以在node1虚拟机通过命令ssh node2查看是否已经配置好了node1到node2的免密登录，同理，可以在node2验证到另两台服务器的免密登录；
7、至此，我们配置好了三台虚拟机root用户之间的免密登录，接下来，我们还需要配置三台虚拟机之间hadoop用户的免密登录；
8、使用useradd hadoop和passwd hadoop命令分别在三台虚拟机上创建hadoop用户；
9、在三台虚拟机上使用su - hadoop命令切换成hadoop用户，然后使用签名用过的ssh-keygen -t rsa -b 4096命令生成hadoop用户的ssh密钥；
10、然后再在三台虚拟机上执行如下命令，实现hadoop用户之间的免密登录：
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
具体操作和上面配置root用户的免密登录时一样。至此，免密登录配置完成。
1.5. JDK环境部署
1、目前还是使用jdk 1.8版本，下载页面：https://www.oracle.com/cn/java/technologies/downloads/，打开页面一直往下划，划到JDK 1.8的部分，下载x64 Compressed Archive版本；
2、下载后，在虚拟机里面切换成root用户，然后将刚才下载好的jdk压缩包上传到root目录下，执行如下命令：
mkdir -p /export/server
# 解压刚才上传的jdk压缩包到/export/server目录
tar -zxvf jdk-8u391-linux-x64.tar.gz -C /export/server/
# 创建软连接
ln -s /export/server/jdk1.8.0_391/ /export/server/jdk
3、配置环境变量，使用命令vim /etc/profile打开环境变量配置文件，然后在文件末尾追加如下内容：
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin
然后使用source /etc/profile命令使环境变量生效；
4、将操作系统自带的jdk替换成我们刚才安装的jdk：
# 删除系统自带的java程序
rm -f /usr/bin/java
# 软连接我们自己安装的java程序
ln -s /export/server/jdk/bin/java /usr/bin/java
此时，jdk配置完成，可以使用java -version和javac -version命令校验系统所使用的java是否已经是我们自己安装的JDK。
5、使用scp命令，将已解压的jdk文件夹复制到node2和node3
# 复制到node2
scp -r /export/server/jdk1.8.0_391/ node2:`pwd`/
# 复制到node3
scp -r /export/server/jdk1.8.0_391/ node3:`pwd`/
6、然后参考上面的流程，创建软连接、配置环境变量、移除系统自带的java，完成node2和node3的配置。
1.6. 防火墙、SELinux、时间同步配置
1.6.1. 关闭防火墙
在三台虚拟机上分别执行如下命令：
# 关闭防火墙
systemctl stop firewalld.service
# 关闭防火墙的开机自启
systemctl disable firewalld.service
1.6.2. 关闭SELinux
使用vim /etc/sysconfig/selinux打开selinux的配置文件，将其中的SELINUX=enforcing修改为SELINUX=disabled，然后保存退出，并重启虚拟机（可通过reboot命令）即可。
1.6.3. 配置时间同步
在三台虚拟机上分别依次执行以下步骤
1、安装ntp软件
yum install -y ntp
2、更新时区
# 删除系统的默认时区信息
rm -f /etc/localtime
# 设置虚拟机的时区为中国上海时区
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
3、同步时间
# 使用阿里云的ntp服务校准本机时间
ntpdate -u ntp.aliyun.com
4、开启ntp服务并设置开机自启
# 启动NTP服务
systemctl start ntpd.service
# 设置NTP服务开机自启动
systemctl enable ntpd.service
1.7. 使用VMware快照功能保存当前已配置好的初始环境
1、将三台虚拟机全部关机；
2、在VMware中，在左侧虚拟机上右键，选择“快照”-“拍摄快照”，填写快照名称和备注，创建虚拟机快照；
node2和node3重复上述步骤，完成快照拍摄