【黑马2023大数据实战教程】大数据集群环境准备过程记录（3台虚拟机）
文章目录
-
- 1.设置三台Linux虚拟机的主机名和固定IP
- 2.在Linux系统以及本机系统中配置了主机名映射
- 3.配置了三台服务器之间root用户的SSH免密互通
- 4.配置jdk环境
- 5.关闭防火墙和SELinux
- 6.修改时区并配置自动时间同步
- 7.设置快照保存状态
- 8.下一篇 HDFS集群部署
1.设置三台Linux虚拟机的主机名和固定IP
忘了记录，原视频链接在这：2023新版黑马程序员大数据入门到实战教程，大数据开发必会的Hadoop、Hive，云平台实战项目全套一网打尽
2.在Linux系统以及本机系统中配置了主机名映射
配置大数据集群主机映射时：
vim /etc/hosts
回车后按shift+A开始键入模式
192.168.88.130 node1
192.168.88.102 node2
192.168.88.103 node3
然后Esc,输入 :wq保存。
配置ssh免密登录：
每台都执行：ssh-keygen -t rsa -b 4096，一路回车；
每台都执行ssh-copy-id node1 -> yes 密码
,node2,node3同理
3.配置了三台服务器之间root用户的SSH免密互通
创建hadoop用户并设置免密登录：
useradd hadoop
passwd hadoop
切换到hadoop: su - hadoop
创建私钥系统：
ssh-keygen -t rsa -b 4096
ssh-copy-id node1
同上三个node都配
4.配置jdk环境
su - root
mkdir -p /export/server
传jdk的压缩包输入：rz -bey，选择jdk包等待上传，解压缩
tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/server/
配置jdk软链接 ln -s /export/server/jdk1.8.0_361 jdk
配置环境变量：
vim /etc/profile
文件中加上：
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin
:wq保存退出
让环境变量生效：
source /etc/profile
配置java执行程序的软链接：
先删除系统自带的java: rm -f /usr/bin/java 【是usr】
软链接到自己安装的java: ln -s /export/server/jdk/bin/java /usr/bin/java
执行验证：java -version 或javac -version
现在复制jdk到node2,node3,
su - root
cd /export/server
scp -r jdk1.8.0_361 node2:`pwd`/
scp -r jdk1.8.0_361 node3:`pwd`/
可以回到node2查看
cd /export/server
ll
然后从jdk软链接那步开始对node2 ,node3重复操作
若要查看node1之前的环境变量：cat /etc/profile
5.关闭防火墙和SELinux
集群化软件之间需要通过端口互相通讯，避免网络不通，需要集群内部关闭防火墙。
每一台都执行：
systemctl stop firewalld
systemctl disable firewalld
Linux有安全模块SELinux限制用户和程序的相关权限，用来确保系统的安全稳定。需要关闭
vim /etc/sysconfig/selinux
将第7行SELINUX=enforcing改为：SELINUX=disabled
保存退出后重启虚拟机。重启init 6 关机 init 0
6.修改时区并配置自动时间同步
yum install -y ntp
rm -f /etc/localtime;sub ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
ntpdate -u ntp.aliyun.com
systemctl start ntpd
systemctl enable ntpd
执行完后systemctl status ntpd看是否正在运行中，每隔一段时间会自动校准系统当前时间
7.设置快照保存状态
对当前状态进行快照保存，以便后续辉恢复。
关机，右键拍摄快照，做好备注,例如：安装集群前置准备完成
8.下一篇 HDFS集群部署
黑马2023大数据实战教程】VMWare虚拟机部署HDFS集群详细过程