ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】

系列文章目录

在vmbox里面安装Ubuntu16.04并且配置jdk以及Hadoop配置的教程【附带操作步骤】

虚拟机vmware下安装Ubuntu16.04修改屏幕尺寸与更新源,以及对应的安装vim和vim常见的操作

Hadoop与主机连接以及20版本的Hadoop配置网络的问题_hadoop连不上网

Hadoop升级update命令被锁定的解决方法_hadoop重新初始化被锁住怎么办

文章目录

前言

一、准备工作

二、配置三台主机之间的映射关系

三、建立三台虚拟机之间的ssh连接方便后续分发文件

3.1建立ssh连接

3.2、在slave1节点也同样建立ssh连接

3.3、在slave2节点也同样建立ssh连接

3.4、在master节点上将密钥.id_rsa.pub.改为id_master.pub

3.5、在slave1节点上将密钥.id_rsa.pub.改为id_master.pub

3.6、在slave2节点上将密钥.id_rsa.pub.改为id_master.pub

3.7、将slave1节点上修改过的密钥传到master节点

3.8、将slave2节点上修改过的密钥传到master节点

3.9、将传过来的id_master.pub ,id_slave1.pub, id_slave2写入到authorized_keys

3.10、在master节点上将authorized_keys文件分发到slave1,slave2节点

四、实现三台虚拟机之间的时间同步

五、搭建zookeeper集群

5.1、修改opt的用户权限为Hadoop:sudo chown -R Hadoop:Hadoop  /opt

5.2、下载zookeeper,将其上传到Hadoop里面

5.3、解压zookeeper:tar zxvf zookeeper-3.4.10.tar.gz

5.4、修改文件名:mv zookeeper-3.4.10 zookeeper

5.5、将文件移动到opt目录下面:mv zookeeper  /opt/

5.6、进入zookeeper下面的conf目录下:cd /opt/zookeeper/conf/

5.7、先修改zoo_sample.cfg 文件名:  cp   zoo_sample.cfg   zoo.cfg

5.8、编辑上面的文件:vim zoo.cfg【修改文件位置等等】

5.9、进入opt下的zookeeper里,创建zkdata和zkdatalog的文件

5.10、创建完成之后,进入zkdata里面,vim  myid【内容为一个数字,用来标识主机】

5.11、配置.bashrc文件时,先复制一份,再配置

5.12、分发zookeeper

5.13、修改myid【另外两台的id】

六、配置jdk环境

6.1、上传jdk

​6.2、解压缩文件:tar -zxvf jdk-8u321-linux-x64.tar.gz

6.3、移动jdk到opt目录:sudo mv jdk1.8.0_321/  /opt/

6.4、重新命名:sudo mv jdk1.8.0_321/ jdk

​6.5、进入系统目录下面的bashrc文件里面配置环境变量


前言

本文主要介绍在ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包。由于篇幅有限,集群配置Hadoop和spark将在下一小节介绍。

一、准备工作

首先在VMware软件里面安装好Ubuntu16.04,其次在里面安装好ssh和vim用于后面编写文件和上传文件,最后,需要克隆三台一样的虚拟机。

二、配置三台主机之间的映射关系

2.1、进入到etc下的network目录下修改interfaces文件

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第1张图片

2.2、修改主机之间的映射关系

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第2张图片

2.3、修改主机名称sudo vim hostname

slave2里面也是如此操作

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第3张图片

三、建立三台虚拟机之间的ssh连接方便后续分发文件

3.1建立ssh连接

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第4张图片

3.2、在slave1节点也同样建立ssh连接

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第5张图片

3.3、在slave2节点也同样建立ssh连接

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第6张图片

3.4、在master节点上将密钥.id_rsa.pub.改为id_master.pub

3.5、在slave1节点上将密钥.id_rsa.pub.改为id_master.pub

3.6、在slave2节点上将密钥.id_rsa.pub.改为id_master.pub

3.7、将slave1节点上修改过的密钥传到master节点

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第7张图片

3.8、将slave2节点上修改过的密钥传到master节点

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第8张图片

3.9、将传过来的id_master.pub ,id_slave1.pub, id_slave2写入到authorized_keys

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第9张图片

3.10、在master节点上将authorized_keys文件分发到slave1,slave2节点

在master节点上使用ssh看是否能直接链接到slave2节点

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第10张图片

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第11张图片

在slave1节点上使用ssh看是否能直接链接到master节点

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第12张图片

在slave1节点上使用ssh看是否能直接链接到slave2节点

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第13张图片

在slave2节点上使用ssh看是否能直接链接到slave1节点

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第14张图片

在slave2节点上使用ssh看是否能直接链接到master节点

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第15张图片

四、实现三台虚拟机之间的时间同步

下面仅以一台展示

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第16张图片

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第17张图片

五、搭建zookeeper集群

5.1、修改opt的用户权限为Hadoop:sudo chown -R Hadoop:Hadoop  /opt

使用ll  /查看修改的权限

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第18张图片

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第19张图片

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第20张图片

5.2、下载zookeeper,将其上传到Hadoop里面

scp zookeeper-3.4.10.tar.gz [email protected]:/home/hadoop/

5.3、解压zookeeper:tar zxvf zookeeper-3.4.10.tar.gz

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第21张图片

5.4、修改文件名:mv zookeeper-3.4.10 zookeeper

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第22张图片

5.5、将文件移动到opt目录下面:mv zookeeper  /opt/

5.6、进入zookeeper下面的conf目录下:cd /opt/zookeeper/conf/

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第23张图片

5.7、先修改zoo_sample.cfg 文件名:  cp   zoo_sample.cfg   zoo.cfg

5.8、编辑上面的文件:vim zoo.cfg【修改文件位置等等】

dataLogDir=/opt/zookeeper/zkdatalog

server.1=master:2888:3888

server.2=salve1:2888:3888

server.3=salve2:2888:3888

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第24张图片

5.9、进入opt下的zookeeper里,创建zkdata和zkdatalog的文件

mkdir  zkdata与mkdir zkdatalog

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第25张图片

5.10、创建完成之后,进入zkdata里面,vim  myid【内容为一个数字,用来标识主机】

5.11、配置.bashrc文件时,先复制一份,再配置

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第26张图片

5.12、分发zookeeper

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第27张图片

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第28张图片

5.13、修改myid【另外两台的id】

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第29张图片

六、配置jdk环境

6.1、上传jdk

scp jdk-8u321-linux-x64.tar.gz [email protected]:/home/hadoop/

 6.2、解压缩文件:tar -zxvf jdk-8u321-linux-x64.tar.gz

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第30张图片

6.3、移动jdk到opt目录:sudo mv jdk1.8.0_321/  /opt/

6.4、重新命名:sudo mv jdk1.8.0_321/ jdk

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第31张图片6.5、进入系统目录下面的bashrc文件里面配置环境变量

#配置Java环境变量

export JAVA_HOME=/opt/jdk

export JRE_HOME=/$JAVA_HOME/jre

export CLASSPATH=.:${JAVA_HOME}/lib:$JRE_HOME/lib

export PATH=$PATH:${JAVA_HOME}/bin

配置完成之后重启source .bashrc

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第32张图片

 分发

 ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第33张图片

 其他节点也要source一下

ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第34张图片

 ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】_第35张图片

总结

大家在配置过程要书写正确的语句,要细心一点才不会出错奥~

以上就是今天的内容喽~

最后欢迎大家点赞,收藏⭐,转发,
如有问题、建议,请您在评论区留言哦。

你可能感兴趣的:(VMware,虚拟机,hadoop,ubuntu,zookeeper)