VM ware安装Ubuntu及搭建Hadoop伪分布式集群详细步骤

1.虚拟机搭建的详细过程

实验前的准备：
== jdk ==
jdk-8u11-linux-x64.tar.gz
提取码：qr5l
== hadoop ==
hadoop-2.10.1.tar.gz
提取码：bfxz

== VMware ==
官网下载

== centOS -XXX…-iso ==
文件过大阿里云镜像下载，熟悉那种Linux内核就下载那种，这个不会影响集群的搭建。
https://pan.baidu.com/s/1tFvCA4PmNC2tZN7Yp2BkZQ
提取码：7lm5

这些都是有桌面的gome，如果对命令行的比较熟悉，可以使用命令行的系统及对应的server系统包括ubuntu-server和centos-server。它们的镜像文件1也会小很多。

去相应的官网下载即可。

Xshell或其他远程连接软件如tabby

2.VM的下载和安装

更改安装位置,选择加入path环境，选择安装位置，点击下一步。

点击创建新的虚拟机

选择刚刚下载的server虚拟机也可以选择desktop的镜像。

命名并选择位置

点击下一步，将文件选择单个文件或拆分多个都可以，

处理经典安装也可以选择自定义高级

硬件兼容性选到15就可以，也可以选12的

选择下载的unbuntu-server镜像

后面两部命名和处理器分配以及虚拟机内存分配自行命名和选择。

网络类型选择NAT

之后两部使用默认配置即可，直接下一步。

创建新的磁盘


之后一直下一步，最后点击完成

上下键选择安装，enter确认

选择语言，只有英文好像还认识

选择安装模式，不用最简默认即可

ip自动分配

之后有好多的步骤直接按enter即可，知道跳出设置用户名和密码的对话

密码设置简单点，别忘记了，我设置的密码是root，就很好记。

安装ssh远程连接安全服务，以便可以用远程软件如Xshell连接

选择服务快照，docker和powershell都可，空格键选择，enter确定

上下键选择，空格选中可多选，上下界键调到Done确定enter

等待更新，可以以取消更新重启

尽量等待更新，之后出现提示按enter即可，更新完成后会自己启动，启动后按一次enter出现登录界面

到此vmware安装ubuntu-server就完成了，直接登录即可。相比安装桌面版复杂一点，可以安装桌面版再卸载gnome桌面。

Ubuntu卸载图形界面

1、打开终端
2、卸载gnome-shell主程序
sudo apt-get remove gnome-shell
3、卸载掉gnome
sudo apt-get remove gnome 
4、卸载不需要的依赖关系
sudo apt-get autoremove
5、彻底卸载删除gnome的相关配置文件
sudo apt-get purge gnome
6、清理安装gnome时候留下的缓存程序软件包
sudo apt-get autoclean
sudo apt-get clean

7、重启
shutdown -r now

3.jdk的安装和环境变量的配置

此处不再做过多解释，大厅有详解

4hadoop的下载安装

Ubuntu安装hadoop教程

5.集群环境搭建

教程

搭建hadoop需要三个虚拟机，但是对电脑配置要求便较高，如果电脑不适用就选择克隆虚拟机不要创建，不然会卡。

克隆的过程：
右键点击创建的虚拟机comepter_one,在点击管理，点击克隆

点第二个，下一步。

最后选择位置，输入名称就ok了。

创建三个虚拟机，即可。

点击开启，三个都开打开Xshell，在centOS中输入** ifconfig ** 查看ip地址。

点击file中的new会跳出下图

编辑name，在host输入上面查到的ip，完成后点击图中Authentication。

在user name中输入创建虚拟机时建的用户和密码，建议直接root用，不然后面还要获取root权限，完成都点击connect。

链接成功后时== root@username ==，三个虚拟机依次链接。

6.虚拟机网络配置

在开始界面搜索虚拟网络配置器，或者在计算机设置里找

点击NAT模式，在点击NAT设置查看网关，子网掩码。

在Xshell中输入：vim /etc/sysconfig/network-scripts/ifcfg-eth0这窜代码，按i进入编辑模式输入（注：vim后有空格）：

名称	Value
DEVICE=	eth0
BOOTPROTO=	static
ONBOOT=	yes
IPADDR=	IP地址
GATEWAY=	网关
NETMASK=	子网掩码
DNS1=	8.8.8.8

字符串要有引号包裹BOOTPROTO=“static”，ip地址时最开始在虚拟机中查到的地址，数字不用引号。

输入完成后按ESC切换命令模式，SHIFT+：输入wq后按ENTER保存退出。

7.更改主机名称

命令：
hostname  查看主机名
hostnamectl set-hostname [克隆时的名称]   
(方法不限这一种)

8. 建立主机名与ip地址的映射

输入 vim /etc/hosts修改，方法和上面的一样** i—>编辑模式（下面有一个enter标志）—>输入ip地址和名称（ip地址依然是在centOS中查的，名称时之前改的)—>ESC—>SHIFT+:—>wq—>enter(就ok了）这只Linux的命令如果遇到其他问题自行上网查找，查看：cat /etc/hosts。

三个虚拟机都要改！！！

9.关闭防火墙

状态查看：systemctl status firewalld.service

图中Active是状态，后面显示表示关闭（我已经关闭了）关闭代码是：

关闭代码：systemctl stop firewalld.service

永久关闭：systemctl disable firewalld.service

后面两个代码依次输入就可以永久关闭，最后用第一个查看是否关闭成功，是图中状态就成功了。

10.SSH免密码登录

重点

// 步骤：
在root用户下输入ssh-keygen -t rsa 三次回车(图一)
接着输入cd ~/.ssh 后回车
输入 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
再输入chmod 600 ~/.ssh/authorized_keys
输入cat authorized_keys
出现如图的问句是输入yes即可（图二）
之后就可以输入ssh-copy-id 名称 添加机器就OK了（两台虚拟机）
ssh 名称 （切换）
== 间隙大的有空格 ==

• 出现下图即可
  
• 图一（密钥生成）
  
• 图二(

还有一种情况如图

出现这样的错误导致不能切换登录可输入vi ~/.ssh/known_hosts
并将与该主机ip地址相同的内容全部删去即可

在完全分布式模式下，集群内任一主机免密登录集群内所有主机，即实现两两免密登录。免密登录的设置方法和伪分布模式的免密登录设置方法一样，分别在本机上生成公钥/私钥密钥对，然后将公钥发送给集群内的所有主机。

11.安装JDK找到jdk的绝对路径

jdk安装和解压

(1)先再虚拟机中建立jdk的目录，可以建再桌面，也可以再其他目录但自己要清楚它的绝对路径。命令是 mkdir /home/jdk（home是我的主目录）
(2)将下载的jdk的压缩包上传到其中一个虚拟机中，可以直接拖拽，如果不能的可以下载Xftp传输文件的软件进行上传。
(3)进入虚拟机的界面右键点击->进入终端界面->tar -zxvf home/jdk ** (这是解压命令，如果不行，就再桌面调出子目录后提取也可) **
(4)如图是成功安装的标志(我已经解压所以有前面的文件夹)

jdk环境变量的配置

(1)输入 == vim /etc/profile == 进入编辑模式添加：(命令前面已讲)

export JAVA_HOME=/home/jdk （对应自己的jdk目录,jdk名称写完整）
export PATH=$PATH:$JAVA_HOME/bin （到bin目录）

// 验证：
source /etc/profile
java -version 
出现java版本型号是就配置成功

(2)将工作目录复制到其余节点：
scp -r /home/jdk competer_two:/home/
scp -r /home/jdk competer_three:/home/

(3)将配置文件复制到其余节点：
scp -r /etc/profile competer_two:/etc/
scp -r /etc/profile competer_three:/etc/
(4)在其余节点重复操作，然后验证是否配置成功

-r前后有空格,competer_two是名称

12.zookeeper的安装

apache-zookeeper-3.5.9
提取码：cqc8

将压缩包上传到机器的zookeeper文件中(没有建一个mkdir命令)解压步骤和jdk相同，再zookeeoer中建dataDir和dataLogdir，存放数据和日志，若不创建登录目录则事务日志和快照日志都会写到data目录下，将会严重影响zookeeper的性能

切换到dataDir(cd /root/zookeeper/dataDir) 再当前目录下输入vi myid 将里面的类容编辑为ech0 “1” >/home/zookeeper/dateDir/myid (即myid文件的绝对路径，这是我设置的绝对路径)

将zookkeeper复制到其他两台机子上就欧克了，复制命令：scp -rp 【绝对路径同上】最后切换到其他两台机子将ech 后面的== 1 ==该为 2，3 就行了。

配置环境变量见下链接（感谢作者） ：

zookeeper环境变量

13.至此我们已完成

April July October 2022 April July 1-11 hadoop安装 mysql安装 搭建集群 现有任务 Adding GANTT diagram functionality to mermaid