最小化安装 Neokylin7.0 用于搭建 Hadoop 集群

文章目录

  • 环境搭建背景
  • 虚拟机创建和环境配置
  • 安装过程注意事项
    • 虚拟机设置
    • 软件选择
    • KOUMP
    • 系统分区
    • 网络和主机名
      • 打开以太网,并记录信息
      • 配置 IPv4
      • 修改主机名
    • 创建用户
  • hadoop完全分布式搭建-CSDN博客

环境搭建背景

为什么不从hadoop100或者hadoop101开始,而是从hadoop102开始?

因为一开始hadoop101留给了单台服务器操作使用,而用102,103,104搭建的是完全分布式,真正的生产集群。后面可以用101进行源码的编译,利用模板机hadoop100,克隆三台虚拟机:hadoop102 hadoop103 hadoop104。

虚拟机创建和环境配置

最小化安装Neokylin7.0,硬盘50G,手动配置ipv4,主机名:hadoop102,子网掩码:255.255.255.0,网关:192.168.88.2(以自己电脑的为准,倒数第二位会不一样),(配置好环境后再克隆其他集群信息)

安装过程注意事项

虚拟机设置

网络适配器选择NAT模式,Vmare在NAT模式默认网关末尾为2,硬盘选大一点,内容可以调到4G、8G,如下图所示

最小化安装 Neokylin7.0 用于搭建 Hadoop 集群_第1张图片

软件选择

选择最小化安装

最小化安装 Neokylin7.0 用于搭建 Hadoop 集群_第2张图片

KOUMP

关闭 kdump(没什么用,节省时间)

最小化安装 Neokylin7.0 用于搭建 Hadoop 集群_第3张图片

系统分区

系统自动分区即可,也可以自己配置分区。

安装Neokylin7.0系统一般至少需要三个分区

  • 一个交换分区(大小为物理内存的两倍)

  • 一个boot分区 (300MB)

  • 一个根分区 (大于10GB)

我的分区配置如下:

  • 一个home分区 /home (3GB)

  • 一个交换分区 /swap (4GB)

  • 一个boot分区 /boot (1GB)

  • 一个根分区 / (25GB)

  • 一个var分区 /var (15GB)

/var 包括系统运行时要改变的数据。其中包括每个系统是特定的,即不能够与其他计算机共享的目录,如 /var/log/var/lock/var/run。有些目录还是可以与其他系统共享,如/var/mail/var/cache/man/var/cache/fonts/var/spool/news

var 目录存在的目的是把 usr 目录在运行过程中需要更改的文件或者临时生成的文件及目录提取出来,由此可以使 usr 目录挂载为只读的方式。隐含要求 var 目录必须挂载为可以读写的方式。

本次项目中需要将 HDFS 的 NN 和 DN 工作主目录,Hadoop 的 log 日志文件目录全部都放到 /var 目录下,所以专门给了较大的分区。如图所示:

最小化安装 Neokylin7.0 用于搭建 Hadoop 集群_第4张图片
最小化安装 Neokylin7.0 用于搭建 Hadoop 集群_第5张图片
最小化安装 Neokylin7.0 用于搭建 Hadoop 集群_第6张图片

网络和主机名

打开以太网,并记录信息

  • 记录网卡名称:ens160(也可以之后用 ifconfig 查看)

  • IP地址:192.168.88.134(以自己主机为准,倒数第二位会不一样),我们可以设置IP地址 192.168.88.x

  • 子网掩码:255.255.255.0

  • 网关一般都是IP地址最后一位换成2,即192.168.88.2

  • DNS服务器写网关就可以。

然后点击配置。如图所示:

最小化安装 Neokylin7.0 用于搭建 Hadoop 集群_第7张图片
最小化安装 Neokylin7.0 用于搭建 Hadoop 集群_第8张图片

配置 IPv4

IPv4设置 ➡ 手动 ➡ 添加记录的IP地址、子网掩码、网关、DNS服务器,最后保存,如图所示:

最小化安装 Neokylin7.0 用于搭建 Hadoop 集群_第9张图片

修改主机名

将主机名改成hadoop102,点击应用,当前主机名显示 hadoop102(后面就不需要再去 /etc/hostname 改了),如图所示:

最小化安装 Neokylin7.0 用于搭建 Hadoop 集群_第10张图片

创建用户

将此用户做为管理员(后面需要用到 sudo 管理员模式运行的时候就不需要再修改 /etc/sudoers 文件了),安装完毕后,重启虚拟机。如图所示:

最小化安装 Neokylin7.0 用于搭建 Hadoop 集群_第11张图片

安装完完全拷贝出三台机器并修改机器名称,就可以去使用 Mobaxterm 或者 XShell 远程登录来进行后续的 Hadoop 集群搭建操作了

hadoop完全分布式搭建-CSDN博客

你可能感兴趣的:(Hadoop,hadoop,服务器,大数据,虚拟机,Neokylin7.0,中标麒麟)