2.2Virtualbox高级应用构建本地大数据集群服务器

2.2 Virtualbox高级应用构建本地大数据集群服务器

“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新

本节主要内容：

• 创建4台虚拟机（本章中称虚拟机亦称服务器）分别命名为(busuanzi.org,master,worker1,worker2)
• 设置Host-only网络
• 分别安装Linux服务器（Ubuntu18.04 Server版）
  
  • 用于伪分布式的服务器1台
  • busuanzi@org （用户名@主机名）
  • 用于完全分布式集群的服务器3台
  • busuanzi@master
  • busuanzi@worker1
  • busuanzi@worker2
• 手动分配静态IP
• 本地与服务器互通
• 服务器与服务器免密码登录

2.2.1 创建4台虚拟机

Name分别为busuanzi.org，master，worker1，worker2。

其实，一路“默认配置继续”就行，其中内存和磁盘大小可以灵活调节。

创建完成

2.2.2 设置Host-only网络

busuanzi.org,master,worker1,worker2依次增加Host-only设置

2.2.3 分别安装Linux服务器（Ubuntu18.04 Server版）

（后续章节中用来大数据代码编程调试——因为在本地直接开三台虚拟机可能有的同学机器受不了）

关键步骤设置

• Servers name为Hostname主机名 org，主机名根据机器和用途分配不同的名字。
• username为username 用户名busuanzi，用户名需要一致。
  
  • 伪分布式
  • busuanzi@org
  • 集群
  • busuanzi@master
  • busuanzi@worker1
  • busuanzi@worker2

2.2.4 手动分配静态IP

IP分配为
- busuanzi.org 192.168.56.101
- master 192.168.56.102
- worker1 192.168.56.103
- worker2 192.168.56.104

使得/etc/network/interfaces配置可以生效

sudo apt update

sudo apt install ssh pdsh ifupdown

增加如下内容，解决命令行中中文乱码问题

LANG=en_US.utf-8
LC_ALL=en_US.utf-8

查看当前网络

ls /sys/class/net

修改网络配置文件

sudo vim /etc/network/interfaces

添加如下内容，此时为192.168.56.101 其他3台分别为102，103，104

# 增加的Host-only静态IP设置 (enp0s8 是根据拓扑关系映射的网卡名称（旧规则是eth0,eth1）)
# 可以通过 ```ls /sys/class/net```查看，是否为enp0s8
auto enp0s8
iface enp0s8 inet static
address 192.168.56.101
netmask 255.255.255.0

重启 busuanzi.org 虚拟机

依此步骤 分别分配集群3台服务器IP

2.2.5 本地与服务器互通

ssh busuanzi@192.168.56.101

依次登录（根据自己机器性能谨慎四台机器同时开启）

2.2.6 服务器与服务器相互登录

从master服务器登录到worker1服务器

本节完成

长按关注从入门到精通

开源、源码获取 https://github.com/wangxiaoleiAI/big-data

---

（分割线以下可忽略）

拓展部分

服务器版安装详细步骤：

Ubuntu18.04服务器版安装完成。