VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】

本地虚拟机的搭建

一、准备网段

在VMware的虚拟网络编辑器中将VMnet8虚拟网卡的

  • 网段设置为:192.168.88.0
  • 网关设置为:192.168.88.2

VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第1张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第2张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第3张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第4张图片

二、下载CentOS操作系统文件,并安装
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第5张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第6张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第7张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第8张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第9张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第10张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第11张图片

三、克隆多台虚拟机

VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第12张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第13张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第14张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第15张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第16张图片

依照同样的方法,克隆出node2,node3,共三台虚拟机

VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第17张图片

四、对每台虚拟机设置相关硬件内存
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第18张图片

五、虚拟机系统设置

①、主机名\ip\SSH免密登录

Ⅰ、node1,192.168.88.131

进入命令终端首先要切换到root权限 su -root 或者 su -

# 修改主机名
hostnamectl set-hostname node1

# 修改IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR="192.168.88.131" # 文件内容添加,如下截图所示,子网掩码、网关、DNS相同

# 重启网卡
systemctl stop network
systemctl start network

#或者直接
systemctl restart network

VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第19张图片

node2,192.168.88.132
node3,192.168.88.133

Ⅱ、配置主机名映射
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第20张图片

Ⅲ、配置三台服务器root用户之间免密互通
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第21张图片

Ⅳ、为了避免root用户权限造成的安全问题,为三台虚拟机创建一个hadoop用户并配置免密登录
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第22张图片
通过在node3,输入命令ssh node1或者ssh node2都可以通,然后exit退出

②、JDK环境部署

官网中下载jdk8以上的linux安装包.tar.gz
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第23张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第24张图片

③、防火墙、SELinux、时间同步

集群化软件之间需要通过端口互相通讯,为了避免出现网络不通的问题,可以在集群内部关闭防火墙,并且关闭开启自启功能
systemctl status firewalld 查看防火墙状态
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第25张图片
Linux有一个安全模块,SELinux用以限制用户和程序相关权限,确保系统的安全稳定
需要关闭SELinux功能,避免导致后面的软件运行出现问题(通过init 6命令,或者init 0进行重启)
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第26张图片

修改时期并配置自动时间同步
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第27张图片
步骤2实操:
在这里插入图片描述

六、为上述设置保存一个快照,以备后续恢复
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第28张图片
三台虚拟机关机之后,右键->快照
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第29张图片

==================================================

云平台

VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第30张图片

阿里云

购买阿里云服务器

一、配置VPC和子网

VPC云上专属的私有局域网(virtual private cloud),可提供/16级别的子网掩码(65535个IP)
并支持创建多个子网(交换机)
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第31张图片
注册阿里云账号,进入控制台,找到专有网络VPC
创建专有网络
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第32张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第33张图片

创建专有网络
子网是在VPC内部创建的局域网络,可以在一个VPC内创建多个子网
子网支持/17至/29的子网掩码,可以支持约8到65535个IP地址
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第34张图片
在这里插入图片描述
VPC相当于拉了一个家庭带宽,属于个人的私有网络
一个子网就相当于放了一个路由器,3个子网就相当于放了3个路由器。

二、创建安全组

云上的虚拟流量防火墙称为安全组
被安全组绑定的资源(比如服务器),其网络流量的进出都是被安全组所控制。

  • 资源的流量可以去往什么地方(出站控制)
  • 外部哪些访问可以连接到资源(入站控制)
    VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第35张图片

搭建大数据集群,需要一个安全组来控制服务器和外部的交互,通过安全组来控制网络流量
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第36张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第37张图片
入方向需要删除默认规则,创建自己的规则
出方向:允许云服务器随意访问外部
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第38张图片

创建自定义的入站规则:即允许自己的公网IP,访问安全组的全部端口
①、查询自己的公网IP(以下两种方法)
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第39张图片
②、只允许自己ip访问
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第40张图片

三、创建云服务器ECS
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第41张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第42张图片
任意选择适合自己的各种模式和地区
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第43张图片
根据自己的要求cpu和内存选择,筛选最便宜的
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第44张图片
选择适合自己的系统和存储
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第45张图片
网络、公网IP设置、安全组(前面设置好的)
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第46张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第47张图片

选择采用密钥对的方式,通过创建密钥对生成
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第48张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第49张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第50张图片
全部创建完成
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第51张图片
按照以上步骤,创建node2,node3,(密钥对相同)
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第52张图片
通过公网和私钥,进行登录操作
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第53张图片

阿里云服务器系统设置

相较于本地虚拟机的配置,云平台只需要以下三项配置:
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第54张图片
①、主机名映射

三台node节点上,vim /etc/hosts
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第55张图片
②、SSH免密登录

cd .ssh/,上传配置服务器时的密钥到三台node节点服务器,并且更改名称,然后400授权
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第56张图片

通过ssh node2,进行测试。exit退出

③、创建hadoop用户的免密登录
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第57张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第58张图片
不同与root用户(服务器已经创建好,直接上传即可)
hadoop用户,需要通过ssh-copy-id 进行。

需要在三台节点都执行以下操作:

ssh-copy-id node1
#设置密码:123456
ssh-copy-id node2
#设置密码:123456
ssh-copy-id node3
#设置密码:123456

VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第59张图片

④、为三台服务器上传jdk安装包

mkdir -p /export/server
将JDK安装包解压到上面的目录中:tar -zxvf jdkxxx.tar.gz -C /export/server

配置软链接:ln -s /export/server/jdk1.8.0 jdk

vim /etc/profile
配置环境变量:
在这里插入图片描述
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第60张图片


UCloud云购买虚拟机

在这里插入图片描述
一、配置UVPC
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第61张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第62张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第63张图片

二、配置安全组

VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第64张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第65张图片

三、创建服务器
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第66张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第67张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第68张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第69张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第70张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第71张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第72张图片
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第73张图片

同样的方式创建node2和node3
然后通过fialshell工具进行连接
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第74张图片

UCloud云服务器设置

一、设置主机名以及主机名映射

hostnamectl set-hostname node1(node2,node3)
vim /etc/hosts # 三台服务器的内网地址

VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第75张图片

二、SSH免密

①、进入:cd .ssh/
上传:密钥文件并改名 mv bigdata-key-cloud.pem id_rsa
修改权限:chmod 400 id_rsa

通过 ssh node1 ssh node2 ssh node3进行测试,exit退出

②、创建hadoop用户的免密登录

三台服务器都执行如下:
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第76张图片

三台服务器都执行:

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第77张图片

三、JDK环境

mkdir -p /export/server

上传jdk安装包,并解压
然后配置环境变量
VMware虚拟机搭建+云平台购买搭建(阿里云+UCloud)【设置主机名以及主机名映射、配置免密登录、配置JDK】_第78张图片
在这里插入图片描述

然后在node1中将文件复制到node2、node3中
在这里插入图片描述

你可能感兴趣的:(阿里云,java,云计算,UCloud,云主机)