0102阿里云配置3台ECS服务器-大数据学习

文章目录

    • 1 前言
    • 1 配置VPC和子网
    • 2 创建安全组
    • 3 创建云服务器ECS
      • 3.1 规划配置
      • 3.2 配置
    • 4 xshell连接服务器
    • 5 配置基础环境
      • 5.1 主机名映射
      • 5.2 ssh免密登录
      • 5.3 jdk
    • 6 问题集
      • 6.1 Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
      • 6.2 用tar解压文件出现错误Not found in archive
    • 结语

1 前言

在这里插入图片描述

公司电脑配置想要运行虚拟机或者其他一些软件实在卡的不行,只能选择云服务器了。选择阿里云服务器,只是因为其他的没接触过。账号注册什么的,自行查阅相关文档,下面开始。

1 配置VPC和子网

在云上,每个人都可以得到专属的云上私有局域网,称之为 VPC ( virtual private cloud )
它就相当于物理的路由器,可以提供一个子网,并允许我们将所需的资源(服务器、数据库等)放置在这个网络内。 简单理解相当于家庭网络中的路由器。

子网是在 VPC 内部创建的局域网络,可以在一个 VPC 内创建多个子网。
子网支持 /17 至 /29 的子网掩码,可以支持约 8 到 65535 个 IP 地址

第一步:登录阿里云,搜索专有网络VPC,点击打开专有网络控制台,如下图1-1所示

0102阿里云配置3台ECS服务器-大数据学习_第1张图片

第二步:选择专有网络选项页-选择区域,遵循就近或者周边原则,我这里选择青岛,如下图1-2所示

0102阿里云配置3台ECS服务器-大数据学习_第2张图片

第三步:点击创建专用网络和交换机

0102阿里云配置3台ECS服务器-大数据学习_第3张图片

tips:交换机也可以随后配置,然后绑定到我们创建的专用网络上,这里我们就一起配置了

2 创建安全组

安全组其实就是云上的虚拟流量防火墙。
被安全组绑定的资源(比如服务器),其网络流量的进出都被安全组所控制。
我们可以通过控制安全组的规则,来决定:
• 资源的流量可以去往什么地方(出站控制)
• 外部的哪些访问可以连接到资源(入站控制)

安全组的创建
我们将要搭建大数据集群,对于集群,我们需要一个安全组来控制服务器和外部的交互
即通过安全组来控制进出的网络流量。

第一步:找到云服务ECS控制台,点击左侧安装组

0102阿里云配置3台ECS服务器-大数据学习_第4张图片

tips: 因为我们创建的服务器就是用来学习使用,不对外开放,只要入方向自己能访问,出方向随意

第二步:删除默认规则,只留1条,入方向IP地址为自己的公网IP地址,目的任意,端口任意,如下图2-2所示

在这里插入图片描述

3 创建云服务器ECS

3.1 规划配置

集群规划
对于搭建大数据集群,规划使用三台服务器。根据部署的服务,其规格要求基本如下:

节点 CPU 内存
node1 1核心 2GB
node2 1核心 1GB
node3 1核心 1GB

当然,如果预算充足可以选择更高的配置。

3.2 配置

第一步:打开云服务器ECS控制台,云服务器ECS-创建实例

0102阿里云配置3台ECS服务器-大数据学习_第5张图片

第二步:云服务器配置,服务类型,区域,网络,实例规格,镜像,系统盘,公网IP,宽带计费,安全组,登录凭证,高级选项-实例名称,主机名

  • 区域 与网络对应,之前网络配置选择了区域
  • 需要配置公网IP ,不然本地机器访问不了服务器
  • 登录凭证选择密钥对形式,相对安全
  • 设置主机名,或者脸上服务器后设置

如下图所示;

0102阿里云配置3台ECS服务器-大数据学习_第6张图片

0102阿里云配置3台ECS服务器-大数据学习_第7张图片

0102阿里云配置3台ECS服务器-大数据学习_第8张图片

0102阿里云配置3台ECS服务器-大数据学习_第9张图片

配置3台ECS服务器完成,如下图所示:

0102阿里云配置3台ECS服务器-大数据学习_第10张图片

4 xshell连接服务器

我们配置的ECS服务器选择登录方式为密钥对,创建密钥对时会生成*.pem文件,这个找个位置保存,我们需要用到,如果丢失,删除创新创建和执行绑定。

第一步:主机名映射

# aliyun ecs bigdata
x.x.x.x node1
x.x.x.x node2
x.x.x.x node3
  • x.x.x.x换成你服务器公网地址

第二步:打开xshell,创建新的回话,设置连接地址和名称

0102阿里云配置3台ECS服务器-大数据学习_第11张图片

tips:主机可以填映射的主机名或者IP地址

第三步:用户身份验证

0102阿里云配置3台ECS服务器-大数据学习_第12张图片

第四步:相同的操作,配置node2和node3的连接,连接3台服务器如下图所示:

0102阿里云配置3台ECS服务器-大数据学习_第13张图片

5 配置基础环境

对于云服务器,我们也需要做对应的设置,只需要做:
• 主机名映射
• SSH 免密
• JDK 环境

三项即可,其余的在云服务器无需去做,因为
• 防火墙 SELinux 在云上默认关闭
• 时间云会自动同步,主机名和固定 IP 也是预先就设置好了

5.1 主机名映射

其中本地主机名映射,在xshell连接服务器时,已配置过,下面配置下服务器的主机名映射

在三台服务器编辑/etc/hosts文件

vim /etc/hosts
# 内容
192.168.207.131 node1
192.168.207.132 node2
192.168.207.133 node3
  • 三台服务器在同一子网下,所以可以配置内网(私网)IP地址,可以互通

5.2 ssh免密登录

  • root用户ssh免密登录

root用户我们已经设置为密钥对登录,只需要把密钥对文件*.pem 上传到/root/.ssh/文件夹,并改名为id_rsa即可。

后续大数据的软件,将不会以root用户启动(确保安全,养成良好的习惯)我们为大数据的软件创建一个单独的用户hadoop,并为三台服务器同样配置hadoop用户的免密互通

  1. 在每一台机器执行:useradd hadoop,创建hadoop用户

  2. 在每一台机器执行:passwd hadoop,设置hadoop用户密码为123456

  3. 在每一台机器均切换到hadoop用户:su - hadoop,并执行 ssh-keygen -t rsa -b 4096,创建ssh密钥

  4. 在每一台机器均执行

    ssh-copy-id node1
    ssh-copy-id node2
    ssh-copy-id node3
    

如果报错Permission denied (publickey,gssapi-keyex,gssapi-with-mic).,手动配置ssh免密互通,解决方案在下面6.1。

5.3 jdk

参考下面连接4

6 问题集

6.1 Permission denied (publickey,gssapi-keyex,gssapi-with-mic).

  • 在配置完ssh免密登录后,测试的时候报错,报错内容

    Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
    
  • 报错原因不清楚

  • 解决方案,参考下面连接3

第一步:编辑/etc/ssh/sshd_config,修改如下内容

# 启用pubkey认证
PubkeyAuthentication yes 

第二步:使用ssh-keygen -t rsa -b 2048 生成密钥对,root用户默认会在~/.ssh目录下,将生成的公钥添加到.ssh/authorized_keys。

0102阿里云配置3台ECS服务器-大数据学习_第14张图片

第三步:更改.ssh和authorized_keys权限

chmod 0700 ~/.ssh
chmod 0600 ~/.ssh/authorized_keys

第四步:相互添加公钥,把所有的公钥在每个节点的~/.ssh/authorized_keys文件中都添加一遍

6.2 用tar解压文件出现错误Not found in archive

  • 解决方案,用参数-C指定解压缩目录,示例

    tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/server
    

参考地址下面连接5

结语

如果小伙伴什么问题或者指教,欢迎交流。

❓QQ:806797785

参考链接:

[1]大数据视频[CP/OL].2020-04-16.p1-6.

[2]Xshell ssh密钥对连接阿里云服务器[CP/OL].

[3]SSH 免密登录配置与Permission denied (publickey,gssapi-with-mic,password)问题[CP/OL].

[4]0101preparation-大数据学习[CP/OL].

[5]Centos7:用tar解压文件出现错误Not found in archive[CP/OL].

你可能感兴趣的:(大数据,大数据,云服务器)