云服务器搭建Hadoop集群

使用两个阿里云和一个腾讯云搭建Hadoop集群方法和  hadoop分布式集群搭建  一样

但是同样的步骤会出现下面的错误

NameNode和ResourceManager、SecondrryNameNode三个进程都没有开启

主要原因是hosts中三个IP网段不一样导致的问题

解决方法很简单：每个云服务器会有1个公网ip和1个私网ip,在配置hosts映射时，对于对应的服务器要填私网ip。

比如在Master主节点中，Master就需要配置相应的私网ip，从节点配置相应的公网ip

 同样的在Slave服务器上，要将自己的ip设置成内网ip，而将另一台Master服务器的ip设置成外网ip。

 

补充网络知识：

  服务器公网ip：
　　可以用于域名解析ip，服务器远程登录ip，是最主要的服务器ip地址。 
  服务器内网ip：
　　不能用于域名解析，不可以直接用于服务器远程登录，其主要作用是：跟当前帐号下的其他同集群的机器通信。 
　　

       一些小型企业或者学校，通常都是申请一个固定的IP地址，然后通过IP共享（IP Sharing），使用整个公司或学校的机器都能够访问互联网。而这些企业或学校的机器使用的IP地址就是内网IP，内网IP是在规划IPv4协议时，考虑到IP地址资源可能不足，就专门为内部网设计私有IP地址，一般常用内网IP地址都是这种形式的：10.X.X.X、172.16.X.X 、192.168.X.X等。

         需要注意的是，内网的计算机可向Internet上的其他计算机发送连接请求，但Internet上其他的计算机无法向内网的计算机发送连接请求。 
　　 公网IP就是除了保留IP地址以外的IP地址，可以与Internet上的其他计算机随意互相访问。我们通常所说的IP地址，其实就是指的公网 IP。互联网上的每台计算机都有一个独立的IP地址，该IP地址唯一确定互联网上的一台计算机。这里的IP地址就是指的公网IP地址。 
　　 其实，互联网上的计算机是通过“公网IP＋内网IP”来唯一确定的，就像很多大楼都是201房间一样，房间号可能一样，但是大楼肯定是唯一的。公网 IP地址和内网IP地址也是同样，不同企业或学校的机器可能有相同的内网IP地址，但是他们的公网IP地址肯定不同。那么这些企业或学校的计算机是怎样。
         IP地址如何共享的呢？这就需要使用NAT（Network Address Translation,网络地址转换）功能。当内部计算机要连接互联网时，首先需要通过NAT技术，将内部计算机数据包中有关IP地址的设置都设成 NAT主机的公共IP地址，然后再传送到Internet，虽然内部计算机使用的是私有IP地址，但在连接Internet时，就可以通过NAT主机的 NAT技术，将内网我IP地址修改为公网IP地址，如此一来，内网计算机就可以向Internet请求数据了。