云服务器搭建hadoop需要注意问题

一、前言

第一次接触hadoop，hadoop单机、伪分布和完全分布模式。看了资料查了书都是在linux上搭建的，而且都是在虚拟机搭建。但是由于自己对linux不熟悉，所以想在win搭建。正好看的书是在win下搭建的，结果准备去搭建环境。你会发现win下几乎没法完成工作的，很多的开发都是在linux下完成的。至于大数据的hadoop到底是什么，可能现在来看就是分布式存储的一个平台，hadoop的现在开发和运算已经不是主流，现在更多用的是spark。因此自己的学习路线就是搭建hadoop平台，简单的了解hadoop的工作原理。深入的学习spark开发。

二、安装hadoop遇到的问题

1、一定不要在win的环境搭建hadoop

2、云服务器的选择

自己在云服务器搭建hadoop，首先我准备了三台云服务器，俩台阿里和一台腾讯的服务器。在服务器可以完成关闭防火墙、设置节点、ssh免密登陆、环境变量的设置、jdk的安装和hadoop安装（包括配置文件的修改），你会发现和虚拟机的安装没有区别啊，都是正常的。最后你启动hadoop，也能正常启动，运行jps别的服务器的hadoop也启动了，但是在做测试的时候，你会发现测试不通过。查原因很多很多。

幸运的是搭建完成后。阿里的客服给我打了一个电话，让我彻底明白了我的问题出现那里。、

前方高能！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！

（1）选择服务器不能选择多家的服务器，也就是说你只能选择阿里、腾讯或者百度云等等。因为它们物理上是隔绝的。

（2）选择一家的服务器不行，还必须这三台服务器必须是同一个帐号购买的，不同的帐号购买，内网是不通的。一个帐号购买就会让三台服务器在一个区域网。

（3）设置节点的时候不能使用公网的ip（公网的ip只能用来远程登陆），也就是设置节点必须使用内网的ip。
（4）服务器还需要搭建安全组。

建议：在linux搭建hadoop、不要选择win搭建；在虚拟机搭建hadoop，不要再服务器搭建hadoop（除非你真的不差钱）