大数据学习之路----HDFS与Eclipse的搭建----集群外提交

使用Eclipse来充当client来对集群中的文件进行上传下载
一、环境搭建
就像搭建java环境变量一样，在我的电脑>>>属性>>>高级系统设置>>>环境变量中可以看到有之前我们配置的系统变量JAVA_HOME,同样我们首先配置HADOOP_HOME

第二我们要配置HADOOP_USER_NAME

这里的名字一定要和虚拟机管理员的名字一致

第三就是要修改Path
在下面加入 %HADOOP_HOME%\bin

环境变量准备好之后我们就要开始建立Elicpse的搭建了
二、Eclipse搭建
1.在启动Eclipse启动之前将Hadoop-eclipse-plugin-2.6.0.jar复制到Eclipse的安装目录下的plugins中，这个jar包就是Hadoop和eclipse建立连接的文件
2.启动Eclipse在window找Show view >>>Map/Reduce Locations

打开后右键点击第一个新建Hadoop

在DFS Master 中把√去掉，在Host写入虚拟机的ip，Port写入端口号，也就是你配置文件Namenode的端口号
建立完成之后在右边就会显示刚才新建的hdfs,在这里就存放着你HDFS中保存的文件。

在这些都搭建后我们要进入window>>>prefebrences找到Java>>>Build Path>>>User Libraries,新建一个lib（我这里是lib,大家可以自己定义）文件，点击右面的Add External JARs…把你要进行Hadoop所需要的jar包导入到里面形成一个字典，然后在新建项目中点击项目名右键>>>Build path>>>Config Build Path…,在这里点击Java Build Path >>>Libraries>>>Add Library…选择User Library,把刚才建好的字典导入到项目中，你会看到你的项目中会多出一个字典。然后在项目中再新建一个文件夹什么名字都可以，这个就需要你存放你虚拟机中的配置文件，总共存放两个文件这两个文件就是我们在虚拟机中配置Hadoop时修改好的配置文件，直接复制过来就行，这样我们就可以使用Eclipse去连接我们搭建好的集群了。

总结：个人观点，不喜勿喷，我们搭建这个就是为了我们可以在集群之外的环境进行一个文件的操作，实现集群外提交，Eclipse在这里充当着client的作用，它只是作为一个传递命令的角色，将我们windows和虚拟机联系起来，进行文件一系列的操作，当然也不止有Eclipse还有idea等可以充当这一角色。