Hadoop开发插件安装

Hadoop开发插件安装

实验环境

·操作机:Windows 7

实验工具

·Web浏览器:常用的有谷歌浏览器,火狐浏览器等

·Eclipse:Mars.1 Release (4.5.1)

实验内容

在eclipse下安装hadoop的插件,同步对hadoop进行管理和开发。Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率。但是,它也有一些缺点,如编码、调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高,开发难度大。因此,Hadop的开发者为了降低Hadoop的难度,开发出了Hadoop Eclipse插件,它可以直接嵌入到Hadoop开发环境中,从而实现了开发环境的图形界面化,降低了编程的难度。

本实验在windows环境下的eclipse进行hadoop插件的安装,测试。

实验步骤

1.Hadoop软件包的获取

(1)官网下载:https://www.apache.org/dyn/cl...

本实验下载了2.7.7版本

(2)解压到E:\javaApps\目录下

2.配置hadoop在本地的环境变量

(1)从桌面电脑图标右键进入“属性”界面,选择“高级系统配置”,选择“环境变量”,然后选择“系统变量”下的新建,添加一个HADOOP_HOME的变量,变量值为HADOOP安装路径(能够看到bin文件夹的路径)

Hadoop开发插件安装_第1张图片

(2)往系统变量Path里追加“;HADOOP_HOME\bin”,注意:win10系统按照以下格式添加,win7应该是字符串格式,如果没有分号一定要自己补上!

Hadoop开发插件安装_第2张图片

3.Hadoop插件安装和配置

(1)下载hadoop2.7.3版本的插件

下载地址:https://github.com/madengwei/hadoop-2.7.3-eclipse-plugin/raw/master/release/hadoop-eclipse-plugin-2.7.3.jar

(2)将下载的jar放到安装的Eclipse目录下的plugins子目录下
Hadoop开发插件安装_第3张图片
(3)重启eclipse,在Windows->Perferences可看到安装好了hadoop插件,选择下载在本地的hadoop路径,确定。

Hadoop开发插件安装_第4张图片
(4)点击Windows—> show view —> Other,选择MapReduce Tools下的Map/Reduce Locations,打开工具视图

Hadoop开发插件安装_第5张图片

1.(5)在右边有个小象的标注,点击进行配置

图片.png

Hadoop开发插件安装_第6张图片

其中,Location name自定义名称,配置Map/Reduce Master和DFS Master,Host和Port配置成与core-site.xml的设置一致即可(Host为hadoop节点的hostname,如下图中的2,DFS Master下的port为HDFS端口号,User name为安装Hadoop节点用户名称,如下图中的1)。

Hadoop开发插件安装_第7张图片

4.服务器配置修改

(1)进入hadoop服务器,修改hdfs-site.xml,追加dfs.permissions配置。关闭权限检查。

图片.png

Hadoop开发插件安装_第8张图片
(2)重启hdfs服务

Hadoop开发插件安装_第9张图片

5.测试插件

(1)在集群上创建文件夹

Hadoop开发插件安装_第10张图片
(2)在eclipse上检验,右键刷新

Hadoop开发插件安装_第11张图片
可以看到刚创建的文件夹。

(3)在eclipse上传文件,右键test文件夹->Upload files to DFS,上传文件到DFS

Hadoop开发插件安装_第12张图片

(4)刷新即可看见
Hadoop开发插件安装_第13张图片

(5)通过浏览器查看dfs,输入(hadoop服务器的ip:50070),点击Utilities下的Browse the file system即可看到dfs上的内容。
Hadoop开发插件安装_第14张图片

你可能感兴趣的:(hadoop)