(大数据方向）分布式实验四：配置eclipse编程环境

目录

一.hdfs常用操作指令

二.配置eclipse编程环境

1.所需工具：

①centos

②伪分布式搭建

③eclipse

④hadoop

⑤hadoop-lib包

⑥bin文件

⑦可视化插件

⑧xftp传输工具

2.Eclipse环境配置 

（1）解压文件

（2）环境变量

（3）复制bin目录

 （4）解压mars

 （5）启动hadoop

 （6）启动 eclipse

 （7） 配置 eclipse

 （8）新建java项目

 （9）使用xftp导入配置文件

---

一.hdfs常用操作指令

hadoop fs -mkdir /hadoop
#在hdfs上创建一个hadoop文件夹

hadoop fs -ls /
#查看hdfs中根目录的文件夹

hadoop fs -put /root/hjq/hjq.txt /hadoop
#将/root/hjq目录下的hjq.txt文件上传到hdfs的hadoop文件夹中

$(hadoop fs -copyToLocal /hadoop/hjq.txt /root/hjq/hjq2.txt)
#将hdfs上hadoop文件夹中的hjq.txt文件下载到虚拟机中的/root/hjq目录
#并重命名为hjq2.txt

hadoop fs -cat /hadoop/hjq.txt
# 将hdfs上hadoop文件夹中的hjq.txt中的内容输出到终端

hadoop fs -ls -h /hadoop/hjq.txt
#显示hdfs上hadoop文件夹中的hjq.txt文件的详细信息

——————————————————————————————————————————————————————————————————
hadoop fs -mkdir -p /hadoop/hjq
hadoop fs -rm -r /hadoop/hjq
#对hjq文件夹的创建以及删除

——————————————————————————————————————————————————————————————————
hadoop fs -mv /hadoop/hjq.txt /hadoop/hjq
#将 HDFS 文件从源路径移动到目的路径

二.配置eclipse编程环境

1.所需工具：

①centos

②伪分布式搭建

伪分布式搭建教程https://blog.csdn.net/weixin_52008431/article/details/123600927?spm=1001.2014.3001.5501

③eclipse

eclipse-mars 提取码：SY99https://pan.baidu.com/s/1IXrIYB0xQFd2_fn8UhtXyQ

④hadoop

hadoop.tar 和hadoop.src 文件 提取码SY99https://pan.baidu.com/s/1xJbIQQZoQfZSZ0bgXLxA3w#list/path=%2F

⑤hadoop-lib包

hadoop-lib依赖jar包 提取码：SY99https://pan.baidu.com/s/11BNnGgtG1C8rANbSvmhFVw#list/path=%2F

⑥bin文件

bin文件 提取码：SY99https://pan.baidu.com/s/1dk9R_Uod_gdJCxstfd-cbg

⑦可视化插件

可视化插件 提取码：SY99https://pan.baidu.com/s/1rpJn0_wqIRRabvyyZQBqOQ

⑧xftp传输工具

XFTP传输工具 提取码：SY99https://pan.baidu.com/s/1GtirSojCKOmJloAfY-shBQ#list/path=%2F

2.Eclipse环境配置 

（1）解压文件

第一步：

1.将 hadoop-2.6.5 和 hadoop-2.6.5-src 解压到同一文件中，

2.并创建 hadoop-lib 文件，

3.将 hadoop-2.6.5 文件中 hadoop-2.6.5\share\hadoop 路径下

除了 httpfs 和 kms 的 jar 文件放到 hadoop-lib 中。

注：一共 121 个对象。（博主自己的已上传到网盘中） 

（2）环境变量

配置环境变量：计算机—属性—高级系统设置—环境变量

HADOOP_HOME=d:\hadoop\hadoop-2.6.5

#自己的解压路径

HADOOP_USER_NAME=root

path=%HADOOP_HOME%\bin;

#用例如下图

 在path中新增hadoop变量

新建变量 

 新建变量

（3）复制bin目录

将上面工具中提供的 bin 目录的文件复制到 d:\hadoop\hadoop-2.6.5\bin(覆盖)

#路径同样是自己的解压路径

将 bin 里的 hadoop.dll 拷贝到 c:\windows\System32

#用例如图

 

 

 （4）解压mars

解压 eclipse-mars.rar

将 hadoop-eclipse-plugin-2.6.0.jar(可视化插件)拷贝到

d:\hadoop\eclipse\mars\plugins

 

 （5）启动hadoop

start-dfs.sh

 （6）启动 eclipse

project Explorer 里有 DFS Locations

(如果没有出现，选择 Java EE),小象图标（可视化控件）

 （7） 配置 eclipse

菜单：window-preferences-hadoop map/reduce hadoop installation

directory:d:\hadoop\hadoop-2.6.5

new hadoop location(定位器)

location name: hjq（任意取）

DFS Master (不选 use M/R Master host)

Host:IP地址

port:9000(50070 是浏览器的端口）

 

 DFS MASTER   不勾选

（8）新建java项目

导入 Jar 包： 

//菜单：window-preferences-java-build path-user libraries

自定义一个 jar 包(比如 hadoop_jars)

//菜单：add external JARS  选择 D:\hadoop\hadoop-lib 所有 jar 包

项目里导入 jUnit 4

//右击项目名-build path-configure build path-java build

path-libraries-add library-jUnit 4

 

 （9）使用xftp导入配置文件

自此，配置工作已完全结束

关于通过java在hdfs上创建文件夹，目录，查看的代码会分享到资源中

有什么疑问的或者问题的可以评论，均会回复