MacOS 系统配置Hadoop-3.1.1开发环境

大家好，我是Iggi。

今天我给大家分享的是如何在Mac系统上配置Hadoop-3.1.1版本的开发环境。

1.展示基础环境截图。

IDE版本

操作系统版本

Hadoop 生态圈中各个组件版本

2.下载Hadoop-3.1.1版本的发布文件。

网络链接如下：https://www-eu.apache.org/dist/hadoop/common/hadoop-3.1.1/

下载文件

下载到本地后解压备用,我的解压目录是：/Users/Iggi/Documents/hadoop-3.1.1

解压后的目录

3.配置环境变量

打开终端输入：vi   ~/.bash_profile 

倒数第2行追加：export HADOOP_HOME=/Users/Iggi/Documents/hadoop-3.1.1

最后一行修改成这样：export PATH=$JAVA_HOME/bin:$M2_PATH/bin:$HADOOP_HOME/bin:$PATH

编辑完毕后继续在终端输入：source   ~/.bash_profile

完成环境变量的更新。

4.配置Hadoop 插件。

下载地址：https://github.com/winghc/hadoop2x-eclipse-plugin

解压后在release目录中复制以下文件到IDE的plugins文件夹内。

复制插件

然后打开IDE配置Hadoop-3.1.1的安装路径，如下图操作。

第一步操作，

第二步操作

然后点击如图下所示：

第三步操作

然后选择如图下所示：

第四步

点击Open后生成蓝色小象。

5.添加集群配置点击蓝色小象，如图操作。

点击蓝色小象

配置集群参数，如下图所示。

配置MapReduce与HDFS

MapReduce参考Advanced mapred-site配置中

MapReduce配置

DFS参考Advanced core-site配置中

DFS配置

6.验证配置

最终效果

至此，在Mac系统下配置Hadoop-3.1.1完毕。