MacOS 系统配置Hadoop-3.1.1开发环境

大家好,我是Iggi。

今天我给大家分享的是如何在Mac系统上配置Hadoop-3.1.1版本的开发环境。

1.展示基础环境截图。

IDE版本
操作系统版本
Hadoop 生态圈中各个组件版本

2.下载Hadoop-3.1.1版本的发布文件。

网络链接如下:https://www-eu.apache.org/dist/hadoop/common/hadoop-3.1.1/


下载文件

下载到本地后解压备用,我的解压目录是:/Users/Iggi/Documents/hadoop-3.1.1


解压后的目录

3.配置环境变量

打开终端输入:vi   ~/.bash_profile 

倒数第2行追加:export HADOOP_HOME=/Users/Iggi/Documents/hadoop-3.1.1

最后一行修改成这样:export PATH=$JAVA_HOME/bin:$M2_PATH/bin:$HADOOP_HOME/bin:$PATH

编辑完毕后继续在终端输入:source   ~/.bash_profile

完成环境变量的更新。

4.配置Hadoop 插件。

下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin

解压后在release目录中复制以下文件到IDE的plugins文件夹内。


复制插件

然后打开IDE配置Hadoop-3.1.1的安装路径,如下图操作。

第一步操作,


第二步操作

然后点击如图下所示:

第三步操作

然后选择如图下所示:

第四步

点击Open后生成蓝色小象。

5.添加集群配置点击蓝色小象,如图操作。

点击蓝色小象

配置集群参数,如下图所示。

配置MapReduce与HDFS

MapReduce参考Advanced mapred-site配置中

MapReduce配置

DFS参考Advanced core-site配置中


DFS配置

6.验证配置


最终效果

至此,在Mac系统下配置Hadoop-3.1.1完毕。

你可能感兴趣的:(MacOS 系统配置Hadoop-3.1.1开发环境)