IntelliJ IDEA搭建Hadoop开发环境(上)

Eclipse 配置 Hadoop 开发环境可以参考我的这篇文章Eclipse配置Hadoop开发环境,idea 配置 hadoop 开发环境的搭建分成两部分,安装 Hadoop 插件和配置 Hadoop 开发环境 ,原本我的 idea 版本是2019.2.4,但是在编译生成 HadoopIntellijPlugin 插件的时候会出现错误,因此又下载了2018版本的 idea ,才能正常编译生成插件(其他版本还没试过)
idea 官网:https://www.jetbrains.com/idea/download/other.html

1、下载HadoopIntellijPlugin

github链接:
https://github.com/fangyuzhong2016/HadoopIntellijPlugin
下载完成后解压
IntelliJ IDEA搭建Hadoop开发环境(上)_第1张图片

2、修改pom.xml文件

用记事本打开 pom.xml,将版本号改成你自己的 hadoop 版本号,路径改成你 idea 的安装路径
IntelliJ IDEA搭建Hadoop开发环境(上)_第2张图片

3、编译打包生成插件

打开 cmd,进入到解压的这个目录(可以直接在某文件夹上方地址栏输入cmd+回车,就会直接进入该目录)
IntelliJ IDEA搭建Hadoop开发环境(上)_第3张图片
执行命令

mvn clean 

IntelliJ IDEA搭建Hadoop开发环境(上)_第4张图片
可以看到 BUILD SUCCESS
接着执行

mvn assembly:assembly

会开始下载一些包,等待一会,同样看到 BUILD SCUCCESS
IntelliJ IDEA搭建Hadoop开发环境(上)_第5张图片
在刚刚解压的目录可以看到多了一个 target 文件夹
IntelliJ IDEA搭建Hadoop开发环境(上)_第6张图片
打开它,里面的 HadoopIntellijPlugin-1.0.zip 就是我们所需要的插件(注意是.zip,不是.jar)
IntelliJ IDEA搭建Hadoop开发环境(上)_第7张图片

4、idea 配置插件

打开 idea,Configure --> SettingsIntelliJ IDEA搭建Hadoop开发环境(上)_第8张图片
Plugins --> Install Plugins from Disk
IntelliJ IDEA搭建Hadoop开发环境(上)_第9张图片
选择刚刚生成的 HadoopIntellijPlugin-1.0.zip (再次提醒是 zip 不是 jar)
IntelliJ IDEA搭建Hadoop开发环境(上)_第10张图片
然后重启 idea
IntelliJ IDEA搭建Hadoop开发环境(上)_第11张图片
重启后可以发现上方工具栏出现了 Hadoop,
在这里插入图片描述

5、连接HDFS文件系统

点击 Hadoop,然后选择设置
IntelliJ IDEA搭建Hadoop开发环境(上)_第12张图片
点击这个 + 符号
IntelliJ IDEA搭建Hadoop开发环境(上)_第13张图片
填写自己的配置,连接描述可以不填
IntelliJ IDEA搭建Hadoop开发环境(上)_第14张图片
测试按钮有点问题,如果你点了测试按钮。会有下面提示,但是不用管他
IntelliJ IDEA搭建Hadoop开发环境(上)_第15张图片
点击确定,然后点击 Hadoop 文件系统
IntelliJ IDEA搭建Hadoop开发环境(上)_第16张图片
可以看到左边弹出如下窗口
IntelliJ IDEA搭建Hadoop开发环境(上)_第17张图片
可以看到你的 hdfs 文件系统的结构,右键文件或文件夹能够对其进行操作(要先启动集群)
IntelliJ IDEA搭建Hadoop开发环境(上)_第18张图片

6、补充

1)

我最开始 idea 是2019版本的,在上面第三步编译时,执行 mvn assembly:assembly 命令的时候会报错
IntelliJ IDEA搭建Hadoop开发环境(上)_第19张图片
在网上查阅了大量的资料,用了各种不同的方法,还是会失败,后来怀疑可能是 idea 版本的问题,去下载了2018版本的 idea,然后就能够正常编译了。

2)

如果你的 idea 版本是2018的,其他配置也没问题但还是无法正常编译打包,那么检查一下你的 maven 版本,maven3以上,jdk1.8以上

后续补充开发环境的配置…

你可能感兴趣的:(maven,hadoop,intellij,idea)