Hadoop入门系列（二）idea配置hadoop开发环境

主要分两部分:一、idea配置hadoop开发环境。二、idea安装hadoop插件。

一、

1.为了便于各个版本的hadoop获得对应jar包以及其依赖jar包。搭建maven项目是个很好的选择。创建一个无原型的maven项目。

2.在porn.xml的project内添加镜像网站和一些需要依赖的核心jar包。

注意：版本号对应自己hadoop的版本号。有些通用包比如hadoop-core，在maven中版本较低，现在只有1.2.1, 现在通常都用2.X版本都hadoop，我们分别依赖对应包可解决。如下图：

    
        nexus-aliyun
        nexus-aliyun
        http://maven.aliyun.com/nexus/content/groups/public/
        
            true
        
        
            false
        
    


    
        org.apache.hadoop
        hadoop-hdfs
        2.9.0
    
    
        org.apache.hadoop
        hadoop-common
        2.9.0
    
    
        org.apache.hadoop
        hadoop-yarn-common
        2.9.0
    
    
        org.apache.hadoop
        hadoop-mapreduce-client-common
        2.9.0
    
    
        org.apache.hadoop
        hadoop-auth
        2.9.0
    
    
        org.apache.lucene
        lucene-analyzers-common
        7.3.0
    
    
        org.apache.lucene
        lucene-core
        7.3.0
    
    
        org.apache.lucene
        lucene-analyzers-icu
        7.3.0
    
    
        jfree
        jfreechart
        1.0.13
    



    
        
            maven-dependency-plugin
            
                false
                true
                ./lib
            

        
    

3.建好wordCount类。设置一下参数即可运行。搭建wordCount下期会详细讲。

4.结果。如果想在idea内可见，需要在idea中操作hdfs需要装插件。下部分解释。

二、

1.可在github获取插件。

https://github.com/fangyuzhong2016/HadoopIntellijPlugin

2.read.md中有安装教程。这里我也写出大体步骤：

1>确保使用的是jdk8和maven3.X。

2>将下载文件解压缩。打开porn.xml设置hadoop版本和idea的位置。

3>设置好后。在解压到的目录中打开cmd，运行mvn clean和mvn assembly:assembly。生成target文件。

4>将zip添加到idea。打开setting>plugins。注意安装的是zip不是jar。

注意：需要修改gui。

3.至此插件可以使用。

注意：1>hadoop的hdfs的默认端口是9000。2>“测试”按钮有点小bug。OK后，出现目录就成功了。如下。