Hadoop（十）：本地IDEA链接远程Hadoop

本文使用的Hadoop为2.7.7，版本如果不同要下载相应版本的文件

1. 配置本地的Hadoop库（不需完整安装，但是要有环境支持）

下载文件

https://github.com/speedAngel/hadoop2.7.7

2. 解压到任意路径，没有中文字符和空格

 

 

3. 把解压包的bin替换到解压路径

4. 把bin中的Hadoop.dll复制到C:\Windows\System32

5. 配置环境变量

HADOOP_HOME  D:\Environment\hadoop-2.7.7
HADOOP_CONF_DIR  D:\Environment\hadoop-2.7.7\etc\hadoop
YARN_CONF_DIR  %HADOOP_CONF_DIR%
PATH  %HADOOP_HOME%\bin

 

6. IDEA设置本地Hadoop路径

 

 

7. 导入依赖（注意版本一致）

    
        
            junit
            junit
            4.12
​
        
        
            org.apache.hadoop
            hadoop-common
            2.7.7
        
        
            org.apache.hadoop
            hadoop-hdfs
            2.7.7
        
        
        
            org.apache.hadoop
            hadoop-mapreduce-client-core
            2.7.7
        
        
            org.apache.hadoop
            hadoop-mapreduce-client-jobclient
            2.7.7
        
        
            commons-cli
            commons-cli
            1.3.1
        
        
            org.apache.hadoop
            hadoop-client
            2.7.7
        
        
            mysql
            mysql-connector-java
            8.0.19
        
        
        
        
            commons-beanutils
            commons-beanutils
            1.9.4
        
    
​

 

7. 把集群的core-site.xml和hdfs-site.xml文件放到项目resource路径下。修改对应IP地址

• core-site.xml

  
    fs.defaultFS
    hdfs://192.168.98.129:9000
  
  
    hadoop.tmp.dir
    /usr/hop/hadoop-2.7.7/data/hopdata
  

​

 

• hdfs-site.xml

​

​

  
    dfs.namenode.secondary.http-address
    192.168.98.130:50090
  
  
    dfs.replication
    2
  

 

​

• 运行的Main方法里首行添加

        System.setProperty("HADOOP_USER_NAME","root");
        System.setProperty("HADOOP_USER_PASSWORD","PASSWORD");