Idea连接远程centos操作HDFS

1、 根据配置文件获取HDFS操作对象

static {
        conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.236.135:9000");
        try {
            fs = FileSystem.get(conf);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

解决方案：win系统需要配置HADOOP_HOME变量
下载hadoop-3.0.3.tar.gz 解压
配置HADOOP_HOME
path添加 %HADOOP_HOME%\bin %HADOOP_HOME%\sbin
在hadoop目录bin添加winutils.exe 下载地址

解决方案：

    static {
        conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.236.135:9000");
        //本地文件系统 LocalFileSystem     hdfs文件系统 DistributedFileSystem
        conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
        try {
            fs = FileSystem.get(conf);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

###2、 本地搭建 hadoop3.0.3 maven引入依赖为3.0.3.jar包，在获取文件系统时，DistributedFileSystem类not found，解决为引入hadoop-client.jar 包 (DistributedFileSystem文件位置较2.7.0版本有差异)

      
          org.apache.hadoop
          hadoop-common
          3.0.3
     
      
          org.apache.hadoop
          hadoop-hdfs
          3.0.3
      
      
          org.apache.hadoop
          hadoop-client
          3.0.3