本地连接hdfs操作

1.java代码，结构如下入

注意：cdh环境hdfs端口是8020，hadoop环境hdfs端口是9000

1.pom.xml文件

    4.0.0
    tcl.java
    test
    1.0-SNAPSHOT
      
 
        
            org.apache.hadoop
            hadoop-common
            2.7.2
        
        
        
            org.apache.hadoop
            hadoop-hdfs
            2.7.2
        


        
            log4j
            log4j
            1.2.17
        
 
    

2.log4j日志等级设置

#志输出级别为INFO,输出到stdout
log4j.rootLogger=INFO, stdout
#org.apache.log4j.ConsoleAppender（控制台）
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
#org.apache.log4j.PatternLayout（可以灵活地指定布局模式）
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
#org.apache.log4j.FileAppender（文件）
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

3.将core-site.xml和hdfs-site.xml放入resources中。不论CDH集群还是原生hadoop集群都有这个文件，编译后在target目录下生产才算生效。

3. 测试类

作用：读取/test目录下的文件

package hdfs;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;


public class HdfsTest {
    public static void main(String[] args) throws Exception {
        test1();
    }
    //kerberos
    public static void test1() throws Exception{

        Configuration conf = new Configuration();
        //这里设置namenode
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        conf.set("dfs.nameservices", "nameservice1");
        conf.set("fs.defaultFS", "hdfs://nameservice1");
        FileSystem fileSystem1 = FileSystem.get(conf);
        System.out.println("===contains1===");
        //测试访问情况
        Path path=new Path("/test");
        System.out.println("===contains2===");
        if(fileSystem1.exists(path)){
            System.out.println("===contains3===");
        }
        System.out.println("===contains4===");
        RemoteIterator list=fileSystem1.listFiles(path,true);
        while (list.hasNext()){
            LocatedFileStatus fileStatus=list.next();
            System.out.println(fileStatus.getPath());
        }
    }
}

2.如果报错Could not locate executable null\bin\winutils.exe in the Hadoop binaries

参考文章：https://blog.csdn.net/hr786250678/article/details/89702671

---

没有克服不了的困难，只有畏惧的心。 生活之所以耀眼，是因为磨难与辉煌会同时出现。所以，别畏惧暂时的困顿，即使无人鼓掌，也要全情投入，优雅坚持。请相信：不管多险峻的高山，总会给勇敢的人留一条攀登的路。只要你肯迈步，路就会在你脚下延伸。