Hadoop(二)HDFS API接口(一看就会)

先挖坑写上框架,连续快一个月无休了,伙伴们多点几个赞给我继续写下去的动力。

安装IDEA

安装Maven插件,并配置环境变量

安装Hadoop,并配置环境变量

创建Maven项目

Hadoop(二)HDFS API接口(一看就会)_第1张图片

Hadoop(二)HDFS API接口(一看就会)_第2张图片

Hadoop(二)HDFS API接口(一看就会)_第3张图片
Hadoop(二)HDFS API接口(一看就会)_第4张图片
注意红框内名称保持一致。

Hadoop(二)HDFS API接口(一看就会)_第5张图片出现此页面,说明配置成功。

导入依赖

在pom.xml添加如下代码

<dependencies>
		
        <dependency>
            <groupId>junitgroupId>
            <artifactId>junitartifactId>
            <version>4.12version>
        dependency>
        
        <dependency>
            <groupId>org.apache.logging.log4jgroupId>
            <artifactId>log4j-slf4j-implartifactId>
            <version>2.12.0version>
        dependency>
         
        <dependency>
            <groupId>org.apache.hadoopgroupId>
            <artifactId>hadoop-clientartifactId>
            <version>3.1.3version>
        dependency>
    dependencies>

Hadoop(二)HDFS API接口(一看就会)_第6张图片点击图中标红的地方,导入依赖包。
Hadoop(二)HDFS API接口(一看就会)_第7张图片出现红框中的内容说明导入成功。
如果此处导入包不成功,请看博主安装Maven插件的博客解决问题。

填入配置文件

Hadoop(二)HDFS API接口(一看就会)_第8张图片在项目的src/main/resources目录下,新建一个文件,命名为“log4j2.xml”,在文件中填入如下数据:


<Configuration status="error" strict="true" name="XMLConfig">
    <Appenders>
        
        <Appender type="Console" name="STDOUT">
            
            <Layout type="PatternLayout"
                    pattern="[%p] [%d{yyyy-MM-dd HH:mm:ss}][%c{10}]%m%n" />
        Appender>

    Appenders>

    <Loggers>
        
        <Logger name="test" level="info" additivity="false">
            <AppenderRef ref="STDOUT" />
        Logger>

        
        <Root level="info">
            <AppenderRef ref="STDOUT" />
        Root>
    Loggers>
Configuration>

创建包名

创建包名com.yuaf.Hdfs
Hadoop(二)HDFS API接口(一看就会)_第9张图片

创建HDFSClient类

在包下创建HdfsClient
Hadoop(二)HDFS API接口(一看就会)_第10张图片
注意下面的代码,你拷贝过去时会报红,因为你需要导包,需要导入hadoop相应的包

//这个Before是Test的依赖包里的方法,后面After,Test同理。
@Before
    public void before() throws URISyntaxException, IOException, InterruptedException {
     
        //获取系统文件
        Configuration configuration = new Configuration();
        //配置在集群上运行
       fs = FileSystem.get(new URI("hdfs://hadoop22:9820"), configuration, "yuaf");
    }
@After
//关闭资源
    public void after() throws IOException {
     
        fs.close();
    }

创建目录方法

你可能感兴趣的:(hadoop,大数据,hadoop,hdfs)