模块一:Hadoop核心框架(六)---用IDEA创建一个对hadoopAPI简单操作项目

创建一个新项目

模块一:Hadoop核心框架(六)---用IDEA创建一个对hadoopAPI简单操作项目_第1张图片

选择maven项目

模块一:Hadoop核心框架(六)---用IDEA创建一个对hadoopAPI简单操作项目_第2张图片
然后next

输入项目名称(自定义)

模块一:Hadoop核心框架(六)---用IDEA创建一个对hadoopAPI简单操作项目_第3张图片
然后finish

导入需要的jar包

有hadoop-common ;hadoop-client ; hadoop-hdfs

	
    
        org.apache.hadoop
        hadoop-common
        2.9.2
    
    
    
        org.apache.hadoop
        hadoop-client
        2.9.2
    

    
        org.apache.hadoop
        hadoop-hdfs
        2.9.2
    
     
        junit
        junit
        RELEASE
    
    
        org.apache.logging.log4j
        log4j-core
        2.8.2
    

导入需要点时间,慢慢等待。

log4j配置

在resource文件下,创建log4j.properties文件

log4j.rootLogger=INFO, stdout 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

创建一个类用来测试链接

package com.lagou.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * @author: yehw
 * @date: 2020/7/4 14:16
 * @description: hdfs客户端样例
 */
public class HdfsClient {

    @Test
    public void testMkdir() throws IOException, URISyntaxException, InterruptedException {
        /**
         * 创建配置对象
         * */
        Configuration configuration=new Configuration();
        /**
         * 获得fs文件对象
         * */
        FileSystem root = FileSystem.get(new URI("hdfs://linux121:9000"), configuration, "root");
        /**
         * fs接口使用
         * */
        boolean mkdirs = root.mkdirs(new Path("/app_test1"));
        /**
         * 关闭fs
         * */
        root.close();
    }

}

启动方法,到http://linux121:50070/explorer.html#/查看

模块一:Hadoop核心框架(六)---用IDEA创建一个对hadoopAPI简单操作项目_第4张图片
文件创建成功。

你可能感兴趣的:(大数据,hadoop,大数据)