Hadoop FileSystem API打jar包并执行

我们要写的 是 添加文件夹的 功能

1.我们创建一个maven项目

架构

Hadoop FileSystem API打jar包并执行_第1张图片

2.pom.xml节点


    
        Y2_SSH
        cn.happy
        1.0-SNAPSHOT
    
    4.0.0
    WordCount
    war
    WordCount Maven Webapp
    http://maven.apache.org
    
        
            junit
            junit
            3.8.1
            test
        

        
            org.apache.hadoop
            hadoop-hdfs
            2.8.0
        
        
            org.apache.hadoop
            hadoop-client
            2.8.0
        
        
        
            org.apache.hadoop
            hadoop-common
            2.8.0
        

        
        
            org.apache.hadoop
            hadoop-mapreduce-client-jobclient
            2.8.0
            provided
        

        
        
            commons-cli
            commons-cli
            1.2
        

    
    
        WordCount
    


版本最好和你的hadoop版本一样

我们写一个类:

package demo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

/**
 * Created by linlin on 2017/12/15.
 */
public class HDFSMkDir {

    public static void main(String[] args) throws IOException {
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        fs.mkdirs(new Path("/sllLove"));
    }
}

这个代码执行之后我们期待的效果是 在hdfs的根目录添加一个sllLove的文件夹

代码我们写好了  我们开始打jar包了

Hadoop FileSystem API打jar包并执行_第2张图片

Hadoop FileSystem API打jar包并执行_第3张图片Hadoop FileSystem API打jar包并执行_第4张图片

Hadoop FileSystem API打jar包并执行_第5张图片

这个我们弄好是没有的 这个是我的  因为你还差一步

Hadoop FileSystem API打jar包并执行_第6张图片

Hadoop FileSystem API打jar包并执行_第7张图片

把你刚刚弄的jar build一下

然后目录里面就有了


Hadoop FileSystem API打jar包并执行_第8张图片

然后我们打开我们的  xftp

我们连接一下 master虚拟机

我们把这个我们需要的jar拖到  我们的hadoop中

Hadoop FileSystem API打jar包并执行_第9张图片

传到这个目录下面  因为我们需要的jar包都在这里面

然后我们连接shell

走到那个jar的目录下面

执行命令hadoop jar jar包名  类的全名

hadoop jar hadoop.jar demo.HDFSMKDir

Hadoop FileSystem API打jar包并执行_第10张图片

然后我们查询 结果果然是 添加成功了

还有删除。。等等一系列操作我就不一一列举了

你可能感兴趣的:(Hadoop FileSystem API打jar包并执行)