hadoop用HDFS java api在HDFS上创建文件

 

目录

1.在IDER中创建一个项目引入相关包

2.创建一个Mkdir类

3.将项目打成可运行的jar包，并上传到服务器

3.1 首先在设置中找到项目结构然后打开如下对话框

3.2 创建一个工件，如下图所示

3.3 执行构建命令

3.4 查看构建好的jar包

3.5 将jar包上传到服务器并运行

4.实现脚本

4.1 编写脚本

4.2 测试验证脚本

4.3​​​​​​​ 解决去掉“./myhdfs”前面的“./”无法执行问题

5.总结

---

1.在IDER中创建一个项目引入相关包

     

2.创建一个Mkdir类

  代码如下：

  

package i.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class MKdir {
    public static void main(String[] args)throws IOException{
     if(args.length == 0){
         System.out.println("ERROR 创建文件夹失败！ 请传入一个路径参数作为将要创建的文件夹");
         return;
     }
     String targetDir = args[0];

        Configuration conf = new Configuration();

        conf.set("fs.defaultFS","hdfs://192.168.124.38:9000/");

        FileSystem fs = FileSystem.get(conf);
        boolean mkdirs = fs.mkdirs(new Path(targetDir));
        if (mkdirs){
            System.out.println("成功在HDFS上创建"+targetDir);
        }
        fs.close();
    }


}

记得改一下自己虚拟机的ID在代码：conf.set("fs.defaultFS","hdfs://192.168.124.38:9000/");

3.将项目打成可运行的jar包，并上传到服务器

   3.1​​​​​​​ 首先在设置中找到项目结构然后打开如下对话框

       

 3.2 创建一个工件，如下图所示

 

 选择你想要构建的类然后按图所示确定。

 

 

 

在目录中添加项目库， 添加以后移除目录外所有的项目库

                 

 选择下面的jar包的打开类路径，在每一行类路径前加/lib。

 可以复制到别的软件快捷增加，然后再复制粘贴回来。然后点确定。

3.3 执行构建命令

 在设置中找到构建，点开构建工件，然后选择你的jar包点击构建。

3.4 查看构建好的jar包

构建好的jar会在你的项目的out文件夹下 

3.5 将jar包上传到服务器并运行

将整个jar包目录上传到虚拟机的/root上

4.实现脚本

下面接下来实现一个shell脚本，最终要达到的效果是执行myhdfs dfs -mkdir /要创建的文件名 这个命令，就可以创建HDFS文件夹啦。

4.1 编写脚本

    shell脚本内容如下：

java -jar /root/后面是你传入的jar包路径

 4.2 测试验证脚本

执行./myhdfs dfs -mkdir /要创建的文件名

4.3​​​​​​​ 解决去掉“./myhdfs”前面的“./”无法执行问题

 执行vi /etc/profile命令，添加一个变量export PATH=$PATH:/root/就解决啦。

5.总结

我的分享就到这里啦，希望能帮到你，我分享的只是最基础的知识，希望我们以后能学的越来越多的知识。